???????????????????????

??

????????????????????????????????????????????????Unreal??Unity???????????

???????????????????????????????

??????????????????????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????

????????????????????????????

1.1 ???????

???????????????????????????????????????????????????????????????????????????????????????

??????????????????????????????

• ??????????????????????????????????????????????????????????
• ?????????????????????????????????????????????????????????????????
  

??????????????????????????????????????????????????

1.2 ??????

?????????????????????????????????RMS???????????????????

???????????????????????????RMS???????????????????????????

• ???????????????
  

??????????????????????????????????????????????

?????????????

??????????????????RMS?????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????

??????????��ADX LipSync???????

ADX LipSync?Criware??????????????ADX2????????

?????????????ADX2??????????????

2.1 LipSync??

LipSync??????????????????????????????????????????????????????????????????????????????????????????????

LipSync????????????????????

• ?????????????????????????????????????????????????????
• ????????????????wav???????????????????????wav???????????????????????????????
  

LipSync????????????????ADX2?????

• ?????LipSync?????????LipSync???????????????????
• ?ADX2?????????LipSync??ADX2??????????ADX2?Cue?Track????????????????????????????????????????????????ADX LipSync?????????????
  

????ADX LipSync??????????????????????????3D Max??????????????

2.2 ????????

????????????????????????3D Max??

???????Shift???????

??????

??????????????????

?????????????????????????????????????????????????

????????????????????????????????????

?????????????????

2.3 ??????

???????????????????????

ADX LipSync????????ADX2??????????????????ADX2????????

??????ADX LipSync????????Track???????????????????????

??????????????????????????????????????????????????????????????

???????????????????

• ??????????????????????????????????????????????????????????????????ADX2????????????????????????????
  

• ???????????????????????????????????????????????????????????????????????????????????????
  

?????????????????????????????

???

• ???????????????????????????????????????
• ?????????????????????????AEUIO?????????????????????
  

???ADX LipSync????ADX2???????????ADX2?????????????????????????????????????????????

?????????????????????????????????????????????????

2.4 Unreal??

???????????????????Unreal????????????????????????????????Unreal?????????????

????????3D Max?????????????Unreal????????Unreal????????????????????????

?????????ADX2????????????????????Cue???????

???????Cue?????????????????????????????????????????

???????????????

??????

????????????????

????Atom Component?Atom Component????Cue??????Cue???wav????ADX LipSync????Cue???????????????????????????Cue??????

????LipSync

?????????????????????????????????LipSync??????????????Set ADXLipSync??????????LipSync??????

?????Lips Atom Analyzer??????????????????Init?????????Init?????Attach??

???Get Info??Lip Width???????????????????????????????0???????????????????

?????????????????????????????

??Event BeginPlay?????Set ADXLipSync??????????????Play Atom????????????????

?????????

????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????????

?????????????

?????Get Info????????Lip Width???????LipWidthOpen???Lip Height?????LipHeightOpen?????Tongue Position?????Tongue_Up????Info???????????????????????????????????????

????????????????

??????????????????????????????????????????????????

???????????

??????????????????????????????????????????????

??????????????Bus??Peak Leavels???????LipWidthOpen??LipHeightOpen???

????????????????????????????????????????????????????????????

???????????

?????Unreal??????????????????Cue??????????????????????????????????????UI?????????????

????????"TextBlock300"?"TextBlock492"???????TXT?????

??????String?????????CueNameParam??LipsyncModleNamePara????Cue????????????

?????????????????3?????????????UI????????UI?????????????????

????????????UI????????????????

?????????????????????????bool?????

???bool???????????????

???????????????????????bool??????????UI????????????

??????????????????????????????bool?????????UI??LipsyncModleNamePara?????

??????????????????bool???????????bool?????????????????????????

??????Event Tick???????????bool???????????????????????????????????Cue??????????info???????????????????????????

????????????????????????????????????????????????????????????????UI??????

?????????????????????????

?????????????????????????

??????????????????????????????????????????????????????????????????????????????bool???????Event Tick????????????????????????????

????????Sequence Flip????????????????????????????????????????????

????????????????????????????????????????????????????????????????

?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

???????????????????????????????????0???????Reset???????

????Reset????????????????????????????????0????????????????????????????????????

???????Event Tick??????

?????????????????????????Finish?False?????Reset???Reset????????????????????????

???????????????ADX LipSync????????????????????????????????

??????????????????????????????????????

?????

??ADX LipSync???????ADX2????????????????????????????????????????????Cue????????????????????

???????????CueList??????Sound Atom Cue???????????Cue?????????

?????????????CueChoice???????????????

???UI????Cue Index????????UI??????????

???????????????????????????????????????CueList??Cue????????Cue??????????

CueIndex??????UI????????????????UI????????????????CueIndex????

????????????Cue?Index??????????????????????????????Cue Index?????????Cue?

??????????Cue??????????????????????????

????????

???????CueIndex????????????????1?????????????????????????????????????????????????????????CueList?Length???????????

??????????CueChoice????????????Cue Index????????????CueList??Cue?????????

???????????Cue?????????????Cue??????????????????????

?????????????UI???????????????????????Cue????????????????????????????????

????????????????????????????????????????????????????Cue?????????????????????????????????????

?????????

????????????????????Volume?????????????????????????????????????????????????????????????????????????????

??????????????????????????????

2.5 Unity??

?Unreal????????????????Unity?????Object?????????????????????????????????????????????????

?????

??????????????????????????????????????????????????

????Hierarchy????????

???????

???????????????????????????????????????????????????????

??????6????????????????

• "Button_play"???Cue????????????????????
• "Button_stop"???Cue??????????????????????
• "Button_>"???Cue???????????????????????
• "Button_<"???Cue???????????????????????
• "Button_textshowcue"???Cue??????????Cue????????Cue?????
• "Button_modleselector"??????????????????????????????????
  

????????????????????????????????????????????Cue?????????????????????????????????????

???????

?????????????????????????????????????ADX2????????Unity????????????Object?Hierarchy???????CRIWARE?????Add Component?????Cri Atom?????

???????Cri Atom?????acf?acb??awb??????????

?????

???????????????????????????????????????

?????Hierarchy???????Object?????ModelControl????????Add Component?????????"Cri Lips Shape For Atom Source"?

????????????????????Cri Atom Source??SkinnedMeshRenderer?

Cri Atom Source??????????SkinnedMeshRenderer????????Hierarchy????????????????SkinnedMeshRenderer??????

???????????????

????BlendShapeType??????????????????????????????????????? ??????????????????

?????????????????????????????????????????????????????????

????ModelControl???Add Component????Cri Atom Source???

????????Hierarcgy??ModelControl??????????"Cri Lips Shape For Atom Source"??????CriAtomSource??

???????"Cri Lips Shape For Atom Source"??????????????????????????

?????

????????????????????????????????????????Play?Stop???????Cue?????????????????????????????

1.   using System.Collections;
   
2. using System.Collections.Generic;
   
3. using UnityEngine;
   
4. using UnityEngine.UI;
   
5. 
   
6. public class ADXLipsync : MonoBehaviour
   
7. {  
   
8.    #region
   
9.    public CriAtomSource atomsource = null;
   
10.    public string cueSheetName = "";
    
11.    public CriLipsShapeForAtomSource shapeForAtomSource = null;
    
12.    private CriAtomExAcb acb = null;
    
13.    private CriAtomEx.CueInfo[] cueInfos;
    
14.    private int selectedCueIndex = 0;
    
15.    public Text textname;
    
16.    public Text modelName;
    
17.    #endregion
    
18.    // ???????/????????/????????
    
19.    #region
    
20.    void Start()
    
21.    {  
    
22.        if (!string.IsNullOrEmpty(cueSheetName))
    
23.        {  
    
24.            acb = CriAtom.GetAcb(cueSheetName);
    
25.            cueInfos = acb.GetCueInfoList();
    
26.            modelName.text = "JapaneseAIUEO";
    
27.            shapeForAtomSource.blendShapeType = CriLipsShape.BlendShapeType.JapaneseAIUEO;
    
28.         }
    
29.     }
    
30.    // ????????
    
31.    void Update()
    
32.    {  
    
33.        textname.text = cueInfos[selectedCueIndex].name;
    
34. 
    
35.     }
    
36.    // play????????
    
37.    public void PlayCue()
    
38.    {  
    
39.        atomsource.player.SetCue(acb, cueInfos[selectedCueIndex].name);
    
40.        if (atomsource.status == CriAtomSource.Status.Playing)
    
41.        {  
    
42.            atomsource.player.Stop();
    
43.         }
    
44.        atomsource.player.Start();
    
45.     }
    
46.    // stop????????
    
47.    public void StopCue()
    
48.    {  
    
49.        atomsource.player.Stop();
    
50.     }
    
51.    // ???????index
    
52.    public void SetSelectedCueIndexIncrease()
    
53.    {  
    
54.        if (selectedCueIndex >= cueInfos.Length - 1)
    
55.        {  
    
56.            selectedCueIndex = 0;
    
57.         }
    
58.        else
    
59.        {  
    
60.            selectedCueIndex++;
    
61.         }
    
62.     }
    
63. 
    
64.    public void SetSlectedCueIndexDecrease()
    
65.    {  
    
66.        if (selectedCueIndex <= 0)
    
67.        {  
    
68.            selectedCueIndex = cueInfos.Length - 1;
    
69.         }
    
70.        else
    
71.        {  
    
72.            selectedCueIndex--;
    
73.         }
    
74.     }
    
75.    // ??????
    
76.    public void changeModle()
    
77.    {  
    
78.        switch (shapeForAtomSource.blendShapeType)
    
79.        {  
    
80.            case CriLipsShape.BlendShapeType.WidthHeight:
    
81.                shapeForAtomSource.blendShapeType = CriLipsShape.BlendShapeType.JapaneseAIUEO;
    
82.                SetBlendShapeWidthHeightAtSilence(shapeForAtomSource);
    
83.                modelName.text = "JapaneseAIUEO";
    
84.                break;
    
85.            case CriLipsShape.BlendShapeType.JapaneseAIUEO:
    
86.                shapeForAtomSource.blendShapeType = CriLipsShape.BlendShapeType.WidthHeight;
    
87.                setSetBlendShapeJapaneseAIUEOAtSilence(shapeForAtomSource);
    
88.                modelName.text = "WidthHeight";
    
89.                break;
    
90.            default:
    
91.                break;
    
92.         }
    
93.     }
    
94. 
    
95.    // ????????
    
96.    /// <summary>
    
97.    /// ????????
    
98.    /// </summary>
    
99.    private void SetBlendShapeWidthHeightAtSilence(CriLipsShapeForAtomSource lipsShapeForAtomSurce)
    
100.    {  
     
101.        BlendShapeWeighString(lipsShapeForAtomSurce.skinnedMeshRenderer, lipsShapeForAtomSurce.nameMapping.WidthHeightName.lipHeightOpenName, 0.0f);
     
102.        BlendShapeWeighString(lipsShapeForAtomSurce.skinnedMeshRenderer, lipsShapeForAtomSurce.nameMapping.WidthHeightName.lipWidthCloseName, 0.0f);
     
103.        BlendShapeWeighString(lipsShapeForAtomSurce.skinnedMeshRenderer, lipsShapeForAtomSurce.nameMapping.WidthHeightName.lipWidthOpenName, 0.0f);
     
104.        BlendShapeWeighString(lipsShapeForAtomSurce.skinnedMeshRenderer, lipsShapeForAtomSurce.nameMapping.WidthHeightName.tonguePosition, 0.0f);
     
105.     }
     
106.    /// <summary>
     
107.    /// ??????
     
108.    /// </summary>
     
109.    private void setSetBlendShapeJapaneseAIUEOAtSilence(CriLipsShapeForAtomSource lipsShapeForAtomSurce)
     
110.    {  
     
111.        BlendShapeWeighString(lipsShapeForAtomSurce.skinnedMeshRenderer, lipsShapeForAtomSurce.nameMapping.japaneseAIUEOName.a, 0.0f);
     
112.        BlendShapeWeighString(lipsShapeForAtomSurce.skinnedMeshRenderer, lipsShapeForAtomSurce.nameMapping.japaneseAIUEOName.e, 0.0f);
     
113.        BlendShapeWeighString(lipsShapeForAtomSurce.skinnedMeshRenderer, lipsShapeForAtomSurce.nameMapping.japaneseAIUEOName.i, 0.0f);
     
114.        BlendShapeWeighString(lipsShapeForAtomSurce.skinnedMeshRenderer, lipsShapeForAtomSurce.nameMapping.japaneseAIUEOName.o, 0.0f);
     
115.        BlendShapeWeighString(lipsShapeForAtomSurce.skinnedMeshRenderer, lipsShapeForAtomSurce.nameMapping.japaneseAIUEOName.u, 0.0f);
     
116.     }
     
117. 
     
118.    private void BlendShapeWeighString(SkinnedMeshRenderer skinnedMeshRenderer,string blendShapeName,float weight)
     
119.    {  
     
120.        if (string.IsNullOrEmpty(blendShapeName))
     
121.        {  
     
122.            return;
     
123.         }
     
124.        int index = skinnedMeshRenderer.sharedMesh.GetBlendShapeIndex(blendShapeName);
     
125.        if (index < 0)
     
126.        {  
     
127.            return;
     
128.         }
     
129.        skinnedMeshRenderer.SetBlendShapeWeight(index, weight);
     
130.     }
     
131.    #endregion
     
132. }

复制代码

???????????????????

• ?????acb?acb?????????????????????Cue???
• ????acb??????cue????????????
• ???????PlayCue?StopCue?SetSelectedCueIndexIncrease??SetSlectedCueIndexDecrease?????????Cue???Cue????Cue????????acb????CueIndex?
• ???????changeModle??????????????????????????????????????
• ?changeModle??????SetBlendShapeWidthHeightAtSilence?setSetBlendShapeJapaneseAIUEOAtSilence??????????????????????????????????????
  

??????????????????????????????????????

?????????????????????????????????????

ADX LipSync??????????????ADX2????????????????????????????????????????????

???????????????????????????????????

??????????
?????GWB????
????https://mp.weixin.qq.com/s/aVwiImNgcNs_q_OShyLvtw