針對所有支援平台進行即時效能最佳化。可搭配 MetaHuman 以及 任何具有變形目標的角色。
81 項臉部控制，實現自然、高品質的嘴部動作，適用於 MetaHuman 與相容 ARKit 的角色。 提供兩種變體：標準擬真版，以及可展現情緒的 Mood-Enabled 版。
情緒模式變體
此外掛直接分析原始音訊音素 - 無需文字轉錄 - 因此完全不受語言限制，適用於任何口說語言。
麥克風、TTS 或音訊檔案 - 任何音訊資料來源
不受語言限制的音訊處理，於裝置端執行
產生的視素或臉部控制，可選擇搭配情緒脈絡
套用至角色，並具備流暢的混合轉場
支援任何提供 PCM 資料的音訊來源。
透過 Runtime Audio Importer 的可擷取音效波，從即時麥克風擷取實現即時唇形同步。
相容於本機離線 TTS 與外部服務，包括 ElevenLabs、OpenAI、Azure、Google Cloud 等。
處理預先錄製的音訊檔案、串流來源，或任何自訂的 PCM 提供者。
儘管名稱如此，此外掛的適用範圍遠超出 MetaHuman。
三種模型皆支援 MetaHuman，其中寫實模式與情緒模式可直接輸出臉部控制。
標準模型透過靈活的視素對應支援 Daz Genesis 8/9、Reallusion CC3/CC4/CC5、Mixamo 等更多項目。寫實與情緒啟用模型也透過 ARKit 支援這些，例如 CC3/CC4/CC5 在匯出時轉換為 ARKit。
任何具有變形目標的角色皆可設定。支援 FACS、Apple ARKit、Preston Blair 及 3ds Max 音素系統。
標準模型 - 自訂角色範例
此外掛程式會直接處理原始音訊音素，而非依賴文字轉錄， 使其本質上不受語言限制。
英文、西班牙文、法文、德文、日文、中文、韓文、俄文、阿拉伯文、印地文， 葡萄牙文 - 以及任何其他口語語言。
平台支援與模型功能的快速參考。
| 功能 | 標準 | 寫實 | 情緒啟用 |
|---|---|---|---|
| 動畫控制項 | 14 個視素 | 81 個控制項 | 81 + 12 種情緒 |
| MetaHuman | |||
| 自訂角色 | 透過 ARKit | 透過 ARKit | |
| 笑聲偵測 | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
涵蓋所有模型、音訊來源與整合工作流程的示範、教學與逐步解說。所有內容皆相容於 Unreal Engine 5.0 至 5.8。
完整工作流程：語音辨識、AI 聊天機器人、TTS 與即時唇形同步。
如何將你自己的 MetaHuman 角色加入示範專案。
ARKit 角色的完整 Animation Blueprint 設定，包含音訊檔案與 ElevenLabs 串流範例。
自動眨眼與動態注視，可跟隨玩家攝影機或任何移動物件，並可在 Face Animation Blueprint 中設定。
語音、唇形同步與臉部動畫在 Unreal Engine 5 中即時運行。
展示 Realistic 模型在麥克風、本機 TTS、ElevenLabs 與多種語言中的表現。
透過在 MetaHuman 上播放音訊檔案來設定逼真的唇形同步，亦支援音訊緩衝區。
透過 WebSocket 從串流音訊來源驅動即時唇形同步，音訊會逐塊匯入並處理。
離線文字轉語音，搭配情緒感知的高品質唇形同步，提供 12 種情緒並可調整強度。
寫實模型搭配 ElevenLabs 與 OpenAI，打造頂級品質的輸出。
使用寫實模型，從麥克風輸入進行即時唇形同步。
搭配本機 TTS 的完全離線唇形同步，無需網際網路。
Runtime MetaHuman Lip Sync 可與更廣泛的 Georgy Dev 外掛套件整合，打造完整的互動式角色流程。
完整的文件涵蓋全部三種模型——從初始設定到進階角色配置、情緒動畫，以及自訂 viseme 對應。
針對所有模型、MetaHuman 整合與自訂角色的逐步指南
活躍的 Discord 社群，並提供開發者支援
量身打造的整合或功能開發 - [email protected]
