針對所有支援平台上的即時效能進行最佳化。可搭配 MetaHumans 與 任何具有形變目標的角色。
81 個臉部控制項，用於自然、高品質的口部動作，適用於 MetaHuman 與 ARKit 相容角色。 提供兩種變體：標準寫實版與情緒啟用版，以進行情緒表達。
情緒啟用變體
此插件直接分析原始音訊音素，無需文字轉錄，因此完全不受語言限制，適用於任何口說語言。
麥克風、TTS 或音訊檔案——任何音訊資料來源
語言無關的音訊處理，於裝置端執行
視位或臉部控制，依可選的情緒情境產生
套用至角色並帶有平滑的混合過渡
任何提供 PCM 資料的音訊來源均受支援。
使用 Runtime Audio Importer 的可捕捉聲波，從即時麥克風擷取進行即時口型同步。
與本機離線 TTS 及外部服務相容，包括 ElevenLabs、OpenAI、Azure、Google Cloud 等。
可處理預先錄製的音訊檔案、串流來源，或任何自訂 PCM 提供者。
儘管名稱如此，此插件在 MetaHuman 之外也能運作良好。
所有三種模型均支援 MetaHuman，其中「寫實」與「情緒啟用」可直接輸出臉部控制。
標準版模型透過靈活的視素映射支援 Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe 等。寫實版與情緒支援版也透過 ARKit 支援這些，例如 CC3/CC4 在匯出時轉換為 ARKit。
任何具有形變目標的角色都可以設定。支援 FACS、Apple ARKit、Preston Blair 與 3ds Max 音素系統。
標準版模型 - 自訂角色範例
外掛程式直接處理原始音訊中的音素，而非依賴文字轉錄， 因此本質上與語言無關。
英文、西班牙文、法文、德文、日文、中文、韓文、俄文、阿拉伯文、印地文、 葡萄牙文 - 以及任何其他口說語言。
平台支援與模型功能的快速參考。
| 功能 | 標準版 | 寫實版 | 情緒支援版 |
|---|---|---|---|
| 動畫控制器 | 14 個視素 | 81 個控制器 | 81 + 12 種情緒 |
| MetaHuman | |||
| 自訂角色 | 透過 ARKit | 透過 ARKit | |
| 笑聲偵測 | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
示範、教學影片和逐步指南，涵蓋所有模型、音訊來源和整合工作流程。所有內容皆相容於 Unreal Engine 5.0 至 5.8。
完整工作流程：語音辨識、AI 聊天機器人、TTS，以及即時口型同步。
如何將您自己的 MetaHuman 角色加入示範專案。
適用於 ARKit 角色的完整 Animation Blueprint 設定，包含音訊檔案和 ElevenLabs 串流範例。
自動眨眼與動態視線，會跟隨玩家攝影機或任何移動目標，可在臉部 Animation Blueprint 中設定。
語音、口型同步與臉部動畫在 Unreal Engine 5 中即時運作。
在麥克風、本機 TTS、ElevenLabs 和多種語言中展示擬真模型。
通過在您的 MetaHuman 上播放音訊檔案來設定逼真的口型同步，也適用於音訊緩衝區。
離線文字轉語音，具備情緒感知的高品質口型同步，支援 12 種情緒且強度可調整。
透過 ElevenLabs 與 OpenAI 提供頂級品質輸出的擬真模型。
使用擬真模型，從麥克風輸入進行即時口型同步。
使用標準模型的高效率即時口型同步。
搭配本機 TTS 的完全離線口型同步，無需網際網路。
Runtime MetaHuman Lip Sync 可與更廣泛的 Georgy Dev 外掛程式套件整合，以建構完整的互動角色管線。
全面的文件涵蓋全部三種模型，從初始設定到進階角色設定、情緒動畫，以及自訂視素對應。
