针对所有受支持平台优化了实时性能。适用于 MetaHumans 以及 任何带有形态目标的角色。
81 个面部控制，用于实现自然、高质量的口部运动，适用于 MetaHuman 和兼容 ARKit 的角色。 提供两种变体：标准写实版和支持情绪表达的情绪启用版。
情绪启用变体
该插件直接分析原始音频音素——无需文本转录——因此完全与语言无关，适用于任何口语。
麦克风、TTS 或音频文件——任何音频数据源
语言无关的音频处理，设备端完成
视位或面部控制，生成时支持可选情绪上下文
应用于角色，并带有平滑混合过渡
支持任何提供 PCM 数据的音频源。
通过 Runtime Audio Importer 的可捕获声波，从实时麦克风采集实现实时口型同步。
兼容本地离线 TTS 及外部服务，包括 ElevenLabs、OpenAI、Azure、Google Cloud 等。
处理预先录制的音频文件、流媒体源或任何自定义 PCM 提供程序。
尽管名称如此，该插件远不止支持 MetaHuman。
所有三个模型都支持 MetaHuman，其中写实和情绪启用模式可直接输出面部控制。
Standard 模型通过灵活的视素映射支持 Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe 等。Realistic 和 Mood-Enabled 也通过 ARKit 支持这些，例如 CC3/CC4 在导出时转换为 ARKit。
任何具有变形目标的角色都可以配置。支持 FACS、Apple ARKit、Preston Blair 和 3ds Max 音素系统。
Standard 模型 - 自定义角色示例
该插件直接处理原始音频音素，而不是依赖文本转录， 因此它本质上与语言无关。
英语、西班牙语、法语、德语、日语、中文、韩语、俄语、阿拉伯语、印地语、 葡萄牙语——以及任何其他口语。
平台支持和模型能力的快速参考。
| 能力 | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| 动画控制 | 14 个视素 | 81 个控制器 | 81 + 12 种情绪 |
| MetaHuman | |||
| 自定义角色 | 通过 ARKit | 通过 ARKit | |
| 笑声检测 | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
演示、教程和操作指南，涵盖所有模型、音频源和集成工作流程。所有内容均兼容 Unreal Engine 5.0 至 5.8。
完整工作流程：语音识别、AI 聊天机器人、TTS 和实时 口型同步。
如何将您自己的 MetaHuman 角色添加到演示项目。
适用于 ARKit 角色的完整动画蓝图设置，包含音频文件和 ElevenLabs 流式示例。
自动眨眼和动态视线，可跟随玩家摄像机或任何 移动目标，并可在面部动画蓝图中配置。
语音、口型同步和面部动画在 Unreal Engine 5 中实时运行。
展示 Realistic 模型在麦克风、本地 TTS、ElevenLabs 以及 多种语言中的表现。
在 MetaHuman 上播放音频文件即可设置逼真的口型同步，同时 也适用于音频缓冲区。
离线文本转语音，具备情绪感知的高质量口型同步，12种情绪且强度可调。
使用ElevenLabs和OpenAI的Realistic模型，提供高品质 输出。
使用Realistic模型，根据麦克风输入实时生成口型同步。
使用Standard模型，实现高效的实时口型同步。
完全离线的口型同步，搭配本地TTS，无需互联网。
Runtime MetaHuman Lip Sync 与更广泛的 Georgy Dev 插件套件集成，用于构建完整的交互式角色管线。
全面的文档涵盖了所有三种模型——从初始设置到高级角色配置、情感动画以及自定义视位映射。
