MetaHumanおよびカスタムキャラクター向けの、リアルタイム・オフライン・クロスプラットフォーム対応リップシンク。 あらゆる言語に対応 - どのプラットフォームでもあらゆる話し言葉で動作します。 ゲーム、インタラクティブキオスク、バーチャルプロダクション、デジタルアシスタント、トレーニングシミュレーションなどに適しています。
サポートされているすべてのプラットフォームでリアルタイムパフォーマンス向けに最適化されています。MetaHumanおよび モーフターゲットを持つあらゆるキャラクターで動作します。
MetaHumanおよびARKit互換キャラクター向けに、自然で高品質な口の動きを実現する81のフェイシャルコントロール。 標準のリアリスティックと、感情表現のためのムード対応の2つのバリアントがあります。
ムード有効バリアント
このプラグインは、生のオーディオの音素を直接分析します。テキストの文字起こしは不要で、完全に言語非依存であり、あらゆる話し言葉に対応できます。
マイク、TTS、またはオーディオファイル - あらゆるオーディオデータソース
言語非依存のオーディオ処理、デバイス上で
ビジームまたはフェイシャルコントロールが、オプションのムードコンテキスト付きで生成されます
滑らかなブレンド遷移でキャラクターに適用されます
PCMデータを提供するあらゆるオーディオソースがサポートされます。
Runtime Audio Importerのキャプチャ可能なサウンドウェーブを使用した、ライブマイクキャプチャによるリアルタイムのリップシンク。
ローカルオフラインTTSと、ElevenLabs、OpenAI、Azure、Google Cloudなどの外部サービスに対応しています。
録音済みのオーディオファイル、ストリーミングソース、または任意のカスタムPCMプロバイダーを処理します。
その名前にもかかわらず、このプラグインはMetaHuman以外でも十分に動作します。
3つのモデルすべてがMetaHumanをサポートし、リアリスティックとムード有効では直接フェイシャルコントロール出力を提供します。
Standard モデルは、柔軟な視素マッピングにより、Daz Genesis 8/9、Reallusion CC3/CC4、Mixamo、ReadyPlayerMe、その他に対応しています。Realistic および Mood-Enabled も、ARKit を介してこれらをサポートします。例: CC3/CC4 はエクスポート時に ARKit に変換されます。
モーフターゲットを持つ任意のキャラクターを設定できます。FACS、Apple ARKit、Preston Blair、3ds Max の音素システムに対応しています。
Standard モデル - カスタムキャラクターの例
プラグインはテキストの文字起こしに頼るのではなく、生のオーディオの音素を直接処理するので、 本質的に言語に依存しません。
英語、スペイン語、フランス語、ドイツ語、日本語、中国語、韓国語、ロシア語、アラビア語、ヒンディー語、 ポルトガル語 - そしてその他のあらゆる話し言葉。
プラットフォームのサポート状況とモデル機能のクイックリファレンスです。
| 機能 | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| アニメーションコントロール | 14の視素 | 81のコントロール | 81 + 12 ムード |
| MetaHuman | |||
| カスタムキャラクター | ARKit経由 | ARKit経由 | |
| 笑い声検出 | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
すべてのモデル、オーディオソース、統合ワークフローを網羅したデモ、チュートリアル、ウォークスルー。すべてのコンテンツはUnreal Engine 5.0から5.8までと互換性があります。
完全なワークフロー: 音声認識、AIチャットボット、TTS、およびリアルタイム リップシンク。
独自のMetaHumanキャラクターをデモプロジェクトに追加する方法。
ARKitキャラクター向けの完全なアニメーションブループリントセットアップ。オーディオファイルと ElevenLabsストリーミングの例を含みます。
プレイヤーカメラまたは任意の 移動ターゲットに追従する自動瞬きと動的な視線。フェイスアニメーションブループリントで設定可能。
音声、リップシンク、およびフェイシャルアニメーションがUnreal Engine 5でライブ実行されます。
マイク、ローカルTTS、ElevenLabs、および複数の言語にわたるリアリスティックモデルのショーケース。
MetaHumanでオーディオファイルを再生してリアルなリップシンクを設定します。また、 オーディオバッファでも動作します。
感情認識対応の高品質リップシンクを備えたオフラインのテキスト読み上げ。12のムードと調整可能な強度。
ElevenLabsとOpenAIを使用したRealisticモデルで、プレミアム品質の 出力。
Realistic モデルを使用した、マイク入力からのリアルタイムリップシンク。
Standard モデルを使用した効率的なリアルタイムリップシンク。
ローカルTTSによる完全オフラインのリップシンク。インターネットは不要です。
Runtime MetaHuman Lip Sync は、より広範な Georgy Dev プラグインスイートと統合され、完全なインタラクティブキャラクターパイプラインを構築します。
オンデバイスLLMを使用してオフラインで対話を生成し、リップシンクを駆動します 合成音声から、完全オフラインのキャラクターインタラクションを実現します。
詳細を見る包括的なドキュメントは、初期セットアップから高度なキャラクター設定、感情アニメーション、カスタムビジームマッピングまで、3つのモデルすべてをカバーしています。
全モデル、MetaHuman統合、カスタムキャラクターに関するステップバイステップガイド
開発者サポート付きの活発なDiscordコミュニティ
カスタマイズされた統合または機能開発 - [email protected]
UE 5.0 – 5.8 向けにFabで利用可能です。3つのモデルすべて、完全なドキュメント、デモプロジェクトが含まれています。
