Echtzeit-, Offline- und plattformübergreifende Lippensynchronisation für MetaHuman und benutzerdefinierte Charaktere. Universelle Sprachunterstützung – funktioniert mit jeder gesprochenen Sprache, auf jeder Plattform. Geeignet für Spiele, interaktive Kiosksysteme, virtuelle Produktion, digitale Assistenten, Trainingssimulationen und mehr.
Wählen Sie das Modell, das den Anforderungen Ihres Projekts entspricht – von breiter Plattformkompatibilität bis hin zu filmreifer Gesichtsanimation mit emotionalem Ausdruck.
Optimiert für Echtzeitleistung auf allen unterstützten Plattformen. Funktioniert mit MetaHumans und jedem Charakter mit Morph-Zielen.
81 Gesichtssteuerungen für natürliche, hochwertige Mundbewegungen, für MetaHuman- und ARKit-kompatible Charaktere. Erhältlich in zwei Varianten: das Standard-Modell von Realistic und Mood-Enabled für emotionalen Ausdruck.
Mood-Enabled Variante
Das Plugin analysiert rohe Audio-Phoneme direkt - keine Texttranskription erforderlich - wodurch es vollständig sprachunabhängig und für jede gesprochene Sprache geeignet ist.
Mikrofon, TTS oder Audiodateien - jede Audio-Datenquelle
Sprachunabhängige Audioverarbeitung, auf dem Gerät
Viseme oder Gesichtssteuerungen, generiert mit optionalem Stimmungskontext
Auf den Charakter angewendet mit sanften Blend-Übergängen
Jede Audioquelle, die PCM-Daten bereitstellt, wird unterstützt.
Echtzeit-Lip-Sync aus Live-Mikrofonaufnahme mit der erfassbaren Soundwelle des Runtime Audio Importer.
Kompatibel mit lokalem Offline-TTS und externen Diensten wie ElevenLabs, OpenAI, Azure, Google Cloud und mehr.
Verarbeiten Sie vorab aufgenommene Audiodateien, Streaming-Quellen oder beliebige benutzerdefinierte PCM-Anbieter.
Trotz des Namens funktioniert das Plugin weit über MetaHumans hinaus.
Alle drei Modelle unterstützen MetaHumans, mit direkter Gesichtssteuerungsausgabe für Realistic und Mood-Enabled.
Das Standardmodell unterstützt über flexibles Visem-Mapping Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe und mehr. Realistic und Mood-Enabled unterstützen diese ebenfalls über ARKit, z. B. CC3/CC4, die beim Export in ARKit konvertiert werden.
Jeder Charakter mit Morph-Zielen kann konfiguriert werden. Unterstützt werden FACS, Apple ARKit, das Preston-Blair-Phonemsystem und die Phonemsysteme von 3ds Max.
Standardmodell - Beispiele für eigene Charaktere
Das Plugin verarbeitet die Phoneme des rohen Audios direkt, anstatt sich auf Text-Transkription zu verlassen, wodurch es von Natur aus sprachunabhängig ist.
Englisch, Spanisch, Französisch, Deutsch, Japanisch, Chinesisch, Koreanisch, Russisch, Arabisch, Hindi, Portugiesisch - und jede andere gesprochene Sprache.
Schnellreferenz für Plattformunterstützung und Modellfunktionen.
| Funktion | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| Animations-Controls | 14 Viseme | 81 Controls | 81 + 12 Stimmungen |
| MetaHuman | |||
| Benutzerdefinierte Charaktere | Über ARKit | Über ARKit | |
| Lacherkennung | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Demos, Tutorials und Schritt-für-Schritt-Anleitungen, die alle Modelle, Audioquellen und Integrations-Workflows abdecken. Alle Inhalte sind mit Unreal Engine 5.0 bis 5.8 kompatibel.
Vollständiger Workflow: Spracherkennung, AI-Chatbot, TTS und Echtzeit-Lippensynchronisation.
So fügen Sie Ihren eigenen MetaHuman-Charakter zum Demo-Projekt hinzu.
Vollständiges Animation Blueprint-Setup für ARKit-Charaktere, mit Audiodatei- und ElevenLabs-Streaming-Beispielen.
Automatisches Blinzeln und dynamischer Blick, der der Spielkamera oder einem beliebigen sich bewegenden Ziel folgt, konfigurierbar im Face Animation Blueprint.
Stimme, Lippensynchronisation und Gesichtsanimation, die live in Unreal Engine 5 laufen.
Showcase des Realistic-Modells mit Mikrofon, lokalem TTS, ElevenLabs und mehreren Sprachen.
Richten Sie realistische Lippensynchronisation ein, indem Sie eine Audiodatei auf Ihrem MetaHuman abspielen. Es funktioniert auch mit Audiopuffern.
Offline-Text-to-Speech mit emotionsbewusster hochwertiger Lippensynchronisation, 12 Stimmungen mit einstellbarer Intensität.
Realistic-Modell mit ElevenLabs & OpenAI für Premium-Qualität Ausgabe.
Echtzeit-Lippensynchronisation aus der Mikrofoneingabe mit dem Realistic-Modell.
Effiziente Echtzeit-Lippensynchronisation mit dem Standard-Modell.
Vollständig offline Lippensynchronisation mit lokaler TTS, keine Internetverbindung erforderlich.
Runtime MetaHuman Lip Sync integriert sich in die breitere Georgy-Dev-Plugin-Suite, um vollständige interaktive Charakter-Pipelines zu erstellen.
Importieren, Streamen und Aufnehmen von Audio zur Laufzeit, um Lippensynchronisations-Animationen aus beliebigen Quellen zu steuern.
Mehr erfahrenFügen Sie Spracherkennung für interaktive Charaktere hinzu, die auf Sprachbefehle reagieren.
Mehr erfahrenOffline-Sprachsynthese mit 2800+ Stimmen, vollständig kompatibel mit allen Lippensynchronisations- Modellen.
Mehr erfahrenAI-gesteuerte Gespräche mit natürlichen Sprachantworten und synchronisierter Lippenanimation.
Mehr erfahrenErzeugen Sie Dialoge mit On-Device-LLMs offline und steuern Sie dann die Lippensynchronisation aus der synthetisierten Sprache für vollständig offline Charakterinteraktionen.
Mehr erfahrenUmfassende Dokumentation deckt alle drei Modelle ab - von der ersten Einrichtung bis zur fortgeschrittenen Charakterkonfiguration, emotionaler Animation und benutzerdefinierter Visem-Zuordnung.
Schritt-für-Schritt-Anleitungen für alle Modelle, MetaHuman-Integration und individuelle Charaktere
Aktive Discord-Community mit Entwickler-Support
Maßgeschneiderte Integration oder Feature-Entwicklung - [email protected]
Verfügbar auf Fab für UE 5.0 – 5.8. Enthält alle drei Modelle, vollständige Dokumentation und Demo-Projekte.
