Echtzeit-, Offline- und plattformübergreifendes Lip-Sync für MetaHuman und eigene Charaktere. Universelle Sprachunterstützung – funktioniert mit jeder gesprochenen Sprache, auf jeder Plattform. Geeignet für Spiele, interaktive Kioske, Virtual Production, digitale Assistenten, Trainingssimulationen und mehr.
Wählen Sie das Modell, das zu den Anforderungen Ihres Projekts passt – von breiter Plattformkompatibilität bis hin zu Gesichtsanimation in Kinoqualität mit emotionalem Ausdruck.
Optimiert für Echtzeitleistung auf allen unterstützten Plattformen. Funktioniert mit MetaHumans und jedem Charakter mit Morph Targets.
81 Gesichtssteuerungen für natürliche, hochwertige Mundbewegungen, für MetaHuman und ARKit-kompatible Charaktere. In zwei Varianten erhältlich: Standard-Realistisch und Mood-Enabled für emotionalen Ausdruck.
Mood-fähige Variante
Das Plugin analysiert rohe Audio-Phoneme direkt - keine Texttranskription erforderlich - wodurch es vollständig sprachunabhängig ist und sich für jede gesprochene Sprache eignet.
Mikrofon, TTS oder Audiodateien - jede Audio-Datenquelle
Sprachunabhängige Audioverarbeitung, auf dem Gerät
Viseme oder Gesichtssteuerungen, generiert mit optionalem Stimmungskontext
Wird mit sanften Übergängen auf die Figur angewendet
Jede Audioquelle, die PCM-Daten bereitstellt, wird unterstützt.
Echtzeit-Lip-Sync aus Live-Mikrofonaufnahme unter Verwendung der aufnehmbaren Sound Wave von Runtime Audio Importer.
Kompatibel mit lokalem Offline-TTS und externen Diensten wie ElevenLabs, OpenAI, Azure, Google Cloud und mehr.
Verarbeitet vorab aufgenommene Audiodateien, Streaming-Quellen oder jeden benutzerdefinierten PCM-Anbieter.
Trotz des Namens funktioniert das Plugin weit über MetaHumans hinaus.
Alle drei Modelle unterstützen MetaHumans, mit direkter Gesichtssteuerungs-Ausgabe für Realistic und Mood-Enabled.
Das Standardmodell unterstützt Daz Genesis 8/9, Reallusion CC3/CC4/CC5, Mixamo und mehr über flexibles Viseme-Mapping. Realistic und Mood-Enabled unterstützen diese ebenfalls über ARKit, z. B. CC3/CC4/CC5, die beim Export in ARKit konvertiert werden.
Jeder Charakter mit Morph Targets kann konfiguriert werden. Unterstützt FACS, Apple ARKit, Preston Blair und 3ds Max Phonemsysteme.
Standardmodell – Beispiele für benutzerdefinierte Charaktere
Das Plugin verarbeitet rohe Audio-Phoneme direkt, anstatt sich auf Texttranskription zu verlassen, wodurch es von Natur aus sprachunabhängig ist.
Englisch, Spanisch, Französisch, Deutsch, Japanisch, Chinesisch, Koreanisch, Russisch, Arabisch, Hindi, Portugiesisch – und jede andere gesprochene Sprache.
Kurzübersicht zur Plattformunterstützung und zu den Modellfunktionen.
| Funktion | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| Animationssteuerungen | 14 Viseme | 81 Steuerelemente | 81 + 12 Stimmungen |
| MetaHuman | |||
| Benutzerdefinierte Charaktere | Über ARKit | Über ARKit | |
| Lach-Erkennung | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Demos, Tutorials und Walkthroughs zu allen Modellen, Audio-Quellen und Integrations-Workflows. Alle Inhalte sind mit Unreal Engine 5.0 bis 5.8 kompatibel.
Kompletter Workflow: Spracherkennung, KI-Chatbot, TTS und Echtzeit- Lip-Sync.
So fügen Sie Ihren eigenen MetaHuman-Charakter zum Demo-Projekt hinzu.
Vollständige Animation-Blueprint-Einrichtung für ARKit-Charaktere, mit Audio- Datei- und ElevenLabs-Streaming-Beispielen.
Automatisches Blinzeln und dynamischer Blick, der der Spielerkamera oder jedem sich bewegenden Ziel folgt, konfigurierbar im Face Animation Blueprint.
Sprache, Lip-Sync und Gesichtsanimation live in Unreal Engine 5.
Präsentation des Realistic-Modells über Mikrofon, lokales TTS, ElevenLabs und mehrere Sprachen.
Richten Sie realistischen Lip-Sync ein, indem Sie eine Audio-Datei auf Ihrem MetaHuman abspielen; funktioniert auch mit Audio-Buffern.
Steuern Sie Echtzeit-Lip-Sync aus einer Streaming-Audioquelle über WebSocket, wobei Audio Chunk für Chunk importiert und verarbeitet wird.
Offline-Text-to-Speech mit emotionsbewusstem Lip-Sync in hoher Qualität, 12 Stimmungen mit anpassbarer Intensität.
Realistisches Modell mit ElevenLabs & OpenAI für Ausgabe in Premium-Qualität.
Echtzeit-Lip-Sync aus Mikrofoneingabe unter Verwendung des Realistic-Modells.
Vollständig offline Lip-Sync mit lokalem TTS, kein Internet erforderlich.
Runtime MetaHuman Lip Sync lässt sich in die umfangreiche Georgy Dev Plugin-Suite integrieren, um vollständige interaktive Charakter-Pipelines zu erstellen.
Importieren, streamen und erfassen Sie Audio zur Laufzeit, um Lip-Sync-Animationen aus jeder Quelle anzusteuern.
Mehr erfahrenFügen Sie Spracherkennung für interaktive Charaktere hinzu, die auf Sprachbefehle reagieren.
Mehr erfahrenOffline-Sprachsynthese mit über 2800 Stimmen, vollständig kompatibel mit allen Lip- Sync-Modellen.
Mehr erfahrenAI-gesteuerte Konversationen mit Antworten in natürlicher Sprache und synchronisierter Lip-Animation.
Mehr erfahrenErzeugen Sie Dialoge mit On-Device-LLMs offline und steuern Sie anschließend Lip-Sync aus der synthetisierten Sprache für vollständig offline Charakterinteraktionen.
Mehr erfahrenEine umfassende Dokumentation deckt alle drei Modelle ab – von der Ersteinrichtung bis zur erweiterten Charakterkonfiguration, emotionalen Animation und benutzerdefinierten Viseme-Zuordnung.
Schritt-für-Schritt-Anleitungen für alle Modelle, MetaHuman-Integration und eigene Charaktere
Aktive Discord-Community mit Entwickler-Support
Maßgeschneiderte Integration oder Feature-Entwicklung - [email protected]
Verfügbar auf Fab für UE 5.0 – 5.8. Enthält alle drei Modelle, vollständige Dokumentation und Demo-Projekte.
