Lip sync en temps réel, hors ligne et multiplateforme pour les MetaHuman et les personnages personnalisés. Prise en charge universelle des langues - fonctionne avec n'importe quelle langue parlée, sur n'importe quelle plateforme. Adapté aux jeux, bornes interactives, production virtuelle, assistants numériques, simulations de formation, et plus encore.
Choisissez le modèle qui correspond aux exigences de votre projet - d'une large compatibilité multiplateforme à une animation faciale de qualité cinématographique avec expression émotionnelle.
Optimisé pour les performances en temps réel sur toutes les plateformes prises en charge. Fonctionne avec les MetaHumans et tout personnage doté de morph targets.
81 contrôles faciaux pour un mouvement de bouche naturel et de haute qualité, pour les MetaHuman et les personnages compatibles ARKit. Disponible en deux variantes : Réaliste standard et avec gestion de l'humeur pour l'expression émotionnelle.
Variante avec prise en charge de l'humeur
Le plugin analyse directement les phonèmes audio bruts - aucune transcription textuelle requise - ce qui le rend totalement indépendant de la langue et adapté à toute langue parlée.
Microphone, TTS ou fichiers audio - toute source de données audio
Traitement audio indépendant de la langue, en local
Visèmes ou contrôles faciaux générés avec un contexte d'humeur optionnel
Appliqué au personnage avec des transitions de mélange fluides
Toute source audio fournissant des données PCM est prise en charge.
Synchronisation labiale en temps réel à partir de la capture du microphone en direct, grâce à l'onde sonore capturable de Runtime Audio Importer.
Compatible avec la TTS locale hors ligne et des services externes, notamment ElevenLabs, OpenAI, Azure, Google Cloud, et plus encore.
Traitez des fichiers audio préenregistrés, des sources de streaming ou tout fournisseur PCM personnalisé.
Malgré son nom, le plugin fonctionne bien au-delà des MetaHumans.
Les trois modèles prennent en charge les MetaHumans, avec une sortie de contrôle facial direct pour Realistic et Mood-Enabled.
Le modèle Standard prend en charge Daz Genesis 8/9, Reallusion CC3/CC4/CC5, Mixamo, et bien d'autres grâce à un mappage de visèmes flexible. Realistic et Mood-Enabled les prennent également en charge via ARKit, par ex. CC3/CC4/CC5 convertis en ARKit à l'export.
Tout personnage doté de cibles de morphing peut être configuré. Prend en charge FACS, Apple ARKit, Preston Blair et les systèmes de phonèmes 3ds Max.
Modèle Standard - Exemples de personnages personnalisés
Le plugin traite directement les phonèmes audio bruts plutôt que de s'appuyer sur une transcription textuelle, ce qui le rend intrinsèquement indépendant de la langue.
Anglais, espagnol, français, allemand, japonais, chinois, coréen, russe, arabe, hindi, portugais - et toute autre langue parlée.
Référence rapide pour la prise en charge des plateformes et les capacités des modèles.
| Capacité | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| Contrôles d'animation | 14 visèmes | 81 contrôles | 81 + 12 humeurs |
| MetaHuman | |||
| Personnages personnalisés | Via ARKit | Via ARKit | |
| Détection du rire | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Démos, tutoriels et visites guidées couvrant tous les modèles, sources audio et workflows d'intégration. Tout le contenu est compatible avec Unreal Engine 5.0 jusqu'à 5.8.
Workflow complet : reconnaissance vocale, chatbot IA, TTS et synchronisation labiale en temps réel.
Comment ajouter votre propre personnage MetaHuman au projet de démonstration.
Configuration complète de l'Animation Blueprint pour les personnages ARKit, avec des exemples de fichier audio et de streaming ElevenLabs.
Clignement automatique et regard dynamique qui suit la caméra du joueur ou toute cible en mouvement, configurables dans la Face Animation Blueprint.
Voix, synchronisation labiale et animation faciale en direct dans Unreal Engine 5.
Présentation du modèle Realistic avec microphone, TTS local, ElevenLabs et plusieurs langues.
Configurez une synchronisation labiale réaliste en lisant un fichier audio sur votre MetaHuman, fonctionne aussi avec les buffers audio.
Pilotez la synchronisation labiale en temps réel depuis une source audio en streaming via WebSocket, avec l'audio importé et traité bloc par bloc.
Synthèse vocale hors ligne avec synchronisation labiale de haute qualité sensible aux émotions, 12 humeurs avec intensité réglable.
Modèle Realistic avec ElevenLabs et OpenAI pour une sortie de qualité premium.
Synchronisation labiale en temps réel à partir de l'entrée microphone en utilisant le modèle Realistic.
Synchronisation labiale entièrement hors ligne avec TTS local, aucune connexion Internet requise.
Runtime MetaHuman Lip Sync s'intègre à l'ensemble plus large des plugins Georgy Dev pour créer des pipelines de personnages interactifs complets.
Importez, diffusez et capturez de l'audio à l'exécution pour piloter des animations de synchronisation labiale depuis n'importe quelle source.
En savoir plusAjoutez la reconnaissance vocale pour des personnages interactifs qui répondent aux commandes vocales.
En savoir plusSynthèse vocale hors ligne avec plus de 2800 voix, entièrement compatible avec tous les modèles de synchronisation labiale.
En savoir plusConversations pilotées par AI avec des réponses en langage naturel et une animation labiale synchronisée.
En savoir plusGénérez des dialogues avec des LLM sur l'appareil hors ligne, puis pilotez la synchronisation labiale à partir de la parole synthétisée pour des interactions de personnages entièrement hors ligne.
En savoir plusUne documentation complète couvre les trois modèles - de la configuration initiale à la configuration avancée des personnages, l'animation émotionnelle et le mappage personnalisé des visèmes.
Guides étape par étape pour tous les modèles, l'intégration MetaHuman et les personnages personnalisés
Communauté Discord active avec support développeur
Intégration sur mesure ou développement de fonctionnalités - [email protected]
Disponible sur Fab pour UE 5.0 – 5.8. Inclut les trois modèles, la documentation complète et des projets de démonstration.
