Synchronisation labiale en temps réel, hors ligne et multiplateforme pour MetaHuman et les personnages personnalisés. Prise en charge universelle des langues : fonctionne avec n'importe quelle langue parlée, sur n'importe quelle plateforme. Convient aux jeux, bornes interactives, production virtuelle, assistants numériques, simulations de formation, et plus encore.
Choisissez le modèle qui correspond aux exigences de votre projet - de la large compatibilité des plateformes à l'animation faciale de qualité cinématographique avec expression émotionnelle.
Optimisé pour des performances en temps réel sur toutes les plateformes prises en charge. Fonctionne avec les MetaHumans et tout personnage avec des cibles de morphing.
81 contrôles faciaux pour un mouvement naturel et de haute qualité de la bouche, pour les personnages MetaHuman et compatibles ARKit. Disponible en deux variantes : Realistic standard et Mood-Enabled pour l'expression émotionnelle.
Variante avec humeur
Le plugin analyse directement les phonèmes audio bruts - aucune transcription textuelle requise - ce qui le rend totalement indépendant de la langue et adapté à toute langue parlée.
Microphone, TTS ou fichiers audio - toute source de données audio
Traitement audio indépendant de la langue, sur l'appareil
Visèmes ou contrôles faciaux générés avec contexte d'humeur optionnel
Appliqué au personnage avec des transitions de fondu fluides
Toute source audio fournissant des données PCM est prise en charge.
Synchro labiale en temps réel à partir de la capture microphonique en direct à l'aide de l'onde sonore capturable de Runtime Audio Importer.
Compatible avec le TTS local hors ligne et les services externes, notamment ElevenLabs, OpenAI, Azure, Google Cloud, et plus.
Traite les fichiers audio pré-enregistrés, les sources en streaming ou tout fournisseur PCM personnalisé.
Malgré son nom, le plugin fonctionne bien au-delà des MetaHumans.
Les trois modèles prennent en charge les MetaHumans, avec une sortie de contrôle facial directe pour les modèles Réaliste et avec humeur.
Le modèle Standard prend en charge Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, et plus encore grâce à un mappage de visèmes flexible. Realistic et Mood-Enabled les prennent également en charge via ARKit, par exemple CC3/CC4 convertis en ARKit à l'exportation.
Tout personnage avec cibles de morphing peut être configuré. Prend en charge les systèmes de phonèmes FACS, Apple ARKit, Preston Blair et 3ds Max.
Modèle Standard - Exemples de personnages personnalisés
Le plugin traite directement les phonèmes de l'audio brut plutôt que de s'appuyer sur la transcription textuelle, ce qui le rend intrinsèquement indépendant de la langue.
Anglais, espagnol, français, allemand, japonais, chinois, coréen, russe, arabe, hindi, portugais - et toute autre langue parlée.
Référence rapide pour la prise en charge des plateformes et les capacités des modèles.
| Capacité | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| Contrôles d'animation | 14 visèmes | 81 contrôles | 81 + 12 humeurs |
| MetaHuman | |||
| Personnages personnalisés | Via ARKit | Via ARKit | |
| Détection du rire | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Démos, tutoriels et présentations pas à pas couvrant tous les modèles, sources audio et flux de travail d'intégration. Tout le contenu est compatible avec Unreal Engine 5.0 à 5.8.
Flux de travail complet : reconnaissance vocale, chatbot IA, TTS et synchronisation labiale en temps réel.
Comment ajouter votre propre personnage MetaHuman au projet de démonstration.
Configuration complète d'Animation Blueprint pour les personnages ARKit, avec fichier audio et exemples de streaming ElevenLabs.
Clignement automatique et regard dynamique qui suit la caméra du joueur ou toute cible mobile, configurable dans l'Animation Blueprint du visage.
Voix, synchronisation labiale et animation faciale en direct dans Unreal Engine 5.
Présentation du modèle Realistic avec microphone, TTS local, ElevenLabs et plusieurs langues.
Configurez une synchronisation labiale réaliste en jouant un fichier audio sur votre MetaHuman, fonctionne également avec les buffers audio.
Synthèse vocale hors ligne avec synchronisation labiale de haute qualité sensible aux émotions, 12 humeurs avec intensité réglable.
Modèle Realistic avec ElevenLabs & OpenAI pour une sortie de qualité premium.
Synchronisation labiale en temps réel à partir de l'entrée microphone avec le modèle Realistic.
Synchronisation labiale en temps réel efficace utilisant le modèle Standard.
Synchronisation labiale entièrement hors ligne avec synthèse vocale locale, aucune connexion Internet requise.
Runtime MetaHuman Lip Sync s'intègre à la suite de plugins Georgy Dev pour construire des pipelines de personnages interactifs complets.
Importer, diffuser et capturer de l'audio à l'exécution pour piloter des animations de synchronisation labiale à partir de n'importe quelle source.
En savoir plusAjouter la reconnaissance vocale pour des personnages interactifs qui répondent aux commandes vocales.
En savoir plusSynthèse vocale hors ligne avec plus de 2800 voix, entièrement compatible avec tous les modèles de synchronisation labiale.
En savoir plusConversations pilotées par AI avec réponses en langage naturel et animation labiale synchronisée.
En savoir plusGénérer des dialogues avec des LLM hors ligne sur l'appareil, puis piloter la synchronisation labiale à partir de la parole synthétisée pour des interactions de personnages entièrement hors ligne.
En savoir plusUne documentation complète couvre les trois modèles - de la configuration initiale à la configuration avancée des personnages, l'animation émotionnelle et le mappage personnalisé des visèmes.
Guides étape par étape pour tous les modèles, l'intégration MetaHuman et les personnages personnalisés
Communauté Discord active avec assistance aux développeurs
Intégration sur mesure ou développement de fonctionnalités - [email protected]
Disponible sur Fab pour UE 5.0 – 5.8. Inclut les trois modèles, la documentation complète et des projets de démonstration.
