Sincronización de labios en tiempo real, sin conexión y multiplataforma para MetaHuman y personajes personalizados. Compatibilidad universal de idiomas: funciona con cualquier idioma hablado, en cualquier plataforma. Adecuado para juegos, quioscos interactivos, producción virtual, asistentes digitales, simulaciones de entrenamiento y más.
Elige el modelo que se ajuste a los requisitos de tu proyecto - desde una amplia compatibilidad de plataformas hasta animación facial de calidad cinematográfica con expresión emocional.
Optimizado para rendimiento en tiempo real en todas las plataformas compatibles. Funciona con MetaHumans y cualquier personaje con objetivos de morph.
81 controles faciales para un movimiento de boca natural y de alta calidad, para personajes MetaHuman y compatibles con ARKit. Disponible en dos variantes: Realista estándar y con estado de ánimo habilitado para la expresión emocional.
Variante Mood-Enabled
El plugin analiza fonemas de audio sin procesar directamente - no se requiere transcripción de texto - lo que lo hace totalmente independiente del idioma y adecuado para cualquier idioma hablado.
Micrófono, TTS o archivos de audio - cualquier fuente de datos de audio
Procesamiento de audio independiente del idioma, en el dispositivo
Visemas o controles faciales generados con contexto de estado de ánimo opcional
Aplicado al personaje con transiciones de fusión suaves
Se admite cualquier fuente de audio que proporcione datos PCM.
Sincronización de labios en tiempo real a partir de la captura de micrófono en vivo utilizando la onda de sonido capturable de Runtime Audio Importer.
Compatible con TTS local sin conexión y servicios externos, incluidos ElevenLabs, OpenAI, Azure, Google Cloud y más.
Procesa archivos de audio pregrabados, fuentes de transmisión o cualquier proveedor de PCM personalizado.
A pesar del nombre, el plugin funciona bien más allá de los MetaHumans.
Los tres modelos son compatibles con MetaHumans, con salida de control facial directa para Realistic y Mood-Enabled.
El modelo estándar admite Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe y más mediante un mapeo de visemas flexible. Realista y Con emociones también los admiten mediante ARKit, p. ej., CC3/CC4 convertidos a ARKit al exportar.
Cualquier personaje con objetivos de morph puede configurarse. Admite los sistemas de fonemas de FACS, Apple ARKit, Preston Blair y 3ds Max.
Modelo estándar - Ejemplos de personajes personalizados
El plugin procesa los fonemas del audio crudo directamente en lugar de depender de la transcripción de texto, lo que lo hace inherentemente independiente del idioma.
Inglés, español, francés, alemán, japonés, chino, coreano, ruso, árabe, hindi, portugués - y cualquier otro idioma hablado.
Referencia rápida para la compatibilidad de plataformas y las capacidades de los modelos.
| Capacidad | Estándar | Realista | Con emociones |
|---|---|---|---|
| Controles de animación | 14 visemas | 81 controles | 81 + 12 estados de ánimo |
| MetaHuman | |||
| Personajes personalizados | Vía ARKit | Vía ARKit | |
| Detección de risas | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Demos, tutoriales y guías detalladas que cubren todos los modelos, fuentes de audio y flujos de trabajo de integración. Todo el contenido es compatible con Unreal Engine 5.0 hasta 5.8.
Flujo de trabajo completo: reconocimiento de voz, chatbot de AI, TTS y sincronización de labios en tiempo real.
Cómo añadir tu propio personaje MetaHuman al proyecto de demostración.
Configuración completa de Blueprint de animación para personajes ARKit, con archivos de audio y ejemplos de streaming de ElevenLabs.
Parpadeo automático y mirada dinámica que sigue la cámara del jugador o cualquier objetivo en movimiento, configurable en el Blueprint de animación facial.
Voz, sincronización de labios y animación facial ejecutándose en vivo en Unreal Engine 5.
Demostración del modelo Realistic con micrófono, TTS local, ElevenLabs y múltiples idiomas.
Configura una sincronización de labios realista reproduciendo un archivo de audio en tu MetaHuman; también funciona con buffers de audio.
Texto a voz sin conexión con sincronización de labios de alta calidad sensible a las emociones, 12 estados de ánimo con intensidad ajustable.
Modelo Realistic con ElevenLabs y OpenAI para una salida de calidad premium.
Sincronización de labios en tiempo real desde la entrada del micrófono usando el modelo Realistic.
Sincronización de labios en tiempo real eficiente usando el modelo Standard.
Sincronización de labios totalmente sin conexión con TTS local, sin necesidad de internet.
Runtime MetaHuman Lip Sync se integra con el conjunto más amplio de plugins de Georgy Dev para construir pipelines completos de personajes interactivos.
Importa, transmite y captura audio en tiempo de ejecución para impulsar animaciones de sincronización de labios desde cualquier fuente.
Aprende másAñade reconocimiento de voz para personajes interactivos que responden a comandos de voz.
Aprende másSíntesis de voz sin conexión con más de 2800 voces, totalmente compatible con todos los modelos de sincronización de labios.
Aprende másConversaciones impulsadas por IA con respuestas en lenguaje natural y animación de labios sincronizada.
Aprende másGenera diálogos con LLM locales sin conexión y luego impulsa la sincronización de labios desde el habla sintetizada para interacciones de personajes totalmente sin conexión.
Aprende másLa documentación completa cubre los tres modelos: desde la configuración inicial hasta la configuración avanzada de personajes, la animación emocional y el mapeo personalizado de visemas.
Guías paso a paso para todos los modelos, integración de MetaHuman y personajes personalizados
Comunidad activa de Discord con soporte para desarrolladores
Integración a medida o desarrollo de funciones - [email protected]
Disponible en Fab para UE 5.0 – 5.8. Incluye los tres modelos, documentación completa y proyectos de demostración.
