Sincronização labial em tempo real, offline e multiplataforma para MetaHuman e personagens personalizados. Suporte universal a idiomas - funciona com qualquer idioma falado, em qualquer plataforma. Adequado para jogos, quiosques interativos, produção virtual, assistentes digitais, simulações de treinamento e muito mais.
Escolha o modelo que atende aos requisitos do seu projeto - desde ampla compatibilidade de plataformas até animação facial de qualidade cinematográfica com expressão emocional.
Otimizado para desempenho em tempo real em todas as plataformas suportadas. Funciona com MetaHumans e qualquer personagem com morph targets.
81 controles faciais para movimento natural e de alta qualidade da boca, para MetaHuman e personagens compatíveis com ARKit. Disponível em duas variantes: Realista padrão e com suporte a emoções para expressão emocional.
Variante Mood-Enabled
O plugin analisa fonemas de áudio bruto diretamente - sem necessidade de transcrição de texto - tornando-o totalmente independente de idioma e adequado para qualquer idioma falado.
Microfone, TTS ou arquivos de áudio - qualquer fonte de dados de áudio
Processamento de áudio independente de idioma, no dispositivo
Visemas ou controles faciais gerados com contexto de humor opcional
Aplicado ao personagem com transições suaves de mistura
Qualquer fonte de áudio que forneça dados PCM é suportada.
Sincronização labial em tempo real a partir da captura de microfone ao vivo usando a onda sonora capturável do Runtime Audio Importer.
Compatível com TTS offline local e serviços externos, incluindo ElevenLabs, OpenAI, Azure, Google Cloud e outros.
Processe arquivos de áudio pré-gravados, fontes de streaming ou qualquer provedor PCM personalizado.
Apesar do nome, o plugin funciona bem além de MetaHumans.
Todos os três modelos suportam MetaHumans, com saída de controle facial direta para Realistic e Mood-Enabled.
O modelo Standard suporta Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe e outros por meio de mapeamento flexível de visemas. Realistic e Mood-Enabled também oferecem suporte a eles via ARKit, por exemplo, CC3/CC4 convertidos para ARKit na exportação.
Qualquer personagem com alvos de morph pode ser configurado. Suporta os sistemas de fonemas FACS, Apple ARKit, Preston Blair e 3ds Max.
Modelo Standard - Exemplos de Personagens Personalizados
O plugin processa fonemas de áudio bruto diretamente, em vez de depender de transcrição de texto, tornando-o inerentemente independente de idioma.
Inglês, Espanhol, Francês, Alemão, Japonês, Chinês, Coreano, Russo, Árabe, Hindi, Português - e qualquer outro idioma falado.
Referência rápida para suporte a plataformas e capacidades dos modelos.
| Capacidade | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| Controles de animação | 14 visemas | 81 controles | 81 + 12 humores |
| MetaHuman | |||
| Personagens personalizados | Via ARKit | Via ARKit | |
| Detecção de risadas | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Demonstrações, tutoriais e passo a passo cobrindo todos os modelos, fontes de áudio e fluxos de trabalho de integração. Todo o conteúdo é compatível com Unreal Engine 5.0 a 5.8.
Workflow completo: reconhecimento de fala, chatbot de IA, TTS e sincronização labial em tempo real.
Como adicionar seu próprio personagem MetaHuman ao projeto de demonstração.
Configuração completa de Blueprint de Animação para personagens ARKit, com arquivo de áudio e exemplos de streaming da ElevenLabs.
Piscar automático e olhar dinâmico que segue a câmera do jogador ou qualquer alvo em movimento, configurável no Blueprint de Animação Facial.
Voz, sincronização labial e animação facial rodando ao vivo no Unreal Engine 5.
Demonstração do modelo Realistic com microfone, TTS local, ElevenLabs e vários idiomas.
Configure uma sincronização labial realista reproduzindo um arquivo de áudio no seu MetaHuman, também funciona com buffers de áudio.
Síntese de fala offline com sincronização labial de alta qualidade e sensível a emoções, 12 humores com intensidade ajustável.
Modelo realista com ElevenLabs e OpenAI para saída de qualidade premium.
Sincronização labial em tempo real a partir da entrada do microfone usando o modelo realista.
Sincronização labial em tempo real eficiente usando o modelo padrão.
Sincronização labial totalmente offline com TTS local, sem necessidade de internet.
O Runtime MetaHuman Lip Sync integra-se ao ecossistema mais amplo de plugins do Georgy Dev para criar pipelines completos de personagens interativos.
Importar, transmitir e capturar áudio em tempo de execução para gerar animações de sincronização labial a partir de qualquer fonte.
Saiba maisAdicionar reconhecimento de fala para personagens interativos que respondem a comandos de voz.
Saiba maisSíntese de fala offline com mais de 2800 vozes, totalmente compatível com todos os modelos de sincronização labial.
Saiba maisConversas orientadas por IA com respostas em linguagem natural e animação labial sincronizada.
Saiba maisGerar diálogo com LLMs no dispositivo offline e, em seguida, acionar a sincronização labial a partir da fala sintetizada para interações de personagens totalmente offline.
Saiba maisDocumentação abrangente cobre todos os três modelos - desde a configuração inicial até configuração avançada de personagem, animação emocional e mapeamento personalizado de visemas.
Guias passo a passo para todos os modelos, integração com MetaHuman e personagens personalizados
Comunidade ativa no Discord com suporte para desenvolvedores
Integração personalizada ou desenvolvimento de funcionalidades - [email protected]
Disponível na Fab para UE 5.0 – 5.8. Inclui todos os três modelos, documentação completa e projetos de demonstração.
