Липсинк в реальном времени, офлайн и с кроссплатформенной поддержкой для MetaHuman и пользовательских персонажей. Универсальная языковая поддержка — работает с любым разговорным языком на любой платформе. Подходит для игр, интерактивных киосков, виртуального продакшена, цифровых ассистентов, тренировочных симуляций и многого другого.
Выберите модель, которая соответствует требованиям вашего проекта — от широкой совместимости с платформами до кинематографической анимации лица с эмоциональной выразительностью.
Оптимизировано для работы в реальном времени на всех поддерживаемых платформах. Работает с MetaHumans и любыми персонажами с морф-таргетами.
81 элемент управления лицом для естественного, высококачественного движения рта, для персонажей MetaHuman и совместимых с ARKit. Доступна в двух вариантах: стандартный Realistic и Mood-Enabled для эмоциональной выразительности.
Вариант с поддержкой настроения
Плагин анализирует фонемы исходного аудио напрямую - транскрипция текста не требуется - что делает его полностью независимым от языка и подходящим для любого разговорного языка.
Микрофон, TTS или аудиофайлы - любой источник аудиоданных
Не зависящая от языка обработка аудио на устройстве
Виземы или элементы управления лицом, генерируемые с необязательным контекстом настроения
Применяется к персонажу с плавными переходами смешивания
Поддерживается любой источник аудио, предоставляющий данные PCM.
Синхронизация губ в реальном времени с живого захвата с микрофона с использованием захватываемой звуковой волны Runtime Audio Importer.
Совместим с локальным офлайн-TTS и внешними сервисами, включая ElevenLabs, OpenAI, Azure, Google Cloud и другие.
Обрабатывайте предварительно записанные аудиофайлы, потоковые источники или любого пользовательского поставщика PCM.
Несмотря на название, плагин отлично работает и с другими персонажами, помимо MetaHumans.
Все три модели поддерживают MetaHumans, с прямым выводом управления лицевой анимацией для реалистичного варианта и варианта с поддержкой настроения.
Модель Standard поддерживает Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe и другие через гибкое сопоставление визем. Realistic и Mood-Enabled также поддерживают их через ARKit, например, CC3/CC4, конвертированные в ARKit при экспорте.
Любой персонаж с морф-таргетами может быть настроен. Поддерживаются системы фонем FACS, Apple ARKit, Preston Blair и 3ds Max.
Модель Standard - примеры пользовательских персонажей
Плагин обрабатывает фонемы сырого аудио напрямую, а не полагается на текстовую транскрипцию, что делает его по сути независимым от языка.
английский, испанский, французский, немецкий, японский, китайский, корейский, русский, арабский, хинди, португальский - и любой другой разговорный язык.
Краткий справочник по поддержке платформ и возможностям моделей.
| Возможность | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| Анимационные контролы | 14 визем | 81 контрол | 81 + 12 эмоций |
| MetaHuman | |||
| Пользовательские персонажи | Через ARKit | Через ARKit | |
| Определение смеха | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Демо, обучающие материалы и пошаговые руководства, охватывающие все модели, источники звука и рабочие процессы интеграции. Весь контент совместим с Unreal Engine 5.0–5.8.
Полный рабочий процесс: распознавание речи, AI-чатбот, TTS и синхронизация губ в реальном времени.
Как добавить собственного персонажа MetaHuman в демонстрационный проект.
Полная настройка Animation Blueprint для персонажей ARKit с примерами потоковой передачи из аудиофайлов и ElevenLabs.
Автоматическое моргание и динамический взгляд, следящий за камерой игрока или любой движущейся целью, настраивается в Face Animation Blueprint.
Голос, синхронизация губ и мимика работают в реальном времени в Unreal Engine 5.
Демонстрация реалистичной модели с микрофоном, локальным TTS, ElevenLabs и на нескольких языках.
Настройте реалистичную синхронизацию губ, воспроизводя аудиофайл на вашем MetaHuman; также работает с аудиобуферами.
Офлайн-синтез речи с учётом эмоций и высококачественной синхронизацией губ, 12 настроений с регулируемой интенсивностью.
Реалистичная модель с ElevenLabs и OpenAI для результата премиального качества.
Синхронизация губ в реальном времени на основе входного сигнала микрофона с использованием модели Realistic.
Эффективная синхронизация губ в реальном времени с использованием модели Standard.
Полностью офлайн-синхронизация губ с локальным синтезом речи, интернет не требуется.
Runtime MetaHuman Lip Sync интегрируется с более широким набором плагинов Georgy Dev для создания полных конвейеров интерактивных персонажей.
Импортируйте, транслируйте и захватывайте аудио во время выполнения, чтобы управлять анимациями синхронизации губ из любого источника.
Узнать большеДобавьте распознавание речи для интерактивных персонажей, которые реагируют на голосовые команды.
Узнать большеОфлайн-синтез речи с 2800+ голосами, полностью совместимый со всеми моделями синхронизации губ.
Узнать большеДиалоги на основе AI с ответами на естественном языке и синхронизированной анимацией губ.
Узнать большеГенерируйте диалоги с помощью локальных LLM в офлайн-режиме, затем управляйте синхронизацией губ на основе синтезированной речи для полностью офлайн-взаимодействий персонажей.
Узнать большеПолная документация охватывает все три модели — от начальной настройки до расширенной конфигурации персонажей, эмоциональной анимации и пользовательского сопоставления визем.
Пошаговые руководства для всех моделей, интеграции MetaHuman и собственных персонажей
Активное Discord-сообщество с поддержкой разработчиков
Индивидуальная интеграция или разработка функций - [email protected]
Доступно на Fab для UE 5.0 – 5.8. Включает все три модели, полную документацию и демонстрационные проекты.
