Липсинк в реальном времени, офлайн и кроссплатформенный для MetaHuman и пользовательских персонажей. Универсальная поддержка языков — работает с любым разговорным языком на любой платформе. Подходит для игр, интерактивных киосков, виртуального производства, цифровых ассистентов, обучающих симуляций и многого другого.
Выберите модель, которая соответствует требованиям вашего проекта — от широкой совместимости с платформами до лицевой анимации кинематографического качества с эмоциональной выразительностью.
Оптимизирован для производительности в реальном времени на всех поддерживаемых платформах. Работает с MetaHuman и любым персонажем с морф-таргетами.
81 элемент управления мимикой для естественного движения рта высокого качества — для MetaHuman и персонажей, совместимых с ARKit. Доступно в двух вариантах: стандартный «Реалистичный» и «С поддержкой настроения» для эмоциональной выразительности.
Вариант с поддержкой настроения
Плагин анализирует фонемы исходного аудио напрямую — без транскрипции текста — что делает его полностью независимым от языка и подходящим для любого разговорного языка.
Микрофон, TTS или аудиофайлы — любой источник аудиоданных
Не зависящая от языка обработка аудио, на устройстве
Виземы или контролы лица, генерируемые с опциональным контекстом настроения
Применяется к персонажу с плавными переходами смешивания
Поддерживается любой источник аудио, предоставляющий PCM-данные.
Липсинк в реальном времени по захвату с микрофона с использованием захватываемой звуковой волны из Runtime Audio Importer.
Совместимо с локальным офлайн-TTS и внешними сервисами, включая ElevenLabs, OpenAI, Azure, Google Cloud и другие.
Обрабатывайте заранее записанные аудиофайлы, потоковые источники или любого пользовательского поставщика PCM.
Несмотря на название, плагин работает далеко не только с MetaHuman.
Все три модели поддерживают MetaHuman, а для Realistic и Mood-Enabled предусмотрен прямой вывод контролов лица.
Стандартная модель поддерживает Daz Genesis 8/9, Reallusion CC3/CC4/CC5, Mixamo и другие благодаря гибкому сопоставлению визем. Реалистичная модель и модель с поддержкой настроения также поддерживают их через ARKit, например, CC3/CC4/CC5, конвертированные в ARKit при экспорте.
Можно настроить любого персонажа с морф-таргетами. Поддерживает FACS, Apple ARKit, Preston Blair и фонемные системы 3ds Max.
Стандартная модель — примеры пользовательских персонажей
Плагин обрабатывает фонемы сырого аудио напрямую, вместо того чтобы полагаться на текстовую транскрипцию, что делает его по своей сути независимым от языка.
Английский, испанский, французский, немецкий, японский, китайский, корейский, русский, арабский, хинди, португальский — и любой другой разговорный язык.
Краткий справочник по поддержке платформ и возможностям моделей.
| Возможность | Стандартная | Реалистичная | С поддержкой настроения |
|---|---|---|---|
| Контролы анимации | 14 визем | 81 контрол | 81 + 12 настроений |
| MetaHuman | |||
| Пользовательские персонажи | Через ARKit | Через ARKit | |
| Обнаружение смеха | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Демо, руководства и пошаговые обзоры, охватывающие все модели, источники аудио и рабочие процессы интеграции. Весь контент совместим с Unreal Engine 5.0 – 5.8.
Полный рабочий процесс: распознавание речи, AI-чатбот, TTS и липсинк в реальном времени.
Как добавить собственного персонажа MetaHuman в демонстрационный проект.
Полная настройка Animation Blueprint для персонажей ARKit, с примерами аудиофайлов и потоковой передачи ElevenLabs.
Автоматическое моргание и динамичный взгляд, следующий за камерой игрока или любой движущейся целью, настраивается в Face Animation Blueprint.
Голос, липсинк и лицевая анимация, работающие в реальном времени в Unreal Engine 5.
Демонстрация модели Realistic с микрофоном, локальным TTS, ElevenLabs и несколькими языками.
Настройте реалистичный липсинк, воспроизводя аудиофайл на вашем MetaHuman; также работает с аудиобуферами.
Управляйте синхронизацией губ в реальном времени из потокового аудиоисточника через WebSocket, при этом аудио импортируется и обрабатывается по частям.
Автономный синтез речи с высококачественной синхронизацией губ с учётом эмоций, 12 настроений с настраиваемой интенсивностью.
Модель Realistic с ElevenLabs и OpenAI для вывода премиум-качества.
Синхронизация губ в реальном времени по входу с микрофона с использованием модели Realistic.
Полностью автономная синхронизация губ с локальным TTS, интернет не требуется.
Runtime MetaHuman Lip Sync интегрируется с более широким набором плагинов Georgy Dev для создания полноценных интерактивных пайплайнов персонажей.
Импортируйте, передавайте потоком и захватывайте аудио во время выполнения, чтобы управлять анимациями синхронизации губ из любого источника.
Узнать большеДобавьте распознавание речи для интерактивных персонажей, которые реагируют на голосовые команды.
Узнать большеАвтономный синтез речи с более чем 2800 голосами, полностью совместимый со всеми моделями синхронизации губ.
Узнать большеДиалоги на основе AI с ответами на естественном языке и синхронизированной анимацией губ.
Узнать большеГенерируйте диалоги с помощью локальных LLM в офлайн-режиме, затем управляйте синхронизацией губ на основе синтезированной речи для полностью офлайн-взаимодействий с персонажами.
Узнать большеКомплексная документация охватывает все три модели — от первоначальной настройки до продвинутой конфигурации персонажей, эмоциональной анимации и пользовательского сопоставления визем.
Пошаговые руководства для всех моделей, интеграции с MetaHuman и пользовательских персонажей
Активное сообщество Discord с поддержкой разработчиков
Интеграция или разработка функций под ваши задачи - [email protected]
Доступно на Fab для UE 5.0 – 5.8. Включает все три модели, полную документацию и демонстрационные проекты.
