MetaHuman 및 커스텀 캐릭터를 위한 실시간, 오프라인, 크로스 플랫폼 립싱크. 유니버설 언어 지원 - 모든 플랫폼에서 모든 언어와 호환됩니다. 게임, 인터랙티브 키오스크, 버추얼 프로덕션, 디지털 어시스턴트, 트레이닝 시뮬레이션 등에 적합합니다.
지원되는 모든 플랫폼에서 실시간 성능에 최적화되었습니다. MetaHuman 및 모프 타깃이 있는 모든 캐릭터와 호환됩니다.
자연스럽고 고품질의 입 움직임을 위한 81개의 페이셜 컨트롤, MetaHuman 및 ARKit 호환 캐릭터용. 감정 표현을 위한 스탠다드 Realistic 및 Mood-Enabled 두 가지 변형으로 제공됩니다.
Mood-Enabled 변형
플러그인은 텍스트 전사 없이 원시 오디오 음소를 직접 분석하므로 완전히 언어에 독립적이며 모든 음성 언어에 적합합니다.
마이크, TTS 또는 오디오 파일 - 모든 오디오 데이터 소스
언어에 독립적인 오디오 처리, 온디바이스
선택적 감정 컨텍스트를 사용해 생성된 비젬 또는 얼굴 컨트롤
부드러운 블렌딩 전환으로 캐릭터에 적용
PCM 데이터를 제공하는 모든 오디오 소스가 지원됩니다.
Runtime Audio Importer의 캡처 가능한 사운드 웨이브를 사용하여 라이브 마이크 캡처에서 실시간 립싱크를 제공합니다.
로컬 오프라인 TTS 및 ElevenLabs, OpenAI, Azure, Google Cloud 등을 포함한 외부 서비스와 호환됩니다.
사전 녹음된 오디오 파일, 스트리밍 소스 또는 사용자 지정 PCM 공급자를 처리합니다.
이름과 달리 이 플러그인은 MetaHuman 외에도 잘 작동합니다.
세 가지 모델 모두 MetaHuman을 지원하며, Realistic 및 Mood-Enabled에 대해 직접적인 얼굴 컨트롤 출력을 제공합니다.
표준 모델은 유연한 비즈마 매핑을 통해 Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe 등을 지원합니다. 리얼리스틱 및 무드 지원 모델도 ARKit을 통해 이러한 캐릭터를 지원하며, 예를 들어 CC3/CC4는 내보낼 때 ARKit으로 변환됩니다.
모프 타깃이 있는 모든 캐릭터를 구성할 수 있습니다. FACS, Apple ARKit, Preston Blair 및 3ds Max 음소 시스템을 지원합니다.
표준 모델 - 커스텀 캐릭터 예제
이 플러그인은 텍스트 변환에 의존하지 않고 원시 오디오 음소를 직접 처리하므로, 본질적으로 언어에 독립적입니다.
영어, 스페인어, 프랑스어, 독일어, 일본어, 중국어, 한국어, 러시아어, 아랍어, 힌디어, 포르투갈어 - 및 그 외의 모든 언어.
플랫폼 지원 및 모델 기능에 대한 빠른 참조입니다.
| 기능 | 표준 | 리얼리스틱 | 무드 지원 |
|---|---|---|---|
| 애니메이션 컨트롤 | 비즈마 14개 | 컨트롤 81개 | 81 + 12 무드 |
| MetaHuman | |||
| 커스텀 캐릭터 | ARKit을 통해 | ARKit을 통해 | |
| 웃음 감지 | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
모든 모델, 오디오 소스 및 통합 워크플로우를 다루는 데모, 튜토리얼 및 워크스루. 모든 콘텐츠는 Unreal Engine 5.0부터 5.8까지와 호환됩니다.
전체 워크플로우: 음성 인식, AI 챗봇, TTS 및 실시간 립싱크.
데모 프로젝트에 자신만의 MetaHuman 캐릭터를 추가하는 방법.
ARKit 캐릭터를 위한 전체 Animation Blueprint 설정, 오디오 파일 및 ElevenLabs 스트리밍 예제 포함.
자동 눈 깜빡임 및 플레이어 카메라 또는 모든 움직이는 대상을 따라가는 동적 시선. Face Animation Blueprint에서 구성할 수 있습니다.
Unreal Engine 5에서 실시간으로 실행되는 음성, 립싱크 및 얼굴 애니메이션.
마이크, 로컬 TTS, ElevenLabs 및 여러 언어에 걸친 Realistic 모델의 쇼케이스.
MetaHuman에서 오디오 파일을 재생하여 사실적인 립싱크를 설정합니다. 오디오 버퍼에서도 작동합니다.
감정을 인식하는 고품질 립싱크를 갖춘 오프라인 텍스트 음성 변환, 조절 가능한 강도의 12가지 무드.
ElevenLabs 및 OpenAI를 사용하는 Realistic 모델로 프리미엄 품질 출력.
Realistic 모델을 사용하여 마이크 입력에서 실시간 립싱크.
Standard 모델을 사용한 효율적인 실시간 립싱크.
로컬 TTS를 사용한 완전 오프라인 립싱크, 인터넷 불필요.
Runtime MetaHuman Lip Sync는 더 넓은 Georgy Dev 플러그인 제품군과 통합되어 완전한 인터랙티브 캐릭터 파이프라인을 구축합니다.
온디바이스 LLM으로 오프라인에서 대화를 생성한 다음, 합성 음성에서 립싱크를 구동하여 완전히 오프라인인 캐릭터 상호작용을 구현합니다.
자세히 알아보기포괄적인 문서는 초기 설정부터 고급 캐릭터 구성, 감정 애니메이션, 커스텀 비지엠 매핑까지 세 가지 모델을 모두 다룹니다.
모든 모델, MetaHuman 통합 및 맞춤 캐릭터에 대한 단계별 가이드
개발자 지원이 포함된 활발한 Discord 커뮤니티
맞춤형 통합 또는 기능 개발 - [email protected]
UE 5.0 – 5.8용 Fab에서 사용할 수 있습니다. 세 가지 모델, 전체 문서 및 데모 프로젝트가 포함됩니다.
