지원되는 모든 플랫폼에서 실시간 성능에 최적화되어 있습니다. MetaHuman 및 morph target을 가진 모든 캐릭터와 작동합니다.
MetaHuman 및 ARKit 호환 캐릭터를 위한 자연스럽고 고품질의 입 움직임을 구현하는 81개의 얼굴 컨트롤. 두 가지 변형으로 제공됩니다: 표준 Realistic 및 감정 표현을 위한 Mood-Enabled.
무드 지원 변형
이 플러그인은 텍스트 변환 없이 원시 오디오 음소를 직접 분석하므로 언어에 완전히 독립적이며 모든 구어에 적합합니다.
마이크, TTS 또는 오디오 파일 - 모든 오디오 데이터 소스
기기 내에서 언어 독립적인 오디오 처리
선택적 무드 컨텍스트와 함께 생성된 비짐 또는 얼굴 컨트롤
부드러운 블렌딩 전환과 함께 캐릭터에 적용
PCM 데이터를 제공하는 모든 오디오 소스가 지원됩니다.
Runtime Audio Importer의 캡처 가능한 사운드 웨이브를 사용하여 실시간 마이크 캡처로부터 실시간 립 싱크를 수행합니다.
로컬 오프라인 TTS 및 ElevenLabs, OpenAI, Azure, Google Cloud 등을 포함한 외부 서비스와 호환됩니다.
사전 녹음된 오디오 파일, 스트리밍 소스 또는 모든 사용자 정의 PCM 공급자를 처리합니다.
이름과 달리 이 플러그인은 MetaHuman을 넘어서도 잘 작동합니다.
세 가지 모델 모두 MetaHuman을 지원하며, Realistic 및 Mood-Enabled의 경우 직접적인 얼굴 컨트롤 출력을 제공합니다.
표준 모델은 유연한 viseme 매핑을 통해 Daz Genesis 8/9, Reallusion CC3/CC4/CC5, Mixamo 등을 지원합니다. Realistic 및 Mood-Enabled도 ARKit를 통해 이를 지원하며, 예를 들어 CC3/CC4/CC5는 내보내기 시 ARKit로 변환됩니다.
morph target이 있는 모든 캐릭터를 구성할 수 있습니다. FACS, Apple ARKit, Preston Blair 및 3ds Max phoneme 시스템을 지원합니다.
표준 모델 - 커스텀 캐릭터 예시
이 플러그인은 텍스트 전사에 의존하지 않고 원시 오디오 phoneme을 직접 처리하므로, 본질적으로 언어에 독립적입니다.
영어, 스페인어, 프랑스어, 독일어, 일본어, 중국어, 한국어, 러시아어, 아랍어, 힌디어, 포르투갈어 - 그리고 그 밖의 모든 구어.
플랫폼 지원 및 모델 기능에 대한 빠른 참조.
| 기능 | 표준 | Realistic | Mood-Enabled |
|---|---|---|---|
| 애니메이션 제어 | viseme 14개 | 컨트롤 81개 | 81 + 12가지 무드 |
| MetaHuman | |||
| 커스텀 캐릭터 | ARKit 사용 | ARKit 사용 | |
| 웃음 감지 | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
모든 모델, 오디오 소스 및 통합 워크플로를 다루는 데모, 튜토리얼, 워크스루. 모든 콘텐츠는 Unreal Engine 5.0부터 5.8까지 호환됩니다.
전체 워크플로: 음성 인식, AI 챗봇, TTS 및 실시간 립 싱크.
자신의 MetaHuman 캐릭터를 데모 프로젝트에 추가하는 방법.
ARKit 캐릭터를 위한 전체 Animation Blueprint 설정, 오디오 파일 및 ElevenLabs 스트리밍 예제 포함.
플레이어 카메라 또는 모든 움직이는 대상을 따라가는 자동 깜박임 및 동적 시선, Face Animation Blueprint에서 구성 가능.
Unreal Engine 5에서 실시간으로 실행되는 음성, 립 싱크 및 얼굴 애니메이션.
마이크, 로컬 TTS, ElevenLabs 및 여러 언어에 걸친 Realistic 모델의 쇼케이스.
MetaHuman에서 오디오 파일을 재생하여 사실적인 립 싱크를 설정하세요. 오디오 버퍼에서도 작동합니다.
WebSocket을 통해 스트리밍 오디오 소스에서 실시간 립 싱크를 구동하며, 오디오는 청크 단위로 가져와 처리됩니다.
감정을 인식하는 고품질 립 싱크를 갖춘 오프라인 텍스트 음성 변환, 조절 가능한 강도의 12가지 무드.
최상급 품질의 출력을 위한 ElevenLabs 및 OpenAI를 사용한 Realistic 모델.
Realistic 모델을 사용한 마이크 입력으로부터의 실시간 립 싱크.
로컬 TTS를 사용한 완전 오프라인 립 싱크, 인터넷이 필요하지 않습니다.
Runtime MetaHuman Lip Sync는 더 광범위한 Georgy Dev 플러그인 제품군과 통합되어 완전한 인터랙티브 캐릭터 파이프라인을 구축합니다.
온디바이스 LLM으로 오프라인에서 대화를 생성한 다음, 합성된 음성으로 립 싱크를 구동하여 완전한 오프라인 캐릭터 상호작용을 구현하세요.
더 알아보기포괄적인 문서가 세 가지 모델 모두를 다룹니다 - 초기 설정부터 고급 캐릭터 구성, 감정 애니메이션, 사용자 정의 비스임 매핑까지.
모든 모델, MetaHuman 통합 및 사용자 지정 캐릭터를 위한 단계별 가이드
개발자 지원이 제공되는 활발한 Discord 커뮤니티
맞춤형 통합 또는 기능 개발 - [email protected]
UE 5.0 – 5.8용 Fab에서 사용 가능합니다. 세 가지 모델 모두, 전체 문서 및 데모 프로젝트가 포함되어 있습니다.
