Khớp khẩu hình thời gian thực, ngoại tuyến và đa nền tảng cho MetaHuman và nhân vật tùy chỉnh. Hỗ trợ ngôn ngữ phổ quát - hoạt động với mọi ngôn ngữ nói, trên mọi nền tảng. Phù hợp cho trò chơi, ki-ốt tương tác, sản xuất ảo, trợ lý kỹ thuật số, mô phỏng đào tạo và hơn thế nữa.
Chọn mô hình phù hợp với yêu cầu của dự án - từ khả năng tương thích nền tảng rộng rãi đến hoạt hình khuôn mặt chất lượng điện ảnh với biểu cảm cảm xúc.
Được tối ưu hóa cho hiệu suất thời gian thực trên mọi nền tảng được hỗ trợ. Hoạt động với MetaHuman và bất kỳ nhân vật nào có morph target.
81 bộ điều khiển khuôn mặt cho chuyển động miệng tự nhiên, chất lượng cao, dành cho MetaHuman và nhân vật tương thích ARKit. Có sẵn hai biến thể: Chân thực tiêu chuẩn và Mood-Enabled dành cho biểu cảm cảm xúc.
Biến thể Mood-Enabled
Plugin phân tích trực tiếp các âm vị từ âm thanh thô - không yêu cầu phiên âm văn bản - khiến nó hoàn toàn độc lập với ngôn ngữ và phù hợp với mọi ngôn ngữ nói.
Micrô, TTS hoặc tệp âm thanh - bất kỳ nguồn dữ liệu âm thanh nào
Xử lý âm thanh độc lập với ngôn ngữ, trên thiết bị
Viseme hoặc các điều khiển khuôn mặt được tạo ra với ngữ cảnh tâm trạng tùy chọn
Được áp dụng cho nhân vật với các chuyển tiếp hòa trộn mượt mà
Mọi nguồn âm thanh cung cấp dữ liệu PCM đều được hỗ trợ.
Khớp khẩu hình thời gian thực từ bản ghi micrô trực tiếp sử dụng sóng âm có thể thu được của Runtime Audio Importer.
Tương thích với TTS ngoại tuyến cục bộ và các dịch vụ bên ngoài bao gồm ElevenLabs, OpenAI, Azure, Google Cloud và hơn thế nữa.
Xử lý các tệp âm thanh được ghi trước, các nguồn phát trực tiếp hoặc bất kỳ nhà cung cấp PCM tùy chỉnh nào.
Mặc dù tên gọi như vậy, plugin hoạt động tốt vượt ra ngoài phạm vi MetaHumans.
Cả ba mô hình đều hỗ trợ MetaHumans, với đầu ra điều khiển khuôn mặt trực tiếp cho Realistic và Mood-Enabled.
Mô hình Standard hỗ trợ Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe, và hơn thế nữa thông qua ánh xạ viseme linh hoạt. Realistic và Mood-Enabled cũng hỗ trợ các hệ nhân vật này qua ARKit, ví dụ: CC3/CC4 được chuyển đổi sang ARKit khi xuất.
Bất kỳ nhân vật nào có morph target đều có thể được cấu hình. Hỗ trợ các hệ thống âm vị FACS, Apple ARKit, Preston Blair và 3ds Max.
Mô hình Standard - Ví dụ nhân vật tùy chỉnh
Plugin xử lý trực tiếp các âm vị từ âm thanh thô thay vì dựa vào phiên âm văn bản, do đó về bản chất nó không phụ thuộc ngôn ngữ.
Tiếng Anh, tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Nhật, tiếng Trung, tiếng Hàn, tiếng Nga, tiếng Ả Rập, tiếng Hindi, tiếng Bồ Đào Nha - và bất kỳ ngôn ngữ nói nào khác.
Tham chiếu nhanh về hỗ trợ nền tảng và khả năng của các mô hình.
| Khả năng | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| Bộ điều khiển hoạt ảnh | 14 viseme | 81 bộ điều khiển | 81 + 12 trạng thái |
| MetaHuman | |||
| Nhân vật tùy chỉnh | Thông qua ARKit | Thông qua ARKit | |
| Phát hiện tiếng cười | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Các bản demo, hướng dẫn và video minh họa bao gồm tất cả các mô hình, nguồn âm thanh và quy trình tích hợp. Toàn bộ nội dung tương thích với Unreal Engine 5.0 đến 5.8.
Quy trình hoàn chỉnh: nhận dạng giọng nói, chatbot AI, TTS và khớp môi thời gian thực.
Cách thêm nhân vật MetaHuman của riêng bạn vào dự án demo.
Thiết lập Animation Blueprint hoàn chỉnh cho nhân vật ARKit, với tệp âm thanh và ví dụ phát trực tuyến ElevenLabs.
Chớp mắt tự động và ánh nhìn động bám theo camera của người chơi hoặc bất kỳ mục tiêu chuyển động nào, có thể cấu hình trong Face Animation Blueprint.
Giọng nói, khớp môi và hoạt họa khuôn mặt chạy trực tiếp trong Unreal Engine 5.
Trình diễn mô hình Realistic trên micro, TTS cục bộ, ElevenLabs và nhiều ngôn ngữ.
Thiết lập khớp môi chân thực bằng cách phát tệp âm thanh trên MetaHuman của bạn, cũng hoạt động với bộ đệm âm thanh.
Chuyển văn bản thành giọng nói ngoại tuyến với khớp môi chất lượng cao nhận biết cảm xúc, 12 trạng thái cảm xúc với cường độ điều chỉnh được.
Mô hình Realistic với ElevenLabs & OpenAI để tạo đầu ra chất lượng cao cấp.
Khớp môi thời gian thực từ đầu vào micrô sử dụng mô hình Realistic.
Khớp môi thời gian thực hiệu quả sử dụng mô hình Standard.
Khớp môi hoàn toàn ngoại tuyến với TTS cục bộ, không cần internet.
Runtime MetaHuman Lip Sync tích hợp với bộ plugin Georgy Dev rộng hơn để xây dựng các pipeline nhân vật tương tác hoàn chỉnh.
Nhập, phát trực tuyến và ghi âm thanh trong thời gian chạy để điều khiển hoạt ảnh khớp môi từ bất kỳ nguồn nào.
Tìm hiểu thêmThêm nhận dạng giọng nói cho các nhân vật tương tác phản hồi lệnh thoại.
Tìm hiểu thêmTổng hợp giọng nói ngoại tuyến với hơn 2800 giọng, tương thích hoàn toàn với mọi mô hình khớp môi.
Tìm hiểu thêmHội thoại điều khiển bởi AI với phản hồi ngôn ngữ tự nhiên và hoạt ảnh môi được đồng bộ hóa.
Tìm hiểu thêmTạo hội thoại bằng LLM trên thiết bị ngoại tuyến, sau đó điều khiển khớp môi từ giọng nói tổng hợp để có tương tác nhân vật hoàn toàn ngoại tuyến.
Tìm hiểu thêmTài liệu toàn diện bao gồm cả ba mô hình - từ thiết lập ban đầu đến cấu hình nhân vật nâng cao, hoạt ảnh cảm xúc và ánh xạ viseme tùy chỉnh.
Hướng dẫn từng bước cho tất cả các mô hình, tích hợp MetaHuman và nhân vật tùy chỉnh
Cộng đồng Discord sôi nổi với sự hỗ trợ từ nhà phát triển
Tích hợp theo yêu cầu hoặc phát triển tính năng - [email protected]
Có sẵn trên Fab cho UE 5.0 – 5.8. Bao gồm cả ba mô hình, tài liệu đầy đủ và các dự án demo.
