Lip sync thời gian thực, ngoại tuyến và đa nền tảng cho MetaHuman và các nhân vật tùy chỉnh. Hỗ trợ mọi ngôn ngữ - hoạt động với bất kỳ ngôn ngữ nói nào, trên mọi nền tảng. Phù hợp cho game, kiosk tương tác, sản xuất ảo, trợ lý kỹ thuật số, mô phỏng đào tạo và hơn thế nữa.
Chọn model phù hợp với yêu cầu dự án của bạn - từ khả năng tương thích nền tảng rộng rãi đến hoạt họa khuôn mặt chất lượng điện ảnh với biểu cảm cảm xúc.
Được tối ưu cho hiệu năng thời gian thực trên tất cả nền tảng được hỗ trợ. Hoạt động với MetaHuman và mọi nhân vật có morph target.
81 điều khiển khuôn mặt cho chuyển động miệng tự nhiên, chất lượng cao, dành cho MetaHuman và các nhân vật tương thích ARKit. Có sẵn ở hai biến thể: Realistic tiêu chuẩn và Mood-Enabled cho biểu cảm cảm xúc.
Biến thể Hỗ trợ cảm xúc
Plugin phân tích trực tiếp các âm vị từ âm thanh thô - không cần chuyển đổi văn bản - khiến nó hoàn toàn độc lập với ngôn ngữ và phù hợp với mọi ngôn ngữ nói.
Micrô, TTS hoặc tệp âm thanh - bất kỳ nguồn dữ liệu âm thanh nào
Xử lý âm thanh độc lập với ngôn ngữ, trên thiết bị
Khẩu hình hoặc điều khiển khuôn mặt được tạo với ngữ cảnh cảm xúc tùy chọn
Áp dụng cho nhân vật với các chuyển tiếp hòa trộn mượt mà
Hỗ trợ mọi nguồn âm thanh cung cấp dữ liệu PCM.
Đồng bộ khẩu hình thời gian thực từ việc thu micrô trực tiếp bằng sóng âm thanh có thể thu của Runtime Audio Importer.
Tương thích với TTS ngoại tuyến cục bộ và các dịch vụ bên ngoài bao gồm ElevenLabs, OpenAI, Azure, Google Cloud, và nhiều hơn nữa.
Xử lý tệp âm thanh ghi sẵn, nguồn phát trực tuyến hoặc bất kỳ nhà cung cấp PCM tùy chỉnh nào.
Dù có tên như vậy, plugin hoạt động tốt vượt xa MetaHuman.
Cả ba mô hình đều hỗ trợ MetaHuman, với đầu ra điều khiển khuôn mặt trực tiếp cho Chân thực và Hỗ trợ cảm xúc.
Mô hình Tiêu chuẩn hỗ trợ Daz Genesis 8/9, Reallusion CC3/CC4/CC5, Mixamo, và nhiều hơn nữa thông qua ánh xạ khẩu hình linh hoạt. Chân thực và Hỗ trợ tâm trạng cũng hỗ trợ những mô hình này thông qua ARKit, ví dụ CC3/CC4/CC5 được chuyển đổi sang ARKit khi xuất.
Bất kỳ nhân vật nào có mục tiêu biến dạng đều có thể được cấu hình. Hỗ trợ FACS, Apple ARKit, Preston Blair và hệ thống âm vị 3ds Max.
Mô hình Tiêu chuẩn - Ví dụ nhân vật tùy chỉnh
Plugin xử lý trực tiếp các âm vị âm thanh thô thay vì dựa vào phiên âm văn bản, khiến nó vốn không phụ thuộc vào ngôn ngữ.
Tiếng Anh, Tiếng Tây Ban Nha, Tiếng Pháp, Tiếng Đức, Tiếng Nhật, Tiếng Trung, Tiếng Hàn, Tiếng Nga, Tiếng Ả Rập, Tiếng Hindi, Tiếng Bồ Đào Nha - và bất kỳ ngôn ngữ nói nào khác.
Tham chiếu nhanh cho hỗ trợ nền tảng và khả năng của mô hình.
| Khả năng | Tiêu chuẩn | Chân thực | Hỗ trợ tâm trạng |
|---|---|---|---|
| Điều khiển hoạt ảnh | 14 khẩu hình | 81 điều khiển | 81 + 12 tâm trạng |
| MetaHuman | |||
| Nhân vật tùy chỉnh | Thông qua ARKit | Thông qua ARKit | |
| Phát hiện tiếng cười | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Bản demo, hướng dẫn và hướng dẫn từng bước bao gồm tất cả model, nguồn âm thanh và quy trình tích hợp. Tất cả nội dung đều tương thích với Unreal Engine 5.0 đến 5.8.
Quy trình đầy đủ: nhận dạng giọng nói, chatbot AI, TTS và đồng bộ khẩu hình thời gian thực.
Cách thêm nhân vật MetaHuman của riêng bạn vào dự án demo.
Thiết lập Animation Blueprint đầy đủ cho nhân vật ARKit, với ví dụ về tệp âm thanh và truyền phát ElevenLabs.
Chớp mắt tự động và ánh nhìn động theo camera của người chơi hoặc bất kỳ mục tiêu di chuyển nào, có thể cấu hình trong Face Animation Blueprint.
Giọng nói, đồng bộ khẩu hình và hoạt ảnh khuôn mặt chạy trực tiếp trong Unreal Engine 5.
Trình diễn model Realistic qua micrô, TTS cục bộ, ElevenLabs và nhiều ngôn ngữ.
Thiết lập đồng bộ khẩu hình chân thực bằng cách phát tệp âm thanh trên MetaHuman của bạn, cũng hoạt động với bộ đệm âm thanh.
Điều khiển đồng bộ khớp môi thời gian thực từ nguồn âm thanh phát trực tuyến qua WebSocket, với âm thanh được nhập và xử lý từng đoạn một.
Chuyển văn bản thành giọng nói ngoại tuyến với đồng bộ khớp môi chất lượng cao nhận biết cảm xúc, 12 tâm trạng với cường độ điều chỉnh được.
Mô hình Realistic với ElevenLabs & OpenAI cho đầu ra chất lượng cao cấp.
Đồng bộ khớp môi thời gian thực từ đầu vào micrô sử dụng mô hình Realistic.
Đồng bộ khớp môi hoàn toàn ngoại tuyến với TTS cục bộ, không cần internet.
Runtime MetaHuman Lip Sync tích hợp với bộ plugin Georgy Dev rộng lớn hơn để xây dựng các pipeline nhân vật tương tác hoàn chỉnh.
Nhập, phát trực tuyến và ghi âm thanh trong thời gian chạy để điều khiển hoạt ảnh đồng bộ khớp môi từ bất kỳ nguồn nào.
Tìm hiểu thêmThêm nhận dạng giọng nói cho các nhân vật tương tác có thể phản hồi với lệnh thoại.
Tìm hiểu thêmTổng hợp giọng nói ngoại tuyến với hơn 2800 giọng, hoàn toàn tương thích với tất cả mô hình đồng bộ khớp môi.
Tìm hiểu thêmCác cuộc trò chuyện do AI điều khiển với phản hồi ngôn ngữ tự nhiên và hoạt ảnh đồng bộ khớp môi.
Tìm hiểu thêmTạo hội thoại với các LLM trên thiết bị ngoại tuyến, sau đó điều khiển đồng bộ khớp môi từ giọng nói được tổng hợp để có các tương tác nhân vật hoàn toàn ngoại tuyến.
Tìm hiểu thêmTài liệu toàn diện bao gồm cả ba mô hình - từ thiết lập ban đầu đến cấu hình nhân vật nâng cao, hoạt ảnh cảm xúc và ánh xạ viseme tùy chỉnh.
Hướng dẫn từng bước cho tất cả các model, tích hợp MetaHuman và nhân vật tùy chỉnh
Cộng đồng Discord sôi động với sự hỗ trợ từ nhà phát triển
Tích hợp hoặc phát triển tính năng theo yêu cầu - [email protected]
Có sẵn trên Fab cho UE 5.0 – 5.8. Bao gồm cả ba model, tài liệu đầy đủ và các dự án demo.
