MetaHuman ve özel karakterler için gerçek zamanlı, çevrimdışı ve platformlar arası dudak senkronizasyonu. Evrensel dil desteği - herhangi bir konuşulan dille, herhangi bir platformda çalışır. Oyunlar, interaktif kiosklar, sanal prodüksiyon, dijital asistanlar, eğitim simülasyonları ve daha fazlası için uygundur.
Projenizin gereksinimlerine uygun modeli seçin - geniş platform uyumluluğundan duygusal ifadeye sahip sinematik kalitede yüz animasyonuna kadar.
Desteklenen tüm platformlarda gerçek zamanlı performans için optimize edilmiştir. MetaHuman'larla ve morph hedeflerine sahip herhangi bir karakterle çalışır.
MetaHuman ve ARKit uyumlu karakterler için doğal, yüksek kaliteli ağız hareketi sağlayan 81 yüz kontrolü. Duygusal ifade için iki çeşidi mevcuttur: standart Realistic ve Mood-Enabled.
Duygu Durumu Etkin Varyant
Eklenti, ham ses fonemlerini doğrudan analiz eder - metin transkripsiyonu gerekmez - bu da onu tamamen dilden bağımsız ve herhangi bir konuşulan dil için uygun hale getirir.
Mikrofon, TTS veya ses dosyaları - herhangi bir ses veri kaynağı
Dilden bağımsız ses işleme, cihaz üzerinde
Opsiyonel duygu durumu bağlamıyla oluşturulan visemler veya yüz kontrolleri
Karaktere yumuşak harmanlama geçişleriyle uygulanır
PCM verisi sağlayan herhangi bir ses kaynağı desteklenir.
Runtime Audio Importer'ın yakalanabilir ses dalgasını kullanarak canlı mikrofon yakalamasından gerçek zamanlı dudak senkronizasyonu.
Yerel çevrimdışı TTS ve ElevenLabs, OpenAI, Azure, Google Cloud ve daha fazlasını içeren harici hizmetlerle uyumludur.
Önceden kaydedilmiş ses dosyalarını, akış kaynaklarını veya herhangi bir özel PCM sağlayıcısını işleyin.
Adına rağmen, eklenti MetaHuman'ların çok ötesinde de iyi çalışır.
Her üç model de MetaHuman'ları destekler; Gerçekçi ve Duygu Durumu Etkin için doğrudan yüz kontrolü çıkışı sağlar.
Standard model, Daz Genesis 8/9, Reallusion CC3/CC4, Mixamo, ReadyPlayerMe ve daha fazlasını esnek viseme eşleme yoluyla destekler. Realistic ve Mood-Enabled de bunları ARKit aracılığıyla destekler; örn. CC3/CC4 dışa aktarımda ARKit'e dönüştürülür.
Morf hedefleri olan her karakter yapılandırılabilir. FACS, Apple ARKit, Preston Blair ve 3ds Max fonem sistemlerini destekler.
Standard Model - Özel Karakter Örnekleri
Eklenti, metin transkripsiyonuna güvenmek yerine ham ses fonemlerini doğrudan işler, bu da onu doğası gereği dilden bağımsız kılar.
İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, Arapça, Hintçe, Portekizce - ve diğer tüm konuşulan diller.
Platform desteği ve model yetenekleri için hızlı başvuru.
| Yetenek | Standard | Realistic | Mood-Enabled |
|---|---|---|---|
| Animasyon kontrolleri | 14 viseme | 81 kontrol | 81 + 12 ruh hali |
| MetaHuman | |||
| Özel karakterler | ARKit ile | ARKit ile | |
| Kahkaha algılama | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Tüm modelleri, ses kaynaklarını ve entegrasyon iş akışlarını kapsayan demolar, eğitimler ve adım adım anlatımlar. Tüm içerik Unreal Engine 5.0 ile 5.8 arasındaki sürümlerle uyumludur.
Tam iş akışı: konuşma tanıma, AI sohbet botu, TTS ve gerçek zamanlı dudak senkronizasyonu.
Kendi MetaHuman karakterinizi demo projesine nasıl eklersiniz.
ARKit karakterleri için tam Animasyon Blueprint kurulumu, ses dosyası ve ElevenLabs akış örnekleriyle.
Otomatik göz kırpma ve oyuncu kamerasını veya herhangi bir hareketli hedefi takip eden dinamik bakış, Yüz Animasyon Blueprint'te yapılandırılabilir.
Ses, dudak senkronizasyonu ve yüz animasyonu Unreal Engine 5'te canlı olarak çalışıyor.
Gerçekçi modelin mikrofon, yerel TTS, ElevenLabs ve birden çok dil üzerinden tanıtımı.
MetaHuman'ınızda bir ses dosyası çalarak gerçekçi dudak senkronizasyonu kurun, ayrıca ses ara bellekleriyle de çalışır.
Duygu farkındalıklı yüksek kaliteli dudak senkronizasyonu ve ayarlanabilir yoğunlukta 12 ruh hali ile çevrimdışı metinden konuşmaya.
ElevenLabs ve OpenAI ile Realistic model, üstün kaliteli çıktı.
Mikrofon girişinden Realistic model kullanılarak gerçek zamanlı dudak senkronizasyonu.
Standard model kullanılarak verimli gerçek zamanlı dudak senkronizasyonu.
Yerel TTS ile tamamen çevrimdışı dudak senkronizasyonu; internet gerekmez.
Runtime MetaHuman Lip Sync, eksiksiz etkileşimli karakter hatları oluşturmak için daha geniş Georgy Dev eklenti paketiyle entegre olur.
Herhangi bir kaynaktan dudak senkronizasyonu animasyonlarını sürmek için çalışma zamanında ses içe aktarın, akışını yapın ve yakalayın.
Daha fazla bilgiSesli komutlara yanıt veren etkileşimli karakterler için konuşma tanıma ekleyin.
Daha fazla bilgiTüm dudak senkronizasyonu modelleriyle tam uyumlu, 2800'den fazla ses ile çevrimdışı konuşma sentezi.
Daha fazla bilgiDoğal dil yanıtları ve senkronize dudak animasyonu ile AI destekli konuşmalar.
Daha fazla bilgiCihaz üzerinde çalışan LLM'lerle çevrimdışı diyalog üretin, ardından tamamen çevrimdışı karakter etkileşimleri için sentezlenen konuşmadan dudak senkronizasyonunu sürün.
Daha fazla bilgiKapsamlı dokümantasyon, üç modelin tamamını kapsar - başlangıç kurulumundan gelişmiş karakter yapılandırmasına, duygusal animasyona ve özel viseme eşlemesine kadar.
Tüm modeller, MetaHuman entegrasyonu ve özel karakterler için adım adım kılavuzlar
Geliştirici desteğiyle aktif Discord topluluğu
Size özel entegrasyon veya özellik geliştirme - [email protected]
Fab'da UE 5.0 – 5.8 için mevcuttur. Her üç modeli, tam dokümantasyonu ve demo projelerini içerir.
