MetaHuman ve özel karakterler için gerçek zamanlı, çevrimdışı ve platformlar arası dudak senkronizasyonu. Evrensel dil desteği - herhangi bir konuşma dilinde, her platformda çalışır. Oyunlar, etkileşimli kiosklar, sanal prodüksiyon, dijital asistanlar, eğitim simülasyonları ve daha fazlası için uygundur.
Projenizin gereksinimlerine uyan modeli seçin - geniş platform uyumluluğundan duygusal ifadeli sinematik kalitede yüz animasyonuna kadar.
Desteklenen tüm platformlarda gerçek zamanlı performans için optimize edilmiştir. MetaHuman'lar ve morph target içeren herhangi bir karakterle çalışır.
MetaHuman ve ARKit uyumlu karakterler için doğal, yüksek kaliteli ağız hareketi sağlayan 81 yüz kontrolü. İki varyantta mevcuttur: standart Realistic ve duygusal ifade için Mood-Enabled.
Mood-Enabled Varyantı
Eklenti ham ses fonemlerini doğrudan analiz eder - metin dökümü gerekmez - bu da onu tamamen dilden bağımsız hale getirir ve herhangi bir konuşma dili için uygun kılar.
Mikrofon, TTS veya ses dosyaları - herhangi bir ses verisi kaynağı
Cihaz üzerinde, dilden bağımsız ses işleme
İsteğe bağlı ruh hali bağlamıyla oluşturulan visemeler veya yüz kontrolleri
Yumuşak harmanlama geçişleriyle karaktere uygulanır
PCM verisi sağlayan herhangi bir ses kaynağı desteklenir.
Runtime Audio Importer'ın yakalanabilir ses dalgasını kullanarak canlı mikrofon kaydından gerçek zamanlı dudak senkronizasyonu.
Yerel çevrimdışı TTS ve ElevenLabs, OpenAI, Azure, Google Cloud ve daha fazlası dahil harici hizmetlerle uyumludur.
Önceden kaydedilmiş ses dosyalarını, akış kaynaklarını veya herhangi bir özel PCM sağlayıcısını işleyin.
Adına rağmen, eklenti MetaHuman'ların çok ötesinde çalışır.
Üç modelin tümü MetaHuman'ları destekler; Realistic ve Mood-Enabled için doğrudan yüz kontrolü çıktısı sunar.
Standart model, esnek viseme eşlemesi aracılığıyla Daz Genesis 8/9, Reallusion CC3/CC4/CC5, Mixamo ve daha fazlasını destekler. Realistic ve Mood-Enabled da bunları ARKit aracılığıyla destekler, örn. CC3/CC4/CC5 dışa aktarımda ARKit'e dönüştürülür.
Morph target içeren herhangi bir karakter yapılandırılabilir. FACS, Apple ARKit, Preston Blair ve 3ds Max fonem sistemlerini destekler.
Standart Model - Özel Karakter Örnekleri
Eklenti, metin transkripsiyonuna güvenmek yerine ham ses fonemlerini doğrudan işler, bu da onu doğası gereği dilden bağımsız hale getirir.
İngilizce, İspanyolca, Fransızca, Almanca, Japonca, Çince, Korece, Rusça, Arapça, Hintçe, Portekizce - ve diğer tüm konuşulan diller.
Platform desteği ve model yetenekleri için hızlı başvuru.
| Yetenek | Standart | Realistic | Mood-Enabled |
|---|---|---|---|
| Animasyon kontrolleri | 14 viseme | 81 kontrol | 81 + 12 ruh hali |
| MetaHuman | |||
| Özel karakterler | ARKit aracılığıyla | ARKit aracılığıyla | |
| Kahkaha algılama | |||
| Windows | |||
| Mac / Linux / iOS | |||
| Android / Quest |
Tüm modelleri, ses kaynaklarını ve entegrasyon iş akışlarını kapsayan demolar, eğitimler ve rehberler. Tüm içerik Unreal Engine 5.0 ile 5.8 arası sürümlerle uyumludur.
Tam iş akışı: konuşma tanıma, AI chatbot, TTS ve gerçek zamanlı dudak senkronizasyonu.
Kendi MetaHuman karakterinizi demo projesine nasıl ekleyeceğiniz.
ARKit karakterleri için tam Animation Blueprint kurulumu; ses dosyası ve ElevenLabs akış örnekleriyle.
Oyuncu kamerasını veya herhangi bir hareketli hedefi takip eden otomatik göz kırpma ve dinamik bakış; Face Animation Blueprint içinde yapılandırılabilir.
Unreal Engine 5 içinde canlı olarak çalışan ses, dudak senkronizasyonu ve yüz animasyonu.
Realistic modelinin mikrofon, yerel TTS, ElevenLabs ve birden fazla dil ile sergilenmesi.
MetaHuman'ınızda bir ses dosyası oynatarak gerçekçi dudak senkronizasyonu kurun; ses tamponlarıyla da çalışır.
WebSocket üzerinden bir akış ses kaynağından gerçek zamanlı dudak senkronizasyonunu yönetin; ses içe aktarılır ve parça parça işlenir.
Duygu algılayan yüksek kaliteli dudak senkronizasyonu ile çevrimdışı metin okuma, ayarlanabilir yoğunlukta 12 ruh hali.
Premium kalitede çıktı için ElevenLabs ve OpenAI ile Realistic model.
Realistic modelini kullanarak mikrofon girişinden gerçek zamanlı dudak senkronizasyonu.
Yerel TTS ile tamamen çevrimdışı dudak senkronizasyonu, internet gerekmez.
Runtime MetaHuman Lip Sync, eksiksiz etkileşimli karakter iş akışları oluşturmak için daha geniş Georgy Dev eklenti paketiyle entegre olur.
Herhangi bir kaynaktan dudak senkronizasyonu animasyonlarını yönlendirmek için çalışma zamanında sesi içe aktarın, akışa alın ve yakalayın.
Daha fazla bilgi edininSesli komutlara yanıt veren etkileşimli karakterler için konuşma tanıma ekleyin.
Daha fazla bilgi edinin2800+ sesle çevrimdışı konuşma sentezi, tüm dudak senkronizasyonu modelleriyle tam uyumlu.
Daha fazla bilgi edininDoğal dil yanıtları ve senkronize dudak animasyonuyla AI destekli konuşmalar.
Daha fazla bilgi edininCihaz üzerindeki LLM'lerle çevrimdışı diyalog oluşturun, ardından tamamen çevrimdışı karakter etkileşimleri için sentezlenen konuşmadan dudak senkronizasyonunu yönlendirin.
Daha fazla bilgi edininKapsamlı dokümantasyon, ilk kurulumdan gelişmiş karakter yapılandırmasına, duygusal animasyona ve özel viseme eşlemesine kadar üç modelin tümünü kapsar.
Tüm modeller, MetaHuman entegrasyonu ve özel karakterler için adım adım kılavuzlar
Geliştirici desteği sunan aktif Discord topluluğu
İhtiyaca özel entegrasyon veya özellik geliştirme - [email protected]
Fab'da UE 5.0 – 5.8 için mevcut. Üç modelin tamamını, tam dokümantasyonu ve demo projelerini içerir.
