Unreal Engine için platformlar arası, çevrimdışı metin-konuşma sentezi. Doğal sesli konuşma üretin 51 dilde 2800'den fazla ses ile - Kokoro stüdyo kalitesinde ses modelleri ve akış TTS dahil - tam Blueprint ve C++ desteğiyle.
Metin, ONNX Runtime aracılığıyla Piper veya Kokoro ses modelleri kullanılarak tamamen cihazda sentezlenir - standart veya akış - internet bağlantısı, API anahtarı olmadan ve harici hiçbir veri gönderilmeden. Elde edilen PCM ses, anında oynatma için doğrudan Runtime Audio Importer ile entegre olur.
Blueprint, C++ veya bir AI sohbet robotu yanıtından aktarılan herhangi bir dize
Bir Piper veya Kokoro modelini ada veya nesneye göre seçin, isteğe bağlı konuşmacı ve kalite ayarlarıyla
ONNX Runtime metni yerel olarak işler - standart veya akışlı - hiçbir veri dışarıya gönderilmez
Oynatma, kaydetme, dudak senkronizasyonu veya herhangi bir sonraki ses işleme için hazır Float32 PCM verileri
Geniş dil kapsamından stüdyo kalitesinde çıktıya kadar çok çeşitli kullanım senaryolarını kapsayan iki model mimarisi.
51 dili kapsayan, 166 ses modeli ve 2800'den fazla benzersiz konuşmacı içeren ONNX tabanlı modeller. Özel eğitilmiş ONNX modellerini kabul eder.
151 yüksek kaliteli açık kaynaklı ses modeli 8 dilde: İngilizce (ABD ve Birleşik Krallık), Basitleştirilmiş Çince, İspanyolca, Portekizce, Hintçe, Fransızca ve İtalyanca. Mevcut en yüksek kaliteli açık kaynaklı TTS çözümleri arasındadır.
Kendi Piper (ONNX + JSON) veya Kokoro (BIN + JSON) ses modellerinizi, özel sesler veya diller için doğrudan eklenti ayarlarından içe aktarın.
Geniş dil kapsamı ve Unreal Engine'in hedeflediği her büyük platform için birinci sınıf destek.
Temel sentezin ötesinde, eklenti akış çıktısı, çoklu konuşmacı seçimi, iptal edilebilir işlemler ve model yönetim yardımcı araçları sağlar - tümüne Blueprints veya C++ üzerinden erişilebilir.
İki sentez modu: ses döndürülmeden önce metnin tamamını tamamlamak veya uzun metinlerin anında oynatılması için üretildikçe PCM parçalarını gerçek zamanlı olarak akışa almak.
Birçok model birden fazla konuşmacıyı destekler - İngilizce LibriTTS, 900'den fazla farklı ses içerir. Model başına konuşmacı sayısını sorgulayın ve sentez sırasında dizine göre seçim yapın.
Devam eden herhangi bir sentezi istediğiniz zaman iptal edin - üretim sırasında konuşmayı kesip yeniden başlatması gereken duyarlı uygulamalar için gereklidir.
Ses modellerini doğrudan Unreal Editor'den indirin, önizleyin ve yönetin. Motorun dışına çıkmadan mevcut modelleri listeleyin, meta verileri sorgulayın ve depolamayı kontrol edin.
Model meta verilerini, dili, kalite katmanını ve konuşmacı sayısını ada veya nesne referansına göre alın. Modelleri çalışma zamanında dile veya diğer ölçütlere göre dinamik olarak seçin.
İnternet bağlantısı yok, API anahtarı yok, cihazdan hiçbir veri çıkmaz. Gizliliğe duyarlı uygulamalar, ağdan yalıtılmış ortamlar ve çevrimdışı oyunlar için uygundur.
Blueprint Örneği - Gerçek zamanlı oynatma ile Akış TTS
Windows demosu, eklentinin ses kalitesini ilk elden deneyimlemek için kullanılabilir. Demo, farklı dilleri, konuşmacı sayılarını ve sentez modlarını sergileyen özenle seçilmiş Piper ve Kokoro ses modelleri içerir.
Standart, çok konuşmacılı ve Kokoro stüdyo kalitesinde modeller
Her iki sentez modunu özel metin girişiyle yan yana karşılaştırın
Referans için demo projesinde tam Blueprint uygulaması
Video Eğitimi
Runtime Text To Speech, Georgy Dev eklenti paketinin ses çıkış katmanıdır - lip sync'i yönlendirir, AI karakter hatlarına güç verir ve konuşma tanıma döngüsünü tamamlar.
TTS sentezinden PCM ses çıktısını alın ve geri oynatın, akış olarak iletin veya çalışma zamanında daha fazla işleyin.
Daha fazla bilgi edininMetaHuman ve özel karakterler üzerinde gerçek zamanlı lip sync animasyonlarını doğrudan TTS ses çıktısından yönlendirin.
Daha fazla bilgi edininSes döngüsünü kapatın - çevrimdışı konuşma tanımayı çevrimdışı TTS ile tamamen cihaz üzerinde konuşma deneyimleri için eşleştirin.
Daha fazla bilgi edininÇeşitli sağlayıcılardan AI tarafından üretilen metni doğrudan TTS sentezine iletin ve tamamen seslendirilmiş NPC yanıtları elde edin.
Daha fazla bilgi edininÇevrimdışı olarak cihaz üzerindeki LLM'lerle diyalog üretin, ardından lip sync'i sentezlenen konuşmadan yönlendirerek tamamen çevrimdışı karakter etkileşimleri elde edin.
Daha fazla bilgi edininKapsamlı dokümantasyon, tüm sentez modlarını, model yönetimini, çok konuşmacılı yapılandırmayı, akış iş akışlarını ve platforma özel rehberliği kapsar.
Tüm özellikler için adım adım kılavuzlar, Blueprint ve C++ örnekleriyle
Geliştirici desteği olan aktif Discord topluluğu
Size özel entegrasyon veya özellik geliştirme - [email protected]
Demo - Editörde ses modeli indirme ve önizleme
UE 4.27 – 5.8 için Fab'da mevcuttur. Tüm ses modellerini, tam dokümantasyonu ve streaming TTS ile Kokoro seslerini sergileyen bir demo projesi içerir.
