Tích hợp chatbot AI và dịch vụ chuyển văn bản thành giọng nói vào các dự án Unreal Engine. Hỗ trợ các nhà cung cấp hàng đầu bao gồm OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama, ElevenLabs, Google Cloud và Azure - với hỗ trợ đầy đủ Blueprint và C++.
Plugin cung cấp một API thống nhất để giao tiếp với các nhà cung cấp AI bên ngoài qua HTTPS. Gửi lịch sử hội thoại và nhận phản hồi dạng luồng hoặc hoàn chỉnh - cho cả chat và TTS - tất cả từ Blueprint hoặc C++.
Cung cấp thông tin xác thực cho một hoặc nhiều nhà cung cấp được hỗ trợ một lần khi khởi động
Truyền lịch sử hội thoại, tên mô hình và các tham số từ Blueprint hoặc C++
Nhận các khối token theo thời gian thực hoặc đợi phản hồi đầy đủ - cả hai chế độ đều được hỗ trợ
Liên kết với các delegate kết quả và truyền văn bản hoặc âm thanh vào logic trò chơi của bạn
Sáu nhà cung cấp bao phủ toàn bộ phổ các mô hình ngôn ngữ lớn - từ các mô hình tiên tiến lưu trữ trên đám mây đến các lựa chọn thay thế mã nguồn mở chạy cục bộ.
GPT-4o, GPT-5, O1, O3, cùng các mô hình suy luận và đa phương thức mới nhất.
Claude Opus, Sonnet và Haiku - bao gồm cả dòng Claude 5 mới nhất.
DeepSeek Chat và DeepSeek Reasoner với kết quả suy luận tường minh được hiển thị qua các delegate riêng biệt.
Gemini 2.5 Pro / Flash và Grok 3 / 4 - bao gồm các biến thể suy luận của Grok.
Bất kỳ mô hình nào trong thư viện Ollama - Llama, Mistral, Gemma, Qwen, và hơn thế nữa. Không yêu cầu khóa API.
Bốn nhà cung cấp TTS cấp doanh nghiệp với thư viện giọng nói phong phú, độ phủ ngôn ngữ rộng và hỗ trợ truyền phát.
Giọng nói tự nhiên (Alloy, Nova, Shimmer, và hơn thế nữa) với hỗ trợ truyền phát và chất lượng TTS-1-HD.
Tổng hợp giọng nói biểu cảm, độ trung thực cao trên 70+ ngôn ngữ với các mô hình Eleven V3 và Turbo.
Giọng nói Neural và Studio từ Google Cloud TTS, cùng với giọng nói neural của Azure với hỗ trợ cảm xúc và kiểu SSML. Bao gồm tính năng khám phá giọng nói theo chương trình cho cả hai.
Ngoài yêu cầu/phản hồi cơ bản, plugin cung cấp truyền phát, đầu ra suy luận, hủy yêu cầu, khám phá giọng nói và xử lý lỗi đầy đủ - tất cả đều có thể truy cập từ Blueprints hoặc C++.
Hai chế độ hội thoại: chờ phản hồi hoàn chỉnh, hoặc nhận các khối token theo thời gian thực khi chúng được tạo. Cả hai chế độ đều được hỗ trợ trên tất cả các nhà cung cấp hội thoại.
Chuyển văn bản do AI tạo thành giọng nói với toàn bộ âm thanh trong một phản hồi duy nhất, hoặc truyền phát các khối âm thanh theo thời gian thực để phát lại tức thì các đầu ra dài hơn.
Truy cập các dấu vết suy luận rõ ràng từ các mô hình cung cấp chúng - DeepSeek Reasoner và các mô hình suy luận Grok. Suy luận và nội dung cuối cùng được phân phối qua các delegate riêng biệt.
Hủy bất kỳ yêu cầu đang xử lý nào bất cứ lúc nào - điều cần thiết cho các ứng dụng phản hồi nhanh cần làm gián đoạn và khởi động lại quá trình tạo ở giữa luồng.
Truy vấn bằng lập trình các giọng nói khả dụng từ Google Cloud và Azure TTS tại thời gian chạy. Lọc theo ngôn ngữ và vùng địa phương để chọn giọng nói một cách động trong trò chơi.
Trạng thái lỗi chi tiết và thông tin thông báo được trả về cho mọi yêu cầu. Xử lý lỗi nhà cung cấp, sự cố mạng và giới hạn tần suất một cách mượt mà từ Blueprint hoặc C++.
Ví dụ Blueprint - Hội thoại truyền phát với OpenAI
Bản demo Windows có sẵn để trải nghiệm trực tiếp các khả năng của plugin. Bản demo bao gồm hội thoại AI, chuyển văn bản thành giọng nói (TTS), và chuyển đổi đa nhà cung cấp - kèm theo một dự án mã nguồn Blueprint đầy đủ để tham khảo.
Thử nghiệm hội thoại và TTS với các nhà cung cấp khác nhau song song
So sánh cả hai chế độ phản hồi với đầu vào tùy chỉnh trực tiếp
Triển khai Blueprint đầy đủ trong dự án demo để tham khảo
Video hướng dẫn
Runtime AI Chatbot Integrator là lớp trí tuệ AI của bộ plugin Georgy Dev - kết hợp nó với nhận dạng giọng nói, TTS ngoại tuyến và đồng bộ môi để xây dựng các pipeline nhân vật AI điều khiển bằng giọng nói hoàn chỉnh.
Xử lý và phát đầu ra âm thanh TTS trong thời gian chạy. Công cụ đồng hành thiết yếu để xử lý dữ liệu âm thanh streaming từ bất kỳ nhà cung cấp TTS nào.
Tìm hiểu thêmĐiều khiển đồng bộ môi theo thời gian thực trên MetaHuman và nhân vật tùy chỉnh trực tiếp từ đầu ra giọng nói do AI tạo ra.
Tìm hiểu thêmChuyển giọng nói thành văn bản ngoại tuyến được hỗ trợ bởi Whisper - chuyển lời nói của người chơi thành văn bản và đưa trực tiếp vào trình chatbot AI.
Tìm hiểu thêmTổng hợp giọng nói hoàn toàn ngoại tuyến với hơn 2800 giọng nói. Bổ sung cho các nhà cung cấp TTS đám mây cho các tình huống ngoại tuyến hoặc nhạy cảm về quyền riêng tư.
Tìm hiểu thêmTạo hội thoại với các LLM trên thiết bị ngoại tuyến, sau đó điều khiển đồng bộ môi từ giọng nói tổng hợp để có các tương tác nhân vật hoàn toàn ngoại tuyến.
Tìm hiểu thêmTài liệu toàn diện bao gồm tất cả các nhà cung cấp, chế độ hội thoại, quy trình làm việc TTS, đầu ra mô hình lập luận, khám phá giọng nói và xử lý lỗi - kèm các ví dụ Blueprint và C++ xuyên suốt.
Hướng dẫn từng bước cho tất cả các tính năng, với các ví dụ về Blueprint và C++
Cộng đồng Discord sôi động với hỗ trợ từ nhà phát triển
Tích hợp hoặc phát triển tính năng theo yêu cầu - [email protected]
Ví dụ Blueprint - Gửi yêu cầu hội thoại
Có sẵn trên Fab cho UE 5.0 – 5.8. Hỗ trợ 9 nhà cung cấp AI, phản hồi phát trực tuyến, mô hình suy luận và TTS cấp doanh nghiệp với hơn 70 ngôn ngữ.
