Tích hợp chatbot AI và dịch vụ chuyển văn bản thành giọng nói vào các dự án Unreal Engine. Hỗ trợ các nhà cung cấp hàng đầu bao gồm OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama, ElevenLabs, Google Cloud và Azure - với hỗ trợ đầy đủ cho Blueprint và C++.
Plugin cung cấp một API thống nhất để giao tiếp với các nhà cung cấp AI bên ngoài qua HTTPS. Gửi lịch sử hội thoại và nhận phản hồi dạng truyền phát hoặc hoàn chỉnh - cho cả trò chuyện và TTS - tất cả từ Blueprint hoặc C++.
Cung cấp thông tin xác thực cho một hoặc nhiều nhà cung cấp được hỗ trợ một lần khi khởi động
Truyền lịch sử hội thoại, tên mô hình và tham số từ Blueprint hoặc C++
Nhận các đoạn token theo thời gian thực hoặc chờ phản hồi đầy đủ - cả hai chế độ đều được hỗ trợ
Liên kết với các delegate kết quả và đưa văn bản hoặc âm thanh vào logic trò chơi của bạn
Sáu nhà cung cấp bao quát toàn bộ phổ mô hình ngôn ngữ lớn - từ các mô hình tiên tiến chạy trên đám mây đến các lựa chọn thay thế mã nguồn mở chạy cục bộ.
GPT-4o, GPT-5, O1, O3 và các mô hình suy luận và đa phương thức mới nhất.
Claude Opus, Sonnet và Haiku - bao gồm cả dòng Claude 5 mới nhất.
DeepSeek Chat và DeepSeek Reasoner với đầu ra suy luận rõ ràng được hiển thị qua các delegate riêng biệt.
Gemini 2.5 Pro / Flash và Grok 3 / 4 - bao gồm các biến thể suy luận của Grok.
Bất kỳ mô hình nào trong thư viện Ollama - Llama, Mistral, Gemma, Qwen, v.v. Không cần API key.
Bốn nhà cung cấp TTS cấp doanh nghiệp với thư viện giọng nói phong phú, phạm vi ngôn ngữ và hỗ trợ truyền phát.
Giọng nói tự nhiên (Alloy, Nova, Shimmer, v.v.) với hỗ trợ truyền phát và chất lượng TTS-1-HD.
Tổng hợp giọng nói biểu cảm, độ trung thực cao trên hơn 90 ngôn ngữ với Eleven V4, các mô hình Turbo và nhiều mô hình khác.
Giọng Neural và Studio từ Google Cloud TTS, cùng giọng neural Azure với hỗ trợ cảm xúc và kiểu SSML. Bao gồm khám phá giọng nói theo lập trình cho cả hai.
Ngoài yêu cầu/phản hồi cơ bản, plugin cung cấp truyền phát trực tuyến, đầu ra suy luận, hủy yêu cầu, khám phá giọng nói và xử lý lỗi đầy đủ - tất cả đều có thể truy cập từ Blueprints hoặc C++.
Hai chế độ hội thoại: chờ phản hồi hoàn chỉnh, hoặc nhận các đoạn token theo thời gian thực khi chúng được tạo. Cả hai chế độ đều được hỗ trợ trên tất cả các nhà cung cấp hội thoại.
Chuyển đổi văn bản do AI tạo thành giọng nói với âm thanh hoàn chỉnh trong một phản hồi duy nhất, hoặc truyền phát trực tuyến các đoạn âm thanh theo thời gian thực để phát ngay các đầu ra dài hơn.
Truy cập các dấu vết suy luận rõ ràng từ các mô hình có cung cấp chúng - DeepSeek Reasoner và các mô hình suy luận Grok. Suy luận và nội dung cuối cùng được gửi qua các delegate riêng biệt.
Hủy bất kỳ yêu cầu đang xử lý nào vào bất kỳ lúc nào - điều thiết yếu cho các ứng dụng phản hồi nhanh cần ngắt và khởi động lại quá trình tạo giữa dòng.
Truy vấn theo lập trình các giọng nói có sẵn từ Google Cloud và Azure TTS trong thời gian chạy. Lọc theo ngôn ngữ và locale để chọn giọng nói động trong trò chơi.
Thông tin trạng thái lỗi và thông báo chi tiết được trả về cho mọi yêu cầu. Xử lý lỗi nhà cung cấp, lỗi mạng và giới hạn tốc độ một cách nhẹ nhàng từ Blueprint hoặc C++.
Ví dụ Blueprint - Hội thoại truyền phát trực tuyến với OpenAI
Có sẵn bản demo Windows để trải nghiệm trực tiếp các khả năng của plugin. Bản demo bao gồm hội thoại AI, chuyển văn bản thành giọng nói và chuyển đổi giữa nhiều nhà cung cấp - kèm theo một dự án mã nguồn Blueprint đầy đủ để tham khảo.
Thử nghiệm hội thoại và TTS với nhiều nhà cung cấp khác nhau song song
So sánh cả hai chế độ phản hồi với đầu vào tùy chỉnh trực tiếp
Triển khai Blueprint đầy đủ trong dự án demo để tham khảo
Video hướng dẫn
Runtime AI Chatbot Integrator là lớp trí tuệ AI của bộ plugin Georgy Dev - kết hợp nó với nhận dạng giọng nói, TTS ngoại tuyến và đồng bộ khẩu hình để xây dựng pipeline nhân vật AI điều khiển bằng giọng nói hoàn chỉnh.
Xử lý và phát đầu ra âm thanh TTS tại runtime. Trợ thủ thiết yếu để xử lý dữ liệu âm thanh truyền phát từ bất kỳ nhà cung cấp TTS nào.
Tìm hiểu thêmĐiều khiển đồng bộ khẩu hình theo thời gian thực trên MetaHuman và nhân vật tùy chỉnh trực tiếp từ đầu ra giọng nói do AI tạo ra.
Tìm hiểu thêmChuyển giọng nói thành văn bản ngoại tuyến được hỗ trợ bởi Whisper - chuyển lời nói của người chơi thành văn bản và đưa trực tiếp vào chatbot AI.
Tìm hiểu thêmTổng hợp giọng nói hoàn toàn ngoại tuyến với hơn 2800 giọng nói. Bổ trợ cho các nhà cung cấp TTS đám mây trong các tình huống ngoại tuyến hoặc nhạy cảm về quyền riêng tư.
Tìm hiểu thêmTạo hội thoại với LLM trên thiết bị ở chế độ ngoại tuyến, sau đó điều khiển đồng bộ khẩu hình từ giọng nói được tổng hợp để có tương tác nhân vật hoàn toàn ngoại tuyến.
Tìm hiểu thêmTài liệu toàn diện bao gồm tất cả nhà cung cấp, chế độ hội thoại, quy trình TTS, đầu ra mô hình suy luận, khám phá giọng nói và xử lý lỗi - cùng các ví dụ Blueprint và C++ xuyên suốt.
Hướng dẫn từng bước cho tất cả tính năng, kèm ví dụ Blueprint và C++
Cộng đồng Discord sôi động với sự hỗ trợ từ nhà phát triển
Tích hợp hoặc phát triển tính năng theo yêu cầu - [email protected]
Ví dụ Blueprint - Gửi yêu cầu hội thoại
Có sẵn trên Fab cho UE 5.0 – 5.8. Hỗ trợ 9 nhà cung cấp AI, phản hồi dạng streaming, mô hình suy luận và TTS cấp doanh nghiệp với hơn 90 ngôn ngữ.
