Интегрируйте AI-чат-ботов и сервисы синтеза речи в проекты Unreal Engine. Поддерживает ведущих провайдеров, включая OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama, ElevenLabs, Google Cloud и Azure - с полной поддержкой Blueprint и C++.
Плагин предоставляет унифицированный API для связи с внешними AI-провайдерами по HTTPS. Отправляйте историю диалога и получайте потоковые или полные ответы - как для чата, так и для TTS - всё из Blueprint или C++.
Укажите учётные данные для одного или нескольких поддерживаемых провайдеров один раз при запуске
Передайте историю диалога, имя модели и параметры из Blueprint или C++
Получайте токены в реальном времени по частям или дождитесь полного ответа — поддерживаются оба режима
Привяжите делегаты результатов и направьте текст или аудио в логику вашей игры
Шесть провайдеров, охватывающих весь спектр больших языковых моделей — от облачных флагманских моделей до локально запускаемых open-source альтернатив.
GPT-4o, GPT-5, O1, O3 и новейшие модели рассуждений и мультимодальные модели.
Claude Opus, Sonnet и Haiku — включая новейшее семейство Claude 5.
DeepSeek Chat и DeepSeek Reasoner с явным выводом рассуждений, доступным через отдельные делегаты.
Gemini 2.5 Pro / Flash и Grok 3 / 4 — включая варианты Grok с рассуждениями.
Любая модель из библиотеки Ollama — Llama, Mistral, Gemma, Qwen и другие. API-ключ не требуется.
Четыре TTS-провайдера корпоративного уровня с обширными библиотеками голосов, поддержкой языков и потоковой передачей.
Естественные голоса (Alloy, Nova, Shimmer и другие) с поддержкой потоковой передачи и качеством TTS-1-HD.
Выразительный высококачественный синтез речи на более чем 90 языках с Eleven V4, моделями Turbo и другими.
Нейронные голоса и голоса Studio из Google Cloud TTS, а также нейронные голоса Azure с поддержкой эмоций и стилей SSML. Для обоих предусмотрено программное обнаружение голосов.
Помимо базового запроса/ответа, плагин предоставляет потоковую передачу, вывод рассуждений, отмену запросов, обнаружение голосов и полную обработку ошибок — всё доступно из Blueprints или C++.
Два режима диалога: ожидание полного ответа или получение фрагментов токенов в реальном времени по мере их генерации. Оба режима поддерживаются всеми провайдерами диалогов.
Преобразуйте текст, сгенерированный AI, в речь с полным аудио в одном ответе или передавайте аудиофрагменты в реальном времени для немедленного воспроизведения более длинных выходных данных.
Доступ к явным трассировкам рассуждений от моделей, которые их предоставляют, — DeepSeek Reasoner и модели рассуждений Grok. Рассуждения и итоговое содержимое передаются через отдельные делегаты.
Отменяйте любой выполняющийся запрос в любое время — важно для отзывчивых приложений, которым нужно прерывать и перезапускать генерацию в середине потока.
Программно запрашивайте доступные голоса из Google Cloud и Azure TTS во время выполнения. Фильтруйте по языку и локали, чтобы динамически выбирать голоса в игре.
Для каждого запроса возвращается подробная информация о статусе ошибки и сообщении. Корректно обрабатывайте ошибки провайдера, сетевые сбои и ограничения скорости из Blueprint или C++.
Пример Blueprint — потоковый диалог с OpenAI
Доступна демоверсия для Windows, позволяющая испытать возможности плагина на собственном опыте. В демо показаны AI-диалоги, преобразование текста в речь и переключение между несколькими провайдерами — а также полный исходный проект на Blueprint для ознакомления.
Сравнивайте диалоги и TTS с разными провайдерами бок о бок
Сравните оба режима ответа с вводом собственного текста в реальном времени
Полная реализация на Blueprint в демонстрационном проекте для ознакомления
Видеоурок
Runtime AI Chatbot Integrator — это интеллектуальный слой AI в наборе плагинов Georgy Dev: объедините его с распознаванием речи, офлайн-TTS и lip sync, чтобы построить полноценные конвейеры голосового управления AI-персонажами.
Обрабатывайте и воспроизводите аудиовыход TTS во время выполнения. Незаменимый компаньон для работы с потоковыми аудиоданными от любого провайдера TTS.
Узнать большеУправляйте lip sync в реальном времени для MetaHuman и пользовательских персонажей напрямую из речи, сгенерированной AI.
Узнать большеОфлайн-распознавание речи на базе Whisper — преобразуйте речь игрока в текст и передавайте его напрямую в AI-чатбот.
Узнать большеПолностью офлайн-синтез речи с более чем 2800 голосами. Дополняет облачных провайдеров TTS для офлайн-сценариев или сценариев с повышенными требованиями к конфиденциальности.
Узнать большеГенерируйте диалоги с помощью локальных LLM офлайн, а затем управляйте lip sync на основе синтезированной речи для полностью офлайн-взаимодействия с персонажами.
Узнать большеПодробная документация охватывает всех провайдеров, режимы диалога, рабочие процессы TTS, вывод reasoning-моделей, поиск голосов и обработку ошибок — с примерами на Blueprint и C++ по всему тексту.
Пошаговые руководства по всем функциям с примерами на Blueprint и C++
Активное сообщество Discord с поддержкой разработчиков
Индивидуальная интеграция или разработка функций - [email protected]
Пример Blueprint — Отправка запроса диалога
Доступно на Fab для UE 5.0 – 5.8. Поддерживает 9 AI-провайдеров, потоковые ответы, модели рассуждений и TTS корпоративного уровня с более чем 90 языками.
