Интегрируйте AI-чат-ботов и сервисы синтеза речи в проекты Unreal Engine. Поддерживаются ведущие провайдеры, включая OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama, ElevenLabs, Google Cloud и Azure — с полной поддержкой Blueprint и C++.
Плагин предоставляет единый API для общения с внешними AI-провайдерами по HTTPS. Отправляйте историю разговора и получайте потоковые или полные ответы — как для чата, так и для TTS — всё из Blueprint или C++.
Предоставьте учетные данные для одного или нескольких поддерживаемых провайдеров один раз при запуске
Передайте историю разговора, название модели и параметры из Blueprint или C++
Получайте фрагменты токенов в реальном времени или дождитесь полного ответа — поддерживаются оба режима
Привяжитесь к делегатам результата и направляйте текст или аудио в игровую логику
Шесть провайдеров, охватывающих весь спектр больших языковых моделей — от облачных передовых моделей до локально запускаемых альтернатив с открытым исходным кодом.
GPT-4o, GPT-5, O1, O3, а также новейшие модели рассуждений и мультимодальные модели.
Claude Opus, Sonnet и Haiku — включая новейшее семейство Claude 5.
DeepSeek Chat и DeepSeek Reasoner с явным выводом рассуждений, доступным через отдельные делегаты.
Gemini 2.5 Pro / Flash и Grok 3 / 4 — включая варианты Grok с рассуждениями.
Любая модель из библиотеки Ollama — Llama, Mistral, Gemma, Qwen и другие. API-ключ не требуется.
Четыре TTS-провайдера корпоративного класса с обширными библиотеками голосов, поддержкой множества языков и потоковой передачи.
Естественные голоса (Alloy, Nova, Shimmer и другие) с поддержкой потоковой передачи и качеством TTS-1-HD.
Выразительный высококачественный синтез речи на более чем 70 языках с моделями Eleven V3 и Turbo.
Нейронные и студийные голоса от Google Cloud TTS, а также нейронные голоса Azure с поддержкой эмоций и стилей SSML. Для обеих платформ доступно программное обнаружение голосов.
Помимо базового запроса/ответа, плагин предоставляет потоковую передачу, вывод рассуждений, отмену запросов, обнаружение голосов и полную обработку ошибок — всё доступно из Blueprints или C++.
Два режима разговора: дождитесь полного ответа или получайте фрагменты токенов в реальном времени по мере их генерации. Оба режима поддерживаются всеми провайдерами разговоров.
Преобразуйте сгенерированный AI текст в речь с полным аудио в одном ответе или потоково передавайте аудиофрагменты в реальном времени для немедленного воспроизведения более длинных результатов.
Получайте доступ к явным следам рассуждений от моделей, которые их предоставляют, — DeepSeek Reasoner и моделей рассуждений Grok. Рассуждения и финальный контент доставляются через отдельные делегаты.
Отменяйте любой выполняющийся запрос в любое время — это важно для отзывчивых приложений, которым необходимо прерывать и перезапускать генерацию в середине потока.
Программно запрашивайте доступные голоса из Google Cloud и Azure TTS во время выполнения. Фильтруйте по языку и локали, чтобы динамически выбирать голоса в игре.
Для каждого запроса возвращаются подробный статус ошибки и информация о сообщении. Корректно обрабатывайте ошибки провайдера, сетевые сбои и ограничения скорости из Blueprint или C++.
Пример в Blueprint — потоковый разговор с OpenAI
Доступна демо-версия для Windows, чтобы оценить возможности плагина из первых рук. Демо охватывает ИИ-диалоги, синтез речи и переключение между несколькими провайдерами — также доступен полный исходный проект на Blueprint для справки.
Тестируйте диалоги и TTS с разными провайдерами бок о бок
Сравнивайте оба режима ответа с собственным вводом в реальном времени
Полная реализация Blueprint в демо-проекте для справки
Видеоурок
Runtime AI Chatbot Integrator — это слой ИИ-интеллекта в наборе плагинов Georgy Dev — объедините его с распознаванием речи, офлайн-TTS и липсинком, чтобы создавать полноценные пайплайны голосовых ИИ-персонажей.
Обрабатывайте и воспроизводите аудиовыход TTS в рантайме. Незаменимый компаньон для работы с потоковыми аудиоданными от любого TTS-провайдера.
Узнать большеУправляйте липсинком в реальном времени на MetaHuman и кастомных персонажах напрямую из речи, сгенерированной ИИ.
Узнать большеОфлайн-распознавание речи на базе Whisper — преобразуйте речь игрока в текст и передавайте его напрямую в ИИ-чатбота.
Узнать большеПолностью офлайн-синтез речи с 2800+ голосами. Дополняйте облачных TTS-провайдеров для офлайн-сценариев или сценариев, требующих конфиденциальности.
Узнать большеГенерируйте диалоги с помощью локальных LLM в офлайне, затем управляйте липсинком на основе синтезированной речи для полностью офлайн-взаимодействий персонажей.
Узнать большеВсеобъемлющая документация охватывает всех провайдеров, режимы диалогов, рабочие процессы TTS, выходные данные моделей рассуждений, поиск голосов и обработку ошибок — с примерами на Blueprint и C++ на протяжении всей документации.
Пошаговые руководства для всех функций, с примерами на Blueprint и C++
Активное сообщество Discord с поддержкой разработчиков
Индивидуальная интеграция или разработка функций - [email protected]
Пример Blueprint - отправка запроса на разговор
Доступно на Fab для UE 5.0 – 5.8. Поддерживает 9 AI-провайдеров, потоковые ответы, модели рассуждений и TTS корпоративного уровня с поддержкой 70+ языков.
