Продвинутая обработка аудио в реальном времени для Unreal Engine. Импортируйте, передавайте потоково, перекодируйте и манипулируйте аудио в реальном времени на всех платформах - с полной поддержкой Blueprint и C++.
Комплексное решение для динамической обработки аудио - от загрузки файлов и потоковой передачи живых данных до захвата с микрофона, обнаружения голосовой активности и подавления акустического эха - всё это не покидая Unreal Engine.
Загружайте аудио из файлов или буферов памяти в реальном времени. Экспортируйте в несколько форматов с контролем частоты дискретизации и каналов.
Динамическое управление аудиобуфером для непрерывной потоковой передачи данных из любого источника, включая сетевое аудио и TTS.
Захват аудио в реальном времени с автоматическими разрешениями платформы, обнаружением голосовой активности и событиями границ речи.
Динамическая конвертация между аудиоформатами с полным контролем качества, частоты дискретизации и количества каналов.
Runtime Audio Importer бесшовно интегрируется с нативной аудиосистемой Unreal Engine — импортированные звуковые волны ведут себя точно так же, как встроенные звуковые волны на всех поддерживаемых платформах.
Путь к файлу, URL, буфер памяти, микрофон или любой PCM-провайдер
Декодирование на устройстве с опциональным ресемплированием, микшированием каналов и преобразованием формата
Нативно-совместимая звуковая волна UE, готовая к любому стандартному процессу воспроизведения
Полный контроль воспроизведения с отслеживанием времени, PCM-обратными вызовами и событиями завершения
Четыре различных типа звуковых волн для покрытия всех сценариев использования аудио во время выполнения.
Аудио, импортированное во время выполнения из файлов или буферов памяти, с полным контролем воспроизведения. Поддерживает MP3, WAV, FLAC, OGG, BINK и RAW PCM.
Динамическое управление буфером для непрерывных аудиопотоков — подходит для вывода TTS, сетевого аудио или любого инкрементального источника PCM.
Захват звука с микрофона в реальном времени с автоматическими разрешениями платформы, обнаружением голосовой активности, событиями начала/окончания речи и акустическим эхоподавлением.
Захватывайте аудио напрямую с микрофонов клиентов Pixel Streaming. Поддерживает обе архитектуры Pixel Streaming и Pixel Streaming 2, включая многопользовательские сценарии.
Широкий охват форматов и первоклассная поддержка каждой основной платформы, на которую ориентирован Unreal Engine.
Помимо импорта, плагин предоставляет комплексное управление воспроизведением, доступ к PCM в реальном времени, проверку метаданных и расширенную обработку аудио — всё это из Blueprints или C++.
Воспроизведение, пауза, остановка и перемотка с точным отслеживанием времени. Отслеживайте позицию воспроизведения и процент, привязывайтесь к событиям завершения и управляйте аудиопамятью вручную.
Получайте доступ к необработанным 32-битным данным PCM с плавающей запятой во время воспроизведения аудио через обратные вызовы. Подходит для визуализаторов аудио, анализаторов частот и пользовательских DSP-эффектов.
Проверяйте аудиофайлы без полного импорта — получайте длительность, частоту дискретизации, количество каналов и формат без накладных расходов на полное декодирование.
Регулируйте громкость, высоту тона, зацикливание и режим виртуализации во время выполнения. Передискретизируйте и смешивайте каналы, задавайте начальную желаемую частоту дискретизации и количество каналов.
Точное определение границ речи с настраиваемой длительностью тишины и минимальными порогами речи. Привязывайтесь к событиям начала и окончания речи.
Удаление эха на основе WebRTC AEC3 для потоковых и захватываемых звуковых волн. Привяжите любую рендерируемую звуковую волну в качестве опорного сигнала для чистой записи голоса без просачивания звука из динамиков.
Пример в Blueprint — импорт и воспроизведение аудио во время выполнения
Runtime Audio Importer — это аудиооснова набора плагинов Georgy Dev, обеспечивающая липсинк, распознавание речи, TTS и конвейеры AI-персонажей.
Липсинк в реальном времени для MetaHuman и пользовательских персонажей, управляемый любым источником аудио, который предоставляет этот плагин.
ПодробнееОфлайн-распознавание речи в текст на основе Whisper, поддерживающее транскрипцию и перевод на 95+ языков.
ПодробнееПолностью офлайн-синтез речи с более чем 2800 голосами на 51 языке — интернет-соединение не требуется.
ПодробнееОблачный AI-чат и TTS через различных провайдеров (OpenAI, Claude, DeepSeek, Gemini, Grok, Ollama, ElevenLabs, Google Cloud и Azure).
ПодробнееГенерируйте диалог с помощью локальных LLM в офлайн-режиме, затем управляйте липсинком на основе синтезированной речи для полностью офлайн-взаимодействий персонажей.
ПодробнееПодробная документация охватывает все типы звуковых волн, процессы импорта, захват с микрофона, обработку данных PCM и рекомендации для конкретных платформ.
Пошаговые руководства по всем функциям, с примерами на Blueprint и C++
Активное Discord-сообщество с поддержкой разработчиков
Индивидуальная интеграция или разработка функций - [email protected]
Пример на Blueprint - захват микрофона
Доступно на Fab для UE 4.24 – 5.8. Включает полную документацию, примеры Blueprint и доступ к обширной экосистеме плагинов.
