基づいて構築された whisper.cpp OpenAIのWhisperモデルの実装 - 最先端の精度で完全にデバイス上で動作し、外部サーバーにデータを送信しません。
キャプチャされた音声をリアルタイムで処理 - ライブ音声コマンドやインタラクティブアプリケーションに最適です。
最大の文字起こし精度を実現するため、オーディオファイルまたはバッファ全体を1回のパスで処理します。
自動言語検出または明示的な選択が可能です。英語への翻訳もサポートされています。
WindowsではVulkanベースのGPUアクセラレーションにより、認識が大幅に高速化されます。他のすべてのプラットフォームではCPU + intrinsicsを使用します。
オーディオはWhisperモデルを使用してデバイス上で完全に処理されます。インターネット接続は不要、外部 API呼び出しもなく、デバイスからデータが送信されることもありません。
マイクキャプチャ、オーディオファイル、または任意のPCMソース - Runtime Audio Importerを含む
Whisperモデルはローカルで実行されます - ストリーミングまたはフルバッファ、オプションのVADプリフィルタリング付き
セグメントタイムスタンプ、言語検出結果、信頼度データ付きのテキスト出力
BlueprintまたはC++で結果デリゲートにバインドし、認識されたテキストに即座にアクションを実行します。
5つのモデルサイズから、ターゲットプラットフォームに合わせて文字起こし精度とメモリ使用量、処理速度のバランスを調整できます。
| モデル | サイズ | 言語 | 最適な用途 |
|---|---|---|---|
| Tiny | 75 MB | 多言語 / EN | モバイル、Quest |
| ベース | 142 MB | 多言語 / 英語 | ローエンド端末 |
| 小 | 466 MB | 多言語 / 英語 | バランス |
| 中 | 1.5 GB | 多言語 / 英語 | 高精度 |
| 大 | 3 GB | 多言語 | 最高精度 |
量子化バリアントも利用可能で、メモリ使用量を削減できます。カスタムモデルにも対応しています。
自動検出により95以上の言語の音声を認識します。最適なパフォーマンスを得るには、言語を明示的に指定することもできます。英語への翻訳にも対応しています。
認識パラメータ、パフォーマンスチューニング、出力フィルタリングに対するきめ細かな制御 - すべてBlueprintsまたはC++からアクセス可能。
スレッド数、ステップサイズ、ビームサイズ、オーディオコンテキストサイズ、およびノーコンテキスト/シングルセグメントモードを設定します。ストリーミングモードと非ストリーミングモードで別々のデフォルト値を用意しています。
スピードアップモードを有効にし、マルチGPUシステムのGPUデバイスIDを選択し、オーディオコンテキストサイズを調整して、リソースが限られたハードウェア上で精度と速度をトレードオフします。
初期プロンプトを指定して文字起こしスタイルを誘導します。空白セグメントや非音声トークンを抑制し、出力をクリーンで構造化された状態に保ちます。
Runtime Audio Importerの音声アクティビティ検出と組み合わせることで、音声セグメントのみを認識器に渡し、精度を向上させるとともに無駄な計算を削減します。
認識された音声を、対応する任意の言語から英語へ、シングルパスで直接翻訳します。別途翻訳ステップは必要ありません。
インターネット接続不要、APIキー不要、デバイス外にデータが送信されることもありません。プライバシーに配慮したアプリケーションやエアギャップ環境に適しています。
Blueprintの例 - 音声アクティビティ検出によるストリーミング認識
同じBlueprintおよびC++ APIが、Unreal Engineがサポートするすべてのプラットフォームで動作します - デスクトップからモバイル、コンソールまで。
WindowsではVulkanによるGPUアクセラレーション。その他すべてのプラットフォーム（Android、iOS、コンソールを含む）ではCPU + イントリンシックによるアクセラレーション。
Runtime Speech Recognizerは、Georgy Devプラグインスイートに自然に統合されます。オーディオキャプチャ、TTS、AIチャットと組み合わせて、完全な音声駆動キャラクターパイプラインを構築できます。
包括的なドキュメントは、ストリーミングおよび非ストリーミングのワークフロー、モデル選択、言語設定、VAD統合、プラットフォーム固有のガイダンスを網羅しています。
すべての機能のステップバイステップガイド、Blueprint および C++ の例付き
セットアップ、ストリーミング認識、VAD統合をカバーする完全なウォークスルー
開発者サポートを備えた活発なDiscordコミュニティ
オーダーメイドの統合または機能開発 - [email protected]
UE 4.27 – 5.8 向けに Fab で入手できます。すべてのモデルサイズ、完全なドキュメント、デモプロジェクトが含まれます。
