ベース: llama.cpp - 任意の GGUF モデルを読み込み、クラウドサービスも API キーも不要で、データをデバイス外に送信することなく ローカルで推論を実行します。アップストリームの llama.cpp リリースを追跡するために定期的に更新されます。
インターネット接続不要、API キー不要、テレメトリなし。すべての推論はユーザーのデバイス上でローカルに実行されます。
デリゲートを介して生成された各トークンをリアルタイムで受信します。モデルが書き込む際にチャットUIを更新し、ゲームプレイイベントをトリガーします。
WindowsとLinuxではVulkan、MacとiOSではMetal、AndroidとMeta QuestではCPU + イントリンシクス。
プロジェクト設定でモデルの参照、ダウンロード、インポート、削除、テストを直接行えます。モデルはパッケージビルドに自動的に同梱されます。
エディタでモデルを管理し、選択した推論パラメータでランタイムにロードして、メッセージを送信します。 モデルが生成する際に、トークンはデリゲート経由でストリーミング送信されます。すべてバックグラウンドスレッドで実行され、コールバックはゲームスレッドで呼び出されます。
カタログからダウンロード、カスタムGGUFファイルのインポート、またはランタイム時にURLから取得
名前、ファイルパス、またはURLで選択でき、推論パラメータを設定可能
ユーザーメッセージを渡してストリーミング応答を受信し、会話コンテキストを保持します
NPCのダイアログを駆動し、動的コンテンツを生成するか、TTSやリップシンクなどの他のプラグインに渡します
GGUF形式のモデルであればどれでも動作します。エディタには人気の定義済みモデルのカタログが含まれており、ワンクリックでダウンロードできます。また、任意のカスタムGGUFファイルをインポートすることもできます。
Llama（Meta）、Mistral / Mixtral、Phi（Microsoft）、Gemma（Google）、Qwen（Alibaba）、TinyLlama、およびその他のGGUFコミュニティモデル。
Q2_K（最小・最速）からQ4_K_M、Q5_K_M、Q8_0、そしてF16 / F32まで。ターゲットデバイスのRAMとパフォーマンス予算に合うレベルを選択してください。
このプラグインは、アップストリームのllama.cppリリースに追従するためFab上で定期的に更新され、新しいGGUFモデル形式がリリースされても最新の形式がサポートされ続けます。
プラットフォームごとに調整されたハードウェアアクセラレーション - 利用可能な場合はGPUコンピュート、利用できない場合はCPU + intrinsics。
| プラットフォーム | アクセラレーション |
|---|---|
| Windows | Vulkan GPU |
| Linux | Vulkan GPU |
| Mac | Metal GPU |
| iOS | Metal GPU |
| Android | CPU + intrinsics |
| Meta Quest | CPU + intrinsics |
モバイルおよびVRデバイスでは、コンパクトなモデル（1B〜3Bパラメータ）と組み合わせた小さめの量子化（Q2_K〜Q4_K_M）が推奨されます。デスクトッププラットフォームでは、より高い量子化レベルでより大きなモデルを実行できます。
Unreal Editor内の専用設定パネルで、モデルの閲覧、ダウンロード、インポート、削除、 およびテストが可能です - コマンドラインツールや外部ダウンロードは不要です。
組み込みカタログから人気モデルをワンクリックでダウンロードできます。複数のダウンロードを並行して実行でき、プログレスバーとキャンセル対応を備えています。
ディスクまたは直接URLから任意のGGUFファイルをインポートできます。カスタムモデルはカタログモデルと同様に扱われ、パッケージ化されたビルドに同梱されます。
組み込みのテストウィンドウを使用すると、モデルの選択、パラメータの設定、プロンプトの送信、応答のリアルタイムストリーミングを確認できます。Playモードに入る必要は一切ありません。
基本的な読み込みと推論を超えて、このプラグインは複数のモデル読み込み方法、非同期Blueprintノード、 ランタイムダウンロード、会話コンテキスト管理、および設定可能な推論パラメータを提供します。
モデル名、絶対ファイルパス、または自動ダウンロード付きのURLから直接読み込めます。読み込まずにモデルをプリキャッシュできます。
生成された各トークンはゲームスレッド上でデリゲートを発生させます - チャットUIを即座に更新したり、ゲームプレイイベントをトリガーしたり、到着した出力を他のシステムにパイプしたりできます。
マルチターン会話はメッセージ履歴を自動的に保持します。いつでもコンテキストをリセットでき、永続的なキャラクター動作のためにシステムプロンプトをオプションで保持できます。
温度、Top-P、Top-K、繰り返しペナルティ、GPUレイヤーオフロード、コンテキストサイズ、シード、スレッド数、最大トークン数、システムプロンプトをモデル読み込みごとに制御できます。
読み込み、メッセージ送信、ダウンロード用の専用非同期ノード - トークン、完了、進行状況、エラー用の出力ピンを備えています。手動のデリゲートバインドは不要です。
Content/RuntimeLocalLLM/Models 内のモデルは NonUFS 経由で自動的にステージングされ、パッケージ化されたビルドに同梱されます。手動のプロジェクト設定は不要です。
Blueprint例 - ストリーミング応答を使ったシンプルなチャット
Windowsデモを利用できるので、オンデバイス推論を実際に体験できます。このデモには、ストリーミング応答を備えたチャットインターフェース、URLによるランタイムモデルダウンロード、推論パラメータの設定メニューが含まれています - すべてBlueprintとUMGで構築されています。
メッセージを送信して、応答がリアルタイムでトークンごとに生成されるのを確認できます
すぐに使えるモデルに加え、追加モデルのランタイムURLダウンロードも可能
温度、最大トークン数、コンテキストサイズなどを設定するゲーム内設定メニュー
プラグインのDemoコンテンツフォルダに完全なBlueprint実装が含まれており、UE 4.27+をサポートしています
ビデオチュートリアル
デモプロジェクトプレビュー
プラグインが標準でサポートするワークフローの一部です。すべて外部依存なしでローカルに動作します。
キャラクター主導の会話で、永続的なコンテキストを保持します。NPCは過去のやり取りを記憶し、システムプロンプトを通じてキャラクターの役割を維持します。
クエストテキスト、アイテム説明、ロアの断片、またはバークをランタイムで生成します。すべてのバリエーションを手動作成せずに、セッションごとに出力を変化させられます。
インターネットなしで動作するゲーム内アシスタントやチャットボット。オフラインゲーム、エアギャップ環境での展開、プライバシー重視のアプリケーションに有用です。
Speech Recognizer（音声入力）、TTS（音声応答）、リップシンク（アニメーション）と組み合わせて、完全オフラインの会話キャラクターを構築できます。
Runtime Local LLMは、Georgy DevプラグインスイートのオフラインAIの頭脳です。音声認識、TTS、リップシンクと組み合わせることで、完全オンデバイスの会話キャラクターを実現できます。
包括的なドキュメントは、エディタのモデルマネージャー、ランタイムAPI、推論パラメータ、 すぐに使える例（シンプルなチャット、NPCダイアログ、事前ダウンロード）、およびバンドルされたデモプロジェクトを網羅しています。
すべての機能のステップバイステップガイド（BlueprintおよびC++の例付き）
開発者サポートのある活発なDiscordコミュニティ
カスタマイズされた統合または機能開発 - [email protected]
エディタ - カスタムGGUFモデルのインポート
Fab で UE 4.27 – 5.8 向けに入手できます。エディタのモデルマネージャー、ランタイムAPI、デモプロジェクト、完全なドキュメントが含まれています。
