Muse Glimmer llama cpp: ローカルセットアップとベンチマークガイド

Metaは、常時稼働するローカルエージェント向けに設計された300億パラメータのオープンウェイトモデルとしてMuse Glimmerをリリースしました。llama cppを介してMuse Glimmerを実行することで、外部クラウドサービスに依存しない完全にローカルな推論パイプラインが提供されます。Apache 2.0ライセンスにより、開発者は個人および商用アプリケーションの両方でモデルをデプロイ、変更、配布する完全な自由を得られます。

動画のハイライト:

• Muse Glimmer 30Bが10分以内にプレイ可能なブラウザFPSの生成に成功
• ローカルデプロイメントはQ8量子化を使用して約26トークン/秒を達成
• コンテキストウィンドウは合成ニードルテストで131Kトークンまで検証済み
• エージェントモードは11の自動化された本番チェックのうち9つに合格
• 独立したChromeテストで、動作するゲーム状態とHUD要素を確認

このモデルは、ファイルのリスト化、ソースコードの書き込み、定義済みビルドコマンドの実行が可能な自律エージェントとして動作します。スコア評価ランでは、Muse Glimmerはキーボードとマウスの操作、敵対的なドローン、ヘッドアップディスプレイ、3つのウェーブ、そして完全なゲームオーバーおよび勝利状態を備えた、完全な一人称シューティングゲームのプロトタイプを生成しました。

Muse Glimmerをローカルにデプロイするには、強力なGPUリソースが必要です。Q8量子化フォーマットは、モデルの忠実度と推論速度の最適なバランスを提供します。Unsloth UD-Q8-K-XL GGUFディストリビューションが、ほとんどの開発者にとって推奨される出発点となります。

テスト済みのハードウェア構成

リファレンスベンチマークでは、1つのRTX 4090と3つのRTX 3090 GPUを使用し、完全なQ8モデルと拡張コンテキストウィンドウのための十分なVRAMを提供しました。この構成は、スタンドアロン生成とエージェントワークロードの両方で一貫したスループットを維持しました。

llama cppを通じたMuse Glimmerのベンチマークは、本番デプロイメントにおける重要なパフォーマンス特性を明らかにします。ビルドバージョン10349がテストランタイムとして使用され、グリーディ・デコーディングがベースライン構成となりました。

推論速度の指標

コンテキストウィンドウの検証

合成ニードルテストは、コンテキストウィンドウ内の極端な距離に配置された特定の情報をモデルが取得できるかを評価します。Muse Glimmerは両方のテストしきい値に合格しました：

131Kのコンテキスト制限は、モデルアーキテクチャの制約ではなく、サーバービルドの上限を表しています。120Kトークンでのニードル取得の成功は、離れた情報にアクセス可能であることを確認しますが、このプローブはコンテキスト全体にわたる幅広い推論品質ではなく、取得能力をテストするものであることに注意してください。

llama cppを使用してMuse Glimmerをデプロイするには、ランタイム環境、モデルファイル、エージェント構成を慎重に準備する必要があります。ベンチマーク済みのセットアップを再現するには、次の手順に従ってください。

スコア評価エージェントランでは、Muse Glimmerに対してゼロからプレイ可能なブラウザベースの一人称シューティングゲームを構築するタスクを課しました。評価では、生成プロセスと最終成果物の品質の両方を測定しました。

エージェント実行の統計

自動チェック結果

最終成果物には、一人称視点の武器、キーボードとマウスの操作、敵対的なドローン、機能的なHUD、3つの戦闘ウェーブ、そして完全なゲームオーバー、勝利、リスタートの状態が含まれていました。独立したChromeテストにより、目に見えるすべてのゲームプレイ要素が意図したとおりに機能することが確認されました。

llama cppでのMuse Glimmerのパフォーマンスを最大化するには、特定のワークロードに基づいていくつかのパラメータを調整する必要があります。これらの推奨事項は、ベンチマーク評価データから導き出されたものです。

デプロイメント構成チェックリスト