ローカルモデル

PentAGI は、ご自身でホストするモデルのみを使用して完全に実行できます。agent のプロンプト、agent が読み取る tool の出力、そして agent が報告する finding はすべてお客様のサーバー上に留まり、長い flow ではトークンではなく GPU 時間が消費されます。サポートされているモデルサーバーには 2 種類あります。セットアップが最も迅速な Ollama と、より高いスループットを実現するための vLLM または OpenAI 互換 API を備えたその他のサーバーです。

Ollama

.env で PentAGI を Ollama サーバーに向けます。

OLLAMA_SERVER_URL=http://ollama-server:11434
OLLAMA_SERVER_CONFIG_PATH=/opt/pentagi/conf/ollama-qwen332b-fp16-tc.provider.yml
OLLAMA_SERVER_PULL_MODELS_ENABLED=false   # true downloads missing models at startup
OLLAMA_SERVER_LOAD_MODELS_ENABLED=false   # true lists the models the server already has

設定ファイルは各 agent type にモデルとそのパラメーターを割り当てます。設定ファイルがない場合、OLLAMA_SERVER_MODEL がデフォルトモデルを設定します。イメージには /opt/pentagi/conf/ に準備済みの設定が含まれており、その中に ollama-qwen332b-fp16-tc.provider.yml と ollama-qwq32b-fp16-tc.provider.yml があります。

Ollama のデフォルトのコンテキストウィンドウは、flow が必要とするサイズよりもはるかに小さいものです。agent は通常約 64K トークンを使用し、PentAGI は 110K 用に設定されています。Ollama はモデルを作成する際にのみコンテキストサイズを設定するため、Modelfile から変種をビルドしてください。

FROM qwen3:32b-fp16
PARAMETER num_ctx 110000
PARAMETER temperature 0.3
PARAMETER top_p 0.8
PARAMETER min_p 0.0
PARAMETER top_k 20
PARAMETER repeat_penalty 1.1

ollama create qwen3:32b-fp16-tc -f Modelfile

vLLM およびその他の OpenAI 互換サーバー

vLLM、LocalAI、および OpenAI 互換 API を備えたその他のサーバーは、カスタム provider として接続します。

LLM_SERVER_URL=http://vllm-server:8000/v1
LLM_SERVER_KEY=local                      # any non-empty value when the server has no key
LLM_SERVER_MODEL=Qwen/Qwen3.6-27B-FP8
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/vllm-qwen3.6-27b-fp8.provider.yml

このイメージには、vLLM 上のいくつかの Qwen ビルド用の設定が含まれています。-no-think 変種は推論機能をオフにします。agent は tool call を介して動作するため、モデル推奨の tool-call パーサーと chat template を使用してサーバーを起動してください。誤ったパーサーを使用すると、tool call の引数が壊れて返され、flow が数ステップ後に停止します。

モデルの選択

• 設定ファイル内で、primary_agent、pentester、adviser には最も強力なモデルを割り当ててください。searcher、enricher、および要約には軽量なモデルを使用できます。
• 32B パラメータ未満のモデルの場合、実行監視と task 計画 を有効にしてください。これにより、トークン数と時間が 2〜3 倍になる代わりに、結果の品質がおよそ 2 倍になります。
• メモリを見積もってください。例えば FP16 の QwQ 32B は、約 71 GB の GPU メモリを必要とします。

スタックの残りをローカルに維持する