Lokální modely

PentAGI může běžet zcela na modelech, které hostujete sami. Prompty agentů, výstupy nástrojů, které čtou, a findings, které reportují, pak zůstávají na vašich serverech a dlouhý flow stojí čas GPU místo tokenů. Podporovány jsou dva druhy modelových serverů: Ollama, který se nastavuje nejrychleji, a vLLM nebo jakýkoli jiný server s API kompatibilním s OpenAI pro vyšší propustnost.

Ollama

Nasměrujte PentAGI na server Ollama v .env:

OLLAMA_SERVER_URL=http://ollama-server:11434
OLLAMA_SERVER_CONFIG_PATH=/opt/pentagi/conf/ollama-qwen332b-fp16-tc.provider.yml
OLLAMA_SERVER_PULL_MODELS_ENABLED=false   # true downloads missing models at startup
OLLAMA_SERVER_LOAD_MODELS_ENABLED=false   # true lists the models the server already has

Konfigurační soubor přiřazuje model a jeho parametry každému agent type; bez něj OLLAMA_SERVER_MODEL nastaví výchozí model. Obraz obsahuje připravené konfigurace v /opt/pentagi/conf/, mezi nimi ollama-qwen332b-fp16-tc.provider.yml a ollama-qwq32b-fp16-tc.provider.yml.

Výchozí kontextové okno Ollamy je mnohem menší, než potřebuje flow: agenti obvykle používají kolem 64K tokenů a PentAGI je nastaven na 110K. Ollama nastavuje velikost kontextu pouze při vytváření modelu, takže vytvořte variantu z Modelfile:

FROM qwen3:32b-fp16
PARAMETER num_ctx 110000
PARAMETER temperature 0.3
PARAMETER top_p 0.8
PARAMETER min_p 0.0
PARAMETER top_k 20
PARAMETER repeat_penalty 1.1

ollama create qwen3:32b-fp16-tc -f Modelfile

vLLM a další servery kompatibilní s OpenAI

vLLM, LocalAI a další servery s API kompatibilním s OpenAI se připojují jako vlastní provider:

LLM_SERVER_URL=http://vllm-server:8000/v1
LLM_SERVER_KEY=local                      # any non-empty value when the server has no key
LLM_SERVER_MODEL=Qwen/Qwen3.6-27B-FP8
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/vllm-qwen3.6-27b-fp8.provider.yml

Obraz obsahuje konfigurace pro několik sestavení Qwen na vLLM; varianty -no-think vypínají reasoning. Agenti pracují prostřednictvím tool calls, takže spusťte server s parserem tool call a chat template doporučeným pro váš model: při špatném parseru se argumenty tool call vrátí poškozené a flow se po několika krocích zastaví.

Výběr modelu

• Svůj nejsilnější model přidělte primary_agent, pentester a adviser v konfiguračním souboru; lehčí modely mohou obsluhovat searcher, enricher a sumarizaci.
• U modelů pod 32 miliard parametrů zapněte monitoring provádění a plánování task. Zhruba zdvojnásobí kvalitu výsledků za cenu dvojnásobného až trojnásobného množství tokenů a času.
• Počítejte s pamětí: QwQ 32B ve formátu FP16 například potřebuje asi 71 GB paměti GPU.

Zachovejte zbytek stacku lokální