Lokale Modelle
Führen Sie PentAGI mit Modellen aus, die auf Ihrer eigenen Hardware bereitgestellt werden, sodass Prompts, Tool-Ausgaben und Findings auf Ihren Servern verbleiben.
PentAGI kann vollständig mit Modellen laufen, die Sie selbst hosten. Die Prompts der AgentsAgentEin KI-Agent von PentAGI: ein Modell mit eigenem Prompt, Einstellungen und Tools, das eine bestimmte Art von Arbeit in einem Flow erledigt, wie z. B. Testen, Code schreiben oder Websuche., die Tool-Ausgaben, die sie lesen, und die FindingsFinding — BefundEtwas, das der Test entdeckt und aufgezeichnet hat, wie z. B. einen Host, einen laufenden Dienst oder eine Schwachstelle., die sie berichten, verbleiben dann auf Ihren Servern, und ein langer FlowFlowEin Durchlauf von PentAGI: ein Ziel, die aus Ihren Nachrichten erstellten Aufgaben und alles, was die Agenten dabei getan haben. kostet GPU-Zeit statt Tokens. Es werden zwei Arten von Model-Servern unterstützt: Ollama, das am schnellsten einzurichten ist, und vLLM oder jeder andere Server mit einer OpenAI-kompatiblen API für höheren Durchsatz.
Ollama
Verweisen Sie PentAGI in .env auf den Ollama-Server:
OLLAMA_SERVER_URL=http://ollama-server:11434
OLLAMA_SERVER_CONFIG_PATH=/opt/pentagi/conf/ollama-qwen332b-fp16-tc.provider.yml
OLLAMA_SERVER_PULL_MODELS_ENABLED=false # true downloads missing models at startup
OLLAMA_SERVER_LOAD_MODELS_ENABLED=false # true lists the models the server already hasDie Konfigurationsdatei weist jedem Agententyp ein Modell und dessen Parameter zu; ohne eine solche Datei legt OLLAMA_ das Standardmodell fest. Das Image enthält fertige Konfigurationen in /, darunter ollama-qwen332b-fp16-tc.provider.yml und ollama-qwq32b-fp16-tc.provider.yml.
Das standardmäßige Kontextfenster von Ollama ist viel kleiner, als ein Flow benötigt: Agents verwenden typischerweise etwa 64K Tokens, und PentAGI ist für 110K konfiguriert. Ollama legt die Kontextgröße nur beim Erstellen eines Modells fest, erstellen Sie daher eine Variante aus einer Modelfile:
FROM qwen3:32b-fp16
PARAMETER num_ctx 110000
PARAMETER temperature 0.3
PARAMETER top_p 0.8
PARAMETER min_p 0.0
PARAMETER top_k 20
PARAMETER repeat_penalty 1.1ollama create qwen3:32b-fp16-tc -f ModelfilevLLM und andere OpenAI-kompatible Server
vLLM, LocalAI und andere Server mit einer OpenAI-kompatiblen API verbinden sich als benutzerdefinierter Provider:
LLM_SERVER_URL=http://vllm-server:8000/v1
LLM_SERVER_KEY=local # any non-empty value when the server has no key
LLM_SERVER_MODEL=Qwen/Qwen3.6-27B-FP8
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/vllm-qwen3.6-27b-fp8.provider.ymlDas Image enthält Konfigurationen für mehrere Qwen-Builds auf vLLM; die Varianten -no-think schalten das Reasoning aus. Agents arbeiten über Tool CallsTool Call — Tool-AufrufEine Anfrage des Modells, eines der Tools des Agenten auszuführen, wie einen Terminalbefehl oder eine Websuche., starten Sie den Server daher mit dem für Ihr Modell empfohlenen Tool-Call-Parser und Chat-Template: Bei einem falschen Parser kommen Tool-Call-Argumente beschädigt zurück und ein Flow stoppt nach wenigen Schritten.
Auswahl eines Modells
- Weisen Sie Ihrem stärksten Modell in der Konfigurationsdatei
primary_,agent pentesterundadviserzu; leichtere Modelle könnensearcher,enricherund die Zusammenfassung bedienen. - Aktivieren Sie für Modelle mit weniger als 32B Parametern die Ausführungsüberwachung und Task-Planung. Dies verdoppelt annähernd die Ergebnisqualität bei Kosten von zwei- bis dreimal mehr Tokens und Zeit.
- Planen Sie den Speicherbedarf: QwQ 32B in FP16 benötigt beispielsweise etwa 71 GB GPU-Speicher.
Halten Sie den Rest des Stacks lokal
| Teil | Einstellung |
|---|---|
| Embeddings | EMBEDDING_ mit einem Embedding-Modell in EMBEDDING_ verwendet denselben Ollama-Server; ein lokaler OpenAI-kompatibler Server funktioniert mit EMBEDDING_, seiner Adresse in EMBEDDING_ und einem beliebigen nicht-leeren EMBEDDING_ |
| Websuche | Search sendet die Queries der Agents ins Internet. DuckDuckGo ist standardmäßig aktiviert; schalten Sie es mit DUCKDUCKGO_ aus und behalten Sie nur die Engines bei, die Sie akzeptieren, wie z. B. Ihre eigene SearXNG |
| Knowledge GraphKnowledge Graph — WissensgraphDer Graph der Hosts, Dienste, Schwachstellen und der Zugriffe zwischen ihnen, den PentAGI während eines Tests aufbaut, wenn diese optionale Funktion aktiviert ist. Er zeigt, wie Befunde zusammenhängen. | Standardmäßig deaktiviert. Wenn aktiviert, ruft Graphiti OpenAI auf, es sei denn, GRAPHITI_ leitet es an den Server in LLM_ weiter, von dem es dann auch Embeddings mit dem in EMBEDDING_ genannten Modell anfordert, oder mit text-embedding-3-small, wenn dieses Feld leer ist. Wenn dieser Server dieses Modell nicht bereitstellt, setzen Sie GRAPHITI_: Graphiti verwendet dann EMBEDDING_, EMBEDDING_ und EMBEDDING_, die Werte, die PentAGI nutzt, und diese müssen auf einen OpenAI-kompatiblen Server verweisen — siehe Knowledge Graph |
| Observability | Die gebündelten Langfuse- und Grafana-Stacks laufen auf Ihrem Host — siehe Observability |
| Update-Check | UPDATE_ schaltet ihn aus; Security listet auf, was gesendet wird |
| Images | Docker pullt die Sandbox-Images mit seinen eigenen Einstellungen von Docker Hub; weisen Sie in einem geschlossenen Netzwerk den Docker-Daemon auf einen Registry-Mirror |
Zuletzt aktualisiert am