LLM-Providers — PentAGI

Verbinden Sie PentAGI mit integrierten Providers wie OpenAI, Anthropic, Gemini, Bedrock und Ollama oder mit einem beliebigen OpenAI-kompatiblen Endpunkt, inklusive Failover.

PentAGI benötigt mindestens einen Sprachmodell-Provider. Die Zugangsdaten werden auf dem Server in .env festgelegt; jeder Flow wählt dann den Provider aus, auf dem er ausgeführt wird, und jeder Agent Type kann seine eigenen Modelleinstellungen verwenden.

Integrierte LLM-Providers

Provider	Schlüsselvariable	Endpoint-Override
OpenAI	`OPEN_AI_KEY`	`OPEN_AI_SERVER_URL`
Anthropic	`ANTHROPIC_API_KEY`	`ANTHROPIC_SERVER_URL`
Google AI (Gemini)	`GEMINI_API_KEY`	`GEMINI_SERVER_URL`
AWS Bedrock	`BEDROCK_REGION` + eine Authentifizierungsmethode	`BEDROCK_SERVER_URL`
Ollama	`OLLAMA_SERVER_URL` (`OLLAMA_SERVER_API_KEY` für Ollama Cloud)	—
DeepSeek	`DEEPSEEK_API_KEY`	`DEEPSEEK_SERVER_URL`
GLM (Zhipu AI)	`GLM_API_KEY`	`GLM_SERVER_URL`
Kimi (Moonshot AI)	`KIMI_API_KEY`	`KIMI_SERVER_URL`
Qwen (Alibaba Cloud)	`QWEN_API_KEY`	`QWEN_SERVER_URL`
MiniMax	`MINIMAX_API_KEY`	`MINIMAX_SERVER_URL`
Mistral	`MISTRAL_API_KEY`	`MISTRAL_SERVER_URL`
xAI (Grok)	`XAI_API_KEY`	`XAI_SERVER_URL`

AWS-Bedrock-Authentifizierung

Legen Sie BEDROCK_REGION fest und wählen Sie eine Methode:

BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...

Anthropic ohne langlebigen Schlüssel

Statt ANTHROPIC_API_KEY kann Anthropic über Workload Identity Federation mit ANTHROPIC_FEDERATION_RULE_ID, ANTHROPIC_ORGANIZATION_ID, ANTHROPIC_SERVICE_ACCOUNT_ID und einem Identitätstoken (ANTHROPIC_IDENTITY_TOKEN oder ANTHROPIC_IDENTITY_TOKEN_FILE) verwendet werden.

Benutzerdefinierte und OpenAI-kompatible Endpunkte

Jede OpenAI-kompatible API – vLLM, LiteLLM, OpenRouter, DeepInfra, Atlas Cloud, der OpenCode Go-Plan oder ein Azure OpenAI-Deployment – wird als benutzerdefinierter Provider verbunden:

LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml

LLM_SERVER_KEY ist erforderlich: Für einen Server ohne Authentifizierung, wie vLLM standardmäßig, legen Sie einen beliebigen nicht-leeren Wert fest – bei einem leeren Schlüssel ist der benutzerdefinierte Provider deaktiviert. LLM_SERVER_API_TYPE=azure schaltet den benutzerdefinierten Provider auf Azure OpenAI um. Eine Provider-Konfigurationsdatei ermöglicht es Ihnen, pro Agent Type ein Modell und Parameter zuzuweisen; beginnen Sie mit examples/configs/custom-openai.provider.yml im Repository und ersetzen Sie dessen o3-mini, das OpenAI am 23. Oktober 2026 einstellt.

Konfigurierte Providers in Settings → Providers

Failover

LLM_FALLBACK_PROVIDER benennt einen zweiten Provider: einen integrierten mit Anmeldedaten in .env, wie etwa anthropic, oder einen Provider, den der Eigentümer des Flow unter Settings → Providers gespeichert hat. Ein fehlgeschlagener Modellaufruf wird darauf einmal wiederholt und der Wechsel wird im Trace aufgezeichnet; der nächste Aufruf beginnt wieder auf dem eigenen Provider des Flow.

Modellauswahl

Verwenden Sie Ihr leistungsstärkstes Modell für primary_agent, pentester und adviser; leichtere Modelle eignen sich für searcher, enricher und die Zusammenfassung.
Für offene Modelle mit weniger als 32 Milliarden Parametern aktivieren Sie Ausführungsüberwachung und Task-Planung.
Settings → Providers enthält die Provider-Profile, die Sie zusätzlich zu den konfigurierten Typen erstellen — Create Provider bietet nur die Typen mit Anmeldedaten in .env an — und das Profilformular testet eine Konfiguration, bevor Sie sie speichern.