# LLM-Providers

> Verbinden Sie PentAGI mit integrierten Providers wie OpenAI, Anthropic, Gemini, Bedrock und Ollama oder mit einem beliebigen OpenAI-kompatiblen Endpunkt, inklusive Failover.

PentAGI benötigt mindestens einen Sprachmodell-Provider. Die Zugangsdaten werden auf dem Server in `.env` festgelegt; jeder [Flow](https://pentagi.com/de/docs/glossary/#flow) wählt dann den [Provider](https://pentagi.com/de/docs/glossary/#provider) aus, auf dem er ausgeführt wird, und jeder [Agent Type](https://pentagi.com/de/docs/glossary/#agent-type) kann seine eigenen Modelleinstellungen verwenden.

## [Integrierte LLM-Providers](https://pentagi.com/de/docs/configuration/llm-providers/#built-in-providers)

| Provider             | Schlüsselvariable                                              | Endpoint-Override      |
| -------------------- | -------------------------------------------------------------- | ---------------------- |
| OpenAI               | `OPEN_AI_KEY`                                                  | `OPEN_AI_SERVER_URL`   |
| Anthropic            | `ANTHROPIC_API_KEY`                                            | `ANTHROPIC_SERVER_URL` |
| Google AI (Gemini)   | `GEMINI_API_KEY`                                               | `GEMINI_SERVER_URL`    |
| AWS Bedrock          | `BEDROCK_REGION` + eine Authentifizierungsmethode              | `BEDROCK_SERVER_URL`   |
| Ollama               | `OLLAMA_SERVER_URL` (`OLLAMA_SERVER_API_KEY` für Ollama Cloud) | —                      |
| DeepSeek             | `DEEPSEEK_API_KEY`                                             | `DEEPSEEK_SERVER_URL`  |
| GLM (Zhipu AI)       | `GLM_API_KEY`                                                  | `GLM_SERVER_URL`       |
| Kimi (Moonshot AI)   | `KIMI_API_KEY`                                                 | `KIMI_SERVER_URL`      |
| Qwen (Alibaba Cloud) | `QWEN_API_KEY`                                                 | `QWEN_SERVER_URL`      |
| MiniMax              | `MINIMAX_API_KEY`                                              | `MINIMAX_SERVER_URL`   |
| Mistral              | `MISTRAL_API_KEY`                                              | `MISTRAL_SERVER_URL`   |
| xAI (Grok)           | `XAI_API_KEY`                                                  | `XAI_SERVER_URL`       |

### [AWS-Bedrock-Authentifizierung](https://pentagi.com/de/docs/configuration/llm-providers/#aws-bedrock-authentication)

Legen Sie `BEDROCK_REGION` fest und wählen Sie eine Methode:

```bash
BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...
```

### [Anthropic ohne langlebigen Schlüssel](https://pentagi.com/de/docs/configuration/llm-providers/#anthropic-without-a-long-lived-key)

Statt `ANTHROPIC_API_KEY` kann Anthropic über Workload Identity Federation mit `ANTHROPIC_FEDERATION_RULE_ID`, `ANTHROPIC_ORGANIZATION_ID`, `ANTHROPIC_SERVICE_ACCOUNT_ID` und einem Identitätstoken (`ANTHROPIC_IDENTITY_TOKEN` oder `ANTHROPIC_IDENTITY_TOKEN_FILE`) verwendet werden.

## [Benutzerdefinierte und OpenAI-kompatible Endpunkte](https://pentagi.com/de/docs/configuration/llm-providers/#custom-and-openai-compatible-endpoints)

Jede OpenAI-kompatible API – vLLM, LiteLLM, OpenRouter, DeepInfra, Atlas Cloud, der OpenCode Go-Plan oder ein Azure OpenAI-Deployment – wird als benutzerdefinierter Provider verbunden:

```bash
LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml
```

`LLM_SERVER_KEY` ist erforderlich: Für einen Server ohne Authentifizierung, wie vLLM standardmäßig, legen Sie einen beliebigen nicht-leeren Wert fest – bei einem leeren Schlüssel ist der benutzerdefinierte Provider deaktiviert. `LLM_SERVER_API_TYPE=azure` schaltet den benutzerdefinierten Provider auf Azure OpenAI um. Eine Provider-Konfigurationsdatei ermöglicht es Ihnen, pro Agent Type ein Modell und Parameter zuzuweisen; beginnen Sie mit `examples/configs/custom-openai.provider.yml` im Repository und ersetzen Sie dessen `o3-mini`, das OpenAI am 23. Oktober 2026 einstellt.

![Konfigurierte Providers in Settings → Providers](https://pentagi.com/images/product/settings-providers.webp)

## [Failover](https://pentagi.com/de/docs/configuration/llm-providers/#failover)

`LLM_FALLBACK_PROVIDER` benennt einen zweiten Provider: einen integrierten mit Anmeldedaten in `.env`, wie etwa `anthropic`, oder einen Provider, den der Eigentümer des Flow unter **Settings → Providers** gespeichert hat. Ein fehlgeschlagener Modellaufruf wird darauf einmal wiederholt und der Wechsel wird im Trace aufgezeichnet; der nächste Aufruf beginnt wieder auf dem eigenen Provider des Flow.

## [Modellauswahl](https://pentagi.com/de/docs/configuration/llm-providers/#choosing-models)

* Verwenden Sie Ihr leistungsstärkstes Modell für `primary_agent`, `pentester` und `adviser`; leichtere Modelle eignen sich für `searcher`, `enricher` und die Zusammenfassung.
* Für offene Modelle mit weniger als 32 Milliarden Parametern aktivieren Sie [Ausführungsüberwachung und Task-Planung](https://pentagi.com/de/docs/concepts/agents/#safeguards).
* **Settings → Providers** enthält die Provider-Profile, die Sie zusätzlich zu den konfigurierten Typen erstellen — **Create Provider** bietet nur die Typen mit Anmeldedaten in `.env` an — und das Profilformular testet eine Konfiguration, bevor Sie sie speichern.