# LLM providers

> 将 PentAGI 连接到 OpenAI、Anthropic、Gemini、Bedrock 和 Ollama 等内置 providers，或连接到任何兼容 OpenAI 的端点，并支持故障转移。

PentAGI 至少需要一个语言模型 [provider](https://pentagi.com/zh-cn/docs/glossary/#provider)。凭据在服务器上的 `.env` 中设置；每个 [flow](https://pentagi.com/zh-cn/docs/glossary/#flow) 随后选择其运行的 provider，并且每种 [agent type](https://pentagi.com/zh-cn/docs/glossary/#agent-type) 都可以使用自己的模型设置。

## [内置 providers](https://pentagi.com/zh-cn/docs/configuration/llm-providers/#built-in-providers)

| Provider             | 密钥变量                                                         | 端点覆盖                   |
| -------------------- | ------------------------------------------------------------ | ---------------------- |
| OpenAI               | `OPEN_AI_KEY`                                                | `OPEN_AI_SERVER_URL`   |
| Anthropic            | `ANTHROPIC_API_KEY`                                          | `ANTHROPIC_SERVER_URL` |
| Google AI (Gemini)   | `GEMINI_API_KEY`                                             | `GEMINI_SERVER_URL`    |
| AWS Bedrock          | `BEDROCK_REGION` + 一种身份验证方法                                  | `BEDROCK_SERVER_URL`   |
| Ollama               | `OLLAMA_SERVER_URL`（Ollama Cloud 使用 `OLLAMA_SERVER_API_KEY`） | —                      |
| DeepSeek             | `DEEPSEEK_API_KEY`                                           | `DEEPSEEK_SERVER_URL`  |
| GLM (Zhipu AI)       | `GLM_API_KEY`                                                | `GLM_SERVER_URL`       |
| Kimi (Moonshot AI)   | `KIMI_API_KEY`                                               | `KIMI_SERVER_URL`      |
| Qwen (Alibaba Cloud) | `QWEN_API_KEY`                                               | `QWEN_SERVER_URL`      |
| MiniMax              | `MINIMAX_API_KEY`                                            | `MINIMAX_SERVER_URL`   |
| Mistral              | `MISTRAL_API_KEY`                                            | `MISTRAL_SERVER_URL`   |
| xAI (Grok)           | `XAI_API_KEY`                                                | `XAI_SERVER_URL`       |

### [AWS Bedrock 身份验证](https://pentagi.com/zh-cn/docs/configuration/llm-providers/#aws-bedrock-authentication)

设置 `BEDROCK_REGION` 并选择一种方法：

```bash
BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...
```

### [不使用长期密钥的 Anthropic](https://pentagi.com/zh-cn/docs/configuration/llm-providers/#anthropic-without-a-long-lived-key)

除了 `ANTHROPIC_API_KEY`，Anthropic 还可以通过工作负载身份联合使用 `ANTHROPIC_FEDERATION_RULE_ID`、`ANTHROPIC_ORGANIZATION_ID`、`ANTHROPIC_SERVICE_ACCOUNT_ID` 和身份令牌（`ANTHROPIC_IDENTITY_TOKEN` 或 `ANTHROPIC_IDENTITY_TOKEN_FILE`）。

## [自定义和兼容 OpenAI 的端点](https://pentagi.com/zh-cn/docs/configuration/llm-providers/#custom-and-openai-compatible-endpoints)

任何兼容 OpenAI 的 API（如 vLLM、LiteLLM、OpenRouter、DeepInfra、Atlas Cloud、OpenCode Go 计划或 Azure OpenAI 部署）都作为自定义 provider 连接：

```bash
LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml
```

`LLM_SERVER_KEY` 是必需的：对于没有身份验证的服务器（例如默认的 vLLM），请设置任意非空值——如果密钥为空，自定义 provider 将被禁用。`LLM_SERVER_API_TYPE=azure` 将自定义 provider 切换为 Azure OpenAI。Provider 配置文件允许您为每种 agent type 分配模型和参数；从仓库中的 `examples/configs/custom-openai.provider.yml` 开始，并替换其中的 `o3-mini`，OpenAI 将于 2026 年 10 月 23 日停用该接口。

![在 Settings → Providers 中配置的 providers](https://pentagi.com/images/product/settings-providers.webp)

## [故障转移](https://pentagi.com/zh-cn/docs/configuration/llm-providers/#failover)

`LLM_FALLBACK_PROVIDER` 指定第二个 provider：一个内置的 provider，其凭据位于 `.env`（例如 `anthropic`），或者由 flow 的所有者在 **Settings → Providers** 中保存的 provider。在该 provider 上会重试一次失败的 model call，并将切换记录在 trace 中；下一次 call 将再次从 flow 自身的 provider 开始。

## [选择模型](https://pentagi.com/zh-cn/docs/configuration/llm-providers/#choosing-models)

* 对 `primary_agent`、`pentester` 和 `adviser` 使用您最强大的模型；较轻量的模型适用于 `searcher`、`enricher` 和摘要。
* 对于参数少于 32B 的开源模型，请启用[执行监控和 task 规划](https://pentagi.com/zh-cn/docs/concepts/agents/#safeguards)。
* **Settings → Providers** 包含您在已配置类型之上创建的 provider profiles — **Create Provider** 仅提供 `.env` 中带有凭据的类型 — 并且 profile 表单会在您保存之前测试配置。