# LLM providers

> 將 PentAGI 連接至內建 providers，例如 OpenAI、Anthropic、Gemini、Bedrock 和 Ollama，或任何相容 OpenAI 的端點，並支援故障轉移。

PentAGI 至少需要一個語言模型 [provider](https://pentagi.com/zh-tw/docs/glossary/#provider)。憑證設定於伺服器的 `.env` 中；每個 [flow](https://pentagi.com/zh-tw/docs/glossary/#flow) 會選擇其所使用的 provider，且每種 [agent type](https://pentagi.com/zh-tw/docs/glossary/#agent-type) 皆可擁有專屬的模型設定。

## [內建 providers](https://pentagi.com/zh-tw/docs/configuration/llm-providers/#built-in-providers)

| Provider             | 金鑰變數                                                         | 端點覆寫                   |
| -------------------- | ------------------------------------------------------------ | ---------------------- |
| OpenAI               | `OPEN_AI_KEY`                                                | `OPEN_AI_SERVER_URL`   |
| Anthropic            | `ANTHROPIC_API_KEY`                                          | `ANTHROPIC_SERVER_URL` |
| Google AI (Gemini)   | `GEMINI_API_KEY`                                             | `GEMINI_SERVER_URL`    |
| AWS Bedrock          | `BEDROCK_REGION` + 一種驗證方法                                    | `BEDROCK_SERVER_URL`   |
| Ollama               | `OLLAMA_SERVER_URL`（Ollama Cloud 則為 `OLLAMA_SERVER_API_KEY`） | —                      |
| DeepSeek             | `DEEPSEEK_API_KEY`                                           | `DEEPSEEK_SERVER_URL`  |
| GLM (Zhipu AI)       | `GLM_API_KEY`                                                | `GLM_SERVER_URL`       |
| Kimi (Moonshot AI)   | `KIMI_API_KEY`                                               | `KIMI_SERVER_URL`      |
| Qwen (Alibaba Cloud) | `QWEN_API_KEY`                                               | `QWEN_SERVER_URL`      |
| MiniMax              | `MINIMAX_API_KEY`                                            | `MINIMAX_SERVER_URL`   |
| Mistral              | `MISTRAL_API_KEY`                                            | `MISTRAL_SERVER_URL`   |
| xAI (Grok)           | `XAI_API_KEY`                                                | `XAI_SERVER_URL`       |

### [AWS Bedrock 驗證](https://pentagi.com/zh-tw/docs/configuration/llm-providers/#aws-bedrock-authentication)

設定 `BEDROCK_REGION` 並選擇一種方法：

```bash
BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...
```

### [不使用長期金鑰的 Anthropic](https://pentagi.com/zh-tw/docs/configuration/llm-providers/#anthropic-without-a-long-lived-key)

除了 `ANTHROPIC_API_KEY` 之外，Anthropic 也可透過 `ANTHROPIC_FEDERATION_RULE_ID`、`ANTHROPIC_ORGANIZATION_ID`、`ANTHROPIC_SERVICE_ACCOUNT_ID` 與身分識別權杖（`ANTHROPIC_IDENTITY_TOKEN` 或 `ANTHROPIC_IDENTITY_TOKEN_FILE`）搭配 Workload Identity Federation 使用。

## [自訂與相容 OpenAI 的端點](https://pentagi.com/zh-tw/docs/configuration/llm-providers/#custom-and-openai-compatible-endpoints)

任何相容 OpenAI 的 API — vLLM、LiteLLM、OpenRouter、DeepInfra、Atlas Cloud、OpenCode Go 方案或 Azure OpenAI 部署 — 皆可作為自訂 provider 進行連接：

```bash
LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml
```

`LLM_SERVER_KEY` 為必填：對於沒有身分驗證的伺服器（例如預設的 vLLM），請設定任何非空值 — 若金鑰為空，自訂 provider 將被停用。`LLM_SERVER_API_TYPE=azure` 可將自訂 provider 切換為 Azure OpenAI。Provider 組態檔可讓您為每種 agent type 指派模型與參數；請從儲存庫中的 `examples/configs/custom-openai.provider.yml` 開始，並替換其中的 `o3-mini`，OpenAI 將於 2026 年 10 月 23 日停止支援該項目。

![在 Settings → Providers 中設定的 providers](https://pentagi.com/images/product/settings-providers.webp)

## [故障轉移](https://pentagi.com/zh-tw/docs/configuration/llm-providers/#failover)

`LLM_FALLBACK_PROVIDER` 指定第二個 provider：一個內建的 provider，其憑證位於 `.env`（例如 `anthropic`），或是 flow 擁有者在 **Settings → Providers** 中儲存的 provider。若 model call 失敗，系統會在該 provider 上重試一次，並將切換動作記錄於 trace 中；下一次 call 會再次從 flow 自身的 provider 開始。

## [選擇模型](https://pentagi.com/zh-tw/docs/configuration/llm-providers/#choosing-models)

* 請將您最強大的模型用於 `primary_agent`、`pentester` 和 `adviser`；較輕量的模型則適用於 `searcher`、`enricher` 和摘要任務。
* 對於參數量低於 32B 的開放模型，請啟用[執行監控與 task 規劃](https://pentagi.com/zh-tw/docs/concepts/agents/#safeguards)。
* **Settings → Providers** 包含您在已設定的類型之上建立的 provider profiles — **Create Provider** 僅提供在 `.env` 中擁有憑證的類型 — 且 profile 表單會在您儲存之前測試組態。