# LLM providers

> PentAGI를 OpenAI, Anthropic, Gemini, Bedrock 및 Ollama와 같은 기본 제공 providers나 모든 OpenAI 호환 엔드포인트에 장애 조치(failover)와 함께 연결합니다.

PentAGI를 사용하려면 하나 이상의 언어 모델 [provider](https://pentagi.com/ko/docs/glossary/#provider)가 필요합니다. 자격 증명은 서버의 `.env`에서 설정하며, 각 [flow](https://pentagi.com/ko/docs/glossary/#flow)는 실행될 provider를 선택하고 모든 [agent type](https://pentagi.com/ko/docs/glossary/#agent-type)은 자체 모델 설정을 사용할 수 있습니다.

## [내장 providers](https://pentagi.com/ko/docs/configuration/llm-providers/#built-in-providers)

| Provider             | 키 변수                                                        | 엔드포인트 재정의              |
| -------------------- | ----------------------------------------------------------- | ---------------------- |
| OpenAI               | `OPEN_AI_KEY`                                               | `OPEN_AI_SERVER_URL`   |
| Anthropic            | `ANTHROPIC_API_KEY`                                         | `ANTHROPIC_SERVER_URL` |
| Google AI (Gemini)   | `GEMINI_API_KEY`                                            | `GEMINI_SERVER_URL`    |
| AWS Bedrock          | `BEDROCK_REGION` + 인증 방법 1개                                 | `BEDROCK_SERVER_URL`   |
| Ollama               | `OLLAMA_SERVER_URL` (Ollama Cloud는 `OLLAMA_SERVER_API_KEY`) | —                      |
| DeepSeek             | `DEEPSEEK_API_KEY`                                          | `DEEPSEEK_SERVER_URL`  |
| GLM (Zhipu AI)       | `GLM_API_KEY`                                               | `GLM_SERVER_URL`       |
| Kimi (Moonshot AI)   | `KIMI_API_KEY`                                              | `KIMI_SERVER_URL`      |
| Qwen (Alibaba Cloud) | `QWEN_API_KEY`                                              | `QWEN_SERVER_URL`      |
| MiniMax              | `MINIMAX_API_KEY`                                           | `MINIMAX_SERVER_URL`   |
| Mistral              | `MISTRAL_API_KEY`                                           | `MISTRAL_SERVER_URL`   |
| xAI (Grok)           | `XAI_API_KEY`                                               | `XAI_SERVER_URL`       |

### [AWS Bedrock 인증](https://pentagi.com/ko/docs/configuration/llm-providers/#aws-bedrock-authentication)

`BEDROCK_REGION`을 설정하고 다음 중 하나의 방법을 선택하세요:

```bash
BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...
```

### [장기 키 없는 Anthropic](https://pentagi.com/ko/docs/configuration/llm-providers/#anthropic-without-a-long-lived-key)

`ANTHROPIC_API_KEY` 대신 `ANTHROPIC_FEDERATION_RULE_ID`, `ANTHROPIC_ORGANIZATION_ID`, `ANTHROPIC_SERVICE_ACCOUNT_ID` 및 ID 토큰(`ANTHROPIC_IDENTITY_TOKEN` 또는 `ANTHROPIC_IDENTITY_TOKEN_FILE`)을 통해 Workload Identity Federation으로 Anthropic을 사용할 수 있습니다.

## [커스텀 및 OpenAI 호환 엔드포인트](https://pentagi.com/ko/docs/configuration/llm-providers/#custom-and-openai-compatible-endpoints)

vLLM, LiteLLM, OpenRouter, DeepInfra, Atlas Cloud, OpenCode Go 플랜 또는 Azure OpenAI 배포 등 모든 OpenAI 호환 API는 커스텀 provider로 연결됩니다:

```bash
LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml
```

`LLM_SERVER_KEY`는 필수입니다: vLLM과 같이 기본적으로 인증이 없는 서버의 경우, 비어 있지 않은 값을 설정하세요. 키가 비어 있으면 커스텀 provider가 비활성화됩니다. `LLM_SERVER_API_TYPE=azure`는 커스텀 provider를 Azure OpenAI로 전환합니다. Provider 구성 파일을 사용하면 agent type별로 모델과 매개변수를 할당할 수 있으며, 리포지토리의 `examples/configs/custom-openai.provider.yml`를 참고하여 시작하고 OpenAI가 2026년 10월 23일에 퇴역시키는 `o3-mini`를 교체하세요.

![Settings → Providers에 구성된 providers](https://pentagi.com/images/product/settings-providers.webp)

## [장애 조치](https://pentagi.com/ko/docs/configuration/llm-providers/#failover)

`LLM_FALLBACK_PROVIDER`은 두 번째 provider를 지정합니다. 이는 `.env`에 자격 증명이 저장된 내장 provider(예: `anthropic`)이거나, flow 소유자가 **Settings → Providers**에 저장한 provider일 수 있습니다. 이 provider에서 모델 호출이 실패하면 한 번 재시도되며, 전환 사항은 trace에 기록됩니다. 이후 호출은 다시 flow의 자체 provider에서 시작됩니다.

## [모델 선택](https://pentagi.com/ko/docs/configuration/llm-providers/#choosing-models)

* `primary_agent`, `pentester`, `adviser`에는 가장 강력한 모델을 사용하고, `searcher`, `enricher` 및 요약 작업에는 경량 모델을 사용하세요.
* 32B 파라미터 미만의 오픈 모델인 경우 [실행 모니터링 및 task 계획](https://pentagi.com/ko/docs/concepts/agents/#safeguards)을 활성화하세요.
* **Settings → Providers**에는 구성된 유형 위에 생성한 provider 프로필이 저장됩니다. **Create Provider**는 `.env`에 자격 증명이 있는 유형만 제공하며, 프로필 양식에서는 구성을 저장하기 전에 테스트할 수 있습니다.