LLM providers

PentAGI를 사용하려면 하나 이상의 언어 모델 provider가 필요합니다. 자격 증명은 서버의 .env에서 설정하며, 각 flow는 실행될 provider를 선택하고 모든 agent type은 자체 모델 설정을 사용할 수 있습니다.

내장 providers

AWS Bedrock 인증

BEDROCK_REGION을 설정하고 다음 중 하나의 방법을 선택하세요:

BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...

장기 키 없는 Anthropic

ANTHROPIC_API_KEY 대신 ANTHROPIC_FEDERATION_RULE_ID, ANTHROPIC_ORGANIZATION_ID, ANTHROPIC_SERVICE_ACCOUNT_ID 및 ID 토큰(ANTHROPIC_IDENTITY_TOKEN 또는 ANTHROPIC_IDENTITY_TOKEN_FILE)을 통해 Workload Identity Federation으로 Anthropic을 사용할 수 있습니다.

커스텀 및 OpenAI 호환 엔드포인트

vLLM, LiteLLM, OpenRouter, DeepInfra, Atlas Cloud, OpenCode Go 플랜 또는 Azure OpenAI 배포 등 모든 OpenAI 호환 API는 커스텀 provider로 연결됩니다:

LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml

LLM_SERVER_KEY는 필수입니다: vLLM과 같이 기본적으로 인증이 없는 서버의 경우, 비어 있지 않은 값을 설정하세요. 키가 비어 있으면 커스텀 provider가 비활성화됩니다. LLM_SERVER_API_TYPE=azure는 커스텀 provider를 Azure OpenAI로 전환합니다. Provider 구성 파일을 사용하면 agent type별로 모델과 매개변수를 할당할 수 있으며, 리포지토리의 examples/configs/custom-openai.provider.yml를 참고하여 시작하고 OpenAI가 2026년 10월 23일에 퇴역시키는 o3-mini를 교체하세요.

장애 조치

LLM_FALLBACK_PROVIDER은 두 번째 provider를 지정합니다. 이는 .env에 자격 증명이 저장된 내장 provider(예: anthropic)이거나, flow 소유자가 Settings → Providers에 저장한 provider일 수 있습니다. 이 provider에서 모델 호출이 실패하면 한 번 재시도되며, 전환 사항은 trace에 기록됩니다. 이후 호출은 다시 flow의 자체 provider에서 시작됩니다.

모델 선택

• primary_agent, pentester, adviser에는 가장 강력한 모델을 사용하고, searcher, enricher 및 요약 작업에는 경량 모델을 사용하세요.
• 32B 파라미터 미만의 오픈 모델인 경우 실행 모니터링 및 task 계획을 활성화하세요.
• Settings → Providers에는 구성된 유형 위에 생성한 provider 프로필이 저장됩니다. Create Provider는 .env에 자격 증명이 있는 유형만 제공하며, 프로필 양식에서는 구성을 저장하기 전에 테스트할 수 있습니다.