LLM providers

PentAGI necesita al menos un provider de modelos de lenguaje. Las credenciales se configuran en el servidor en .env; luego, cada flow elige el provider sobre el que se ejecuta, y cada agent type puede usar su propia configuración de modelo.

Providers integrados

Autenticación de AWS Bedrock

Configura BEDROCK_REGION y elige un método:

BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...

Anthropic sin una clave de larga duración

En lugar de ANTHROPIC_API_KEY, puedes usar Anthropic con Workload Identity Federation mediante ANTHROPIC_FEDERATION_RULE_ID, ANTHROPIC_ORGANIZATION_ID, ANTHROPIC_SERVICE_ACCOUNT_ID y un token de identidad (ANTHROPIC_IDENTITY_TOKEN o ANTHROPIC_IDENTITY_TOKEN_FILE).

Endpoints personalizados y compatibles con OpenAI

Cualquier API compatible con OpenAI — vLLM, LiteLLM, OpenRouter, DeepInfra, Atlas Cloud, el plan Go de OpenCode o una implementación de Azure OpenAI — se conecta como provider personalizado:

LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml

LLM_SERVER_KEY es obligatorio: para un servidor sin autenticación, como vLLM por defecto, establece cualquier valor no vacío; con una clave vacía el provider personalizado está deshabilitado. LLM_SERVER_API_TYPE=azure cambia el provider personalizado a Azure OpenAI. Un archivo de configuración de provider te permite asignar un modelo y parámetros por agent type; comienza desde examples/configs/custom-openai.provider.yml en el repositorio y reemplaza su o3-mini, que OpenAI retira el 23 de octubre de 2026.

Conmutación por error

LLM_FALLBACK_PROVIDER nombra un segundo provider: uno integrado con credenciales en .env, como anthropic, o un provider que el propietario del flow guardó en Settings → Providers. Una llamada a un modelo que falla se repite una vez en él y el cambio se registra en el trace; la siguiente llamada comienza de nuevo en el provider propio del flow.

Elección de modelos

• Usa tu modelo más potente para primary_agent, pentester y adviser; los modelos más ligeros funcionan para searcher, enricher y el resumen.
• Para modelos abiertos de menos de 32B parámetros, habilita la monitorización de ejecución y planificación de task.
• Settings → Providers contiene los perfiles de provider que creas sobre los tipos configurados — Create Provider ofrece solo los tipos con credenciales en .env — y el formulario de perfil prueba una configuración antes de guardarla.