LLM-providers

PentAGI heeft minimaal één provider nodig. Inloggegevens worden op de server ingesteld in .env; elke flow kiest vervolgens de provider waarop hij draait, en elk agent type kan zijn eigen modelinstellingen gebruiken.

Ingebouwde providers

AWS Bedrock-authenticatie

Stel BEDROCK_REGION in en kies één methode:

BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...

Anthropic zonder langlevende sleutel

In plaats van ANTHROPIC_API_KEY kan Anthropic worden gebruikt met Workload Identity Federation via ANTHROPIC_FEDERATION_RULE_ID, ANTHROPIC_ORGANIZATION_ID, ANTHROPIC_SERVICE_ACCOUNT_ID en een identiteitstoken (ANTHROPIC_IDENTITY_TOKEN of ANTHROPIC_IDENTITY_TOKEN_FILE).

Aangepaste en OpenAI-compatibele endpoints

Elke OpenAI-compatibele API — vLLM, LiteLLM, OpenRouter, DeepInfra, Atlas Cloud, het OpenCode Go-abonnement of een Azure OpenAI-implementatie — wordt gekoppeld als de aangepaste provider:

LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml

LLM_SERVER_KEY is vereist: voor een server zonder authenticatie, zoals vLLM standaard, stel je een niet-lege waarde in — met een lege sleutel is de aangepaste provider uitgeschakeld. LLM_SERVER_API_TYPE=azure schakelt de aangepaste provider over naar Azure OpenAI. Met een providerconfiguratiebestand kun je per agent type een model en parameters toewijzen; begin met examples/configs/custom-openai.provider.yml in de repository en vervang de o3-mini ervan, die OpenAI op 23 oktober 2026 stopzet.

Failover

LLM_FALLBACK_PROVIDER noemt een tweede provider: een ingebouwde met inloggegevens in .env, zoals anthropic, of een provider die de eigenaar van de flow heeft opgeslagen in Settings → Providers. Een modelaanroep die mislukt, wordt er één keer opnieuw geprobeerd en de wissel wordt vastgelegd in de trace; de volgende aanroep begint weer met de eigen provider van de flow.

Modellen kiezen

• Gebruik je sterkste model voor primary_agent, pentester en adviser; lichtere modellen volstaan voor searcher, enricher en samenvattingen.
• Schakel voor open modellen met minder dan 32B parameters uitvoeringsmonitoring en task planning in.
• Settings → Providers bevat de providerprofielen die je aanmaakt bovenop de geconfigureerde types — Create Provider biedt alleen de types met referenties in .env — en het profielformulier test een configuratie voordat je deze opslaat.