LLM providers

PentAGI en az bir dil modeli provider'ına ihtiyaç duyar. Kimlik bilgileri sunucuda .env içinde ayarlanır; ardından her flow çalışacağı provider'ı seçer ve her agent type kendi model ayarlarını kullanabilir.

Yerleşik providers

AWS Bedrock kimlik doğrulaması

BEDROCK_REGION değerini ayarlayın ve bir yöntem seçin:

BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...

Uzun ömürlü anahtar olmadan Anthropic

ANTHROPIC_API_KEY yerine Anthropic, Workload Identity Federation aracılığıyla ANTHROPIC_FEDERATION_RULE_ID, ANTHROPIC_ORGANIZATION_ID, ANTHROPIC_SERVICE_ACCOUNT_ID ve bir kimlik belirteci (ANTHROPIC_IDENTITY_TOKEN veya ANTHROPIC_IDENTITY_TOKEN_FILE) kullanılarak da kullanılabilir.

Özel ve OpenAI uyumlu uç noktalar

OpenAI uyumlu herhangi bir API — vLLM, LiteLLM, OpenRouter, DeepInfra, Atlas Cloud, OpenCode Go planı veya bir Azure OpenAI dağıtımı — özel provider olarak bağlanır:

LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml

LLM_SERVER_KEY gereklidir: varsayılan olarak vLLM gibi kimlik doğrulaması olmayan bir sunucu için herhangi bir boş olmayan değer ayarlayın; anahtar boş bırakıldığında özel provider devre dışı kalır. LLM_SERVER_API_TYPE=azure, özel provider'ı Azure OpenAI'e geçirir. Bir provider yapılandırma dosyası, her agent type için bir model ve parametreler atamanıza olanak tanır; depodaki examples/configs/custom-openai.provider.yml dosyasından başlayın ve OpenAI'in 23 Ekim 2026 tarihinde emekliye ayıracağı o3-mini kısmını değiştirin.

Failover

LLM_FALLBACK_PROVIDER ikinci bir provider belirtir: .env içinde kimlik bilgileri bulunan yerleşik bir provider, örneğin anthropic veya flow sahibinin Settings → Providers bölümünde kaydettiği bir provider. Başarısız olan bir model çağrısı bu provider üzerinde bir kez tekrarlanır ve geçiş izlemeye kaydedilir; sonraki çağrı yeniden flow'un kendi provider'ı üzerinden başlar.

Model seçimi

• primary_agent, pentester ve adviser için en güçlü modelinizi kullanın; daha hafif modeller searcher, enricher ve özetleme işlemleri için uygundur.
• 32B parametrenin altındaki açık modeller için yürütme izleme ve task planlama özelliğini etkinleştirin.
• Settings → Providers, yapılandırılmış türlerin üzerine oluşturduğunuz provider profillerini barındırır — Create Provider yalnızca .env içinde kimlik bilgileri bulunan türleri sunar — ve profil formu, kaydetmeden önce bir yapılandırmayı test eder.