LLM providers — PentAGI

Подключите PentAGI к встроенным providers, таким как OpenAI, Anthropic, Gemini, Bedrock и Ollama, или к любой совместимой с OpenAI конечной точке с переключением при отказе.

PentAGI требует подключения хотя бы одного provider языковых моделей. Учётные данные задаются на сервере в .env; затем каждый flow выбирает provider, на котором он выполняется, а каждый agent type может использовать собственные настройки модели.

Встроенные providers

Provider	Переменная с ключом	Переопределение эндпоинта
OpenAI	`OPEN_AI_KEY`	`OPEN_AI_SERVER_URL`
Anthropic	`ANTHROPIC_API_KEY`	`ANTHROPIC_SERVER_URL`
Google AI (Gemini)	`GEMINI_API_KEY`	`GEMINI_SERVER_URL`
AWS Bedrock	`BEDROCK_REGION` + один способ аутентификации	`BEDROCK_SERVER_URL`
Ollama	`OLLAMA_SERVER_URL` (`OLLAMA_SERVER_API_KEY` для Ollama Cloud)	—
DeepSeek	`DEEPSEEK_API_KEY`	`DEEPSEEK_SERVER_URL`
GLM (Zhipu AI)	`GLM_API_KEY`	`GLM_SERVER_URL`
Kimi (Moonshot AI)	`KIMI_API_KEY`	`KIMI_SERVER_URL`
Qwen (Alibaba Cloud)	`QWEN_API_KEY`	`QWEN_SERVER_URL`
MiniMax	`MINIMAX_API_KEY`	`MINIMAX_SERVER_URL`
Mistral	`MISTRAL_API_KEY`	`MISTRAL_SERVER_URL`
xAI (Grok)	`XAI_API_KEY`	`XAI_SERVER_URL`

Аутентификация в AWS Bedrock

Задайте BEDROCK_REGION и выберите один из способов:

BEDROCK_DEFAULT_AUTH=true          # AWS SDK default credential chain (EC2/ECS roles)
# BEDROCK_BEARER_TOKEN=...         # bearer token
# BEDROCK_ACCESS_KEY_ID=...        # static credentials
# BEDROCK_SECRET_ACCESS_KEY=...

Использование Anthropic без долгоживущего ключа

Вместо ANTHROPIC_API_KEY можно использовать Anthropic с федерацией идентификации рабочих нагрузок через ANTHROPIC_FEDERATION_RULE_ID, ANTHROPIC_ORGANIZATION_ID, ANTHROPIC_SERVICE_ACCOUNT_ID и токен идентификации (ANTHROPIC_IDENTITY_TOKEN или ANTHROPIC_IDENTITY_TOKEN_FILE).

Пользовательские и совместимые с OpenAI эндпоинты

Любой API, совместимый с OpenAI — vLLM, LiteLLM, OpenRouter, DeepInfra, Atlas Cloud, тариф OpenCode Go или развёртывание Azure OpenAI — подключается как пользовательский provider:

LLM_SERVER_URL=https://your-endpoint/v1
LLM_SERVER_KEY=your_key
LLM_SERVER_MODEL=model-name
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/custom.provider.yml

Параметр LLM_SERVER_KEY обязателен: для сервера без аутентификации, например vLLM по умолчанию, задайте любое непустое значение — при пустом ключе пользовательский provider отключён. Параметр LLM_SERVER_API_TYPE=azure переключает пользовательского provider на Azure OpenAI. Файл конфигурации provider позволяет назначить модель и параметры для каждого agent type; начните с файла examples/configs/custom-openai.provider.yml в репозитории и замените его o3-mini, который OpenAI выводит из эксплуатации 23 октября 2026 года.

Настроенные providers в Settings → Providers

Отказоустойчивость

LLM_FALLBACK_PROVIDER указывает на второй provider: встроенный с учётными данными в .env, например anthropic, или provider, который владелец flow сохранил в Settings → Providers. Если вызов модели завершается ошибкой, он один раз повторяется на этом provider, а переключение фиксируется в trace; следующий вызов снова начинается на собственном provider flow.

Выбор моделей

Используйте самую мощную модель для primary_agent, pentester и adviser; более лёгкие модели подходят для searcher, enricher и суммаризации.
Для открытых моделей с числом параметров менее 32B включите мониторинг выполнения и планирование task.
В разделе Settings → Providers хранятся профили provider, которые вы создаёте поверх настроенных типов — кнопка Create Provider предлагает только те типы, для которых в .env указаны учётные данные, — а форма профиля позволяет протестировать конфигурацию перед её сохранением.