Перейти к содержимому
PentAGI
Концепции

Управление контекстом

Как PentAGI удерживает длинные flows в пределах контекстного окна модели, суммируя более старые части цепочки каждого agent, и настройки, которые этим управляют.

Длительные flows порождают больше сообщений, чем может вместить любая модель. PentAGI удерживает цепочку каждого agent в допустимых пределах с помощью суммаризации цепочки: после каждого хода agent более старые разделы сжимаются, а самые последние сохраняются полностью, если они не превышают ограничения по размеру. Если PentAGI знает окно контекста модели — из своих встроенных каталогов моделей или от пользовательской конечной точки, чей список моделей сообщает об этом, — и цепочка всё равно не помещается, она дополнительно уплотняется непосредственно перед вызовом модели. Модели Ollama и другие с неизвестным окном не проходят этот этап, поэтому уменьшите размеры ниже для модели с небольшим контекстом.

Chain summarization steps after each agent turn and before each model call

Yes

No

Agent turn finished

Condense each older section into one summary

Keep the recent sections within their size limits

Summarize old question-answer pairs

Next model call: fits the context window?

Send the chain

Compact to the window size

Настройка

Значения по умолчанию подходят для большинства моделей. Для agents и интерактивного assistant предусмотрены отдельные настройки; assistant сохраняет более обширную недавнюю историю.

ПараметрAgentsAssistant
Ограничивать размер недавних разделовSUMMARIZER_PRESERVE_LAST=trueASSISTANT_SUMMARIZER_PRESERVE_LAST=true
Ограничение размера недавнего разделаSUMMARIZER_LAST_SEC_BYTES=51200ASSISTANT_SUMMARIZER_LAST_SEC_BYTES=76800
Максимальный размер одного результата toolSUMMARIZER_MAX_BP_BYTES=16384ASSISTANT_SUMMARIZER_MAX_BP_BYTES=16384
Количество сохраняемых разделов «вопрос-ответ»SUMMARIZER_MAX_QA_SECTIONS=10ASSISTANT_SUMMARIZER_MAX_QA_SECTIONS=7
Размер этих разделовSUMMARIZER_MAX_QA_BYTES=65536ASSISTANT_SUMMARIZER_MAX_QA_BYTES=76800
Недавние разделы, не объединённыеSUMMARIZER_KEEP_QA_SECTIONS=1ASSISTANT_SUMMARIZER_KEEP_QA_SECTIONS=3

При false у недавних разделов нет собственного ограничения по размеру, и единое ограничение на количество результатов tool также не применяется.

SUMMARIZER_USE_QA включает стратегию «вопрос-ответ» (включена по умолчанию), а SUMMARIZER_SUM_MSG_HUMAN_IN_QA дополнительно суммаризирует ваши собственные сообщения в её рамках (отключено по умолчанию). Оба параметра применяются только к agent: assistant всегда использует эту стратегию и никогда не суммаризирует ваши сообщения.

Последнее обновление: