Naar inhoud springen
PentAGI
Concepten

Contextbeheer

Hoe PentAGI lange flows binnen het contextvenster van het model houdt door oudere delen van de keten van elke agent samen te vatten, en de instellingen die dit afstemmen.

Lange flows leveren meer gespreksinhoud op dan welk model dan ook kan bevatten. PentAGI houdt de keten van elke agent binnen de perken met ketensamenvatting: na elke beurt van een agent worden oudere delen samengevat, terwijl de meest recente volledig blijven tenzij ze hun groottelimiet overschrijden. Als PentAGI het contextvenster van het model kent — vanuit de ingebouwde modelcatalogi, of vanuit een aangepast eindpunt waarvan de modellijst dit rapporteert — en de keten past er nog steeds niet in, dan wordt deze vlak voor de aanroep van het model nogmaals gecomprimeerd. Ollama-modellen en andere modellen met een onbekend venster krijgen deze stap niet, dus verlaag de onderstaande groottes voor een model met een klein contextvenster.

Chain summarization steps after each agent turn and before each model call

Yes

No

Agent turn finished

Condense each older section into one summary

Keep the recent sections within their size limits

Summarize old question-answer pairs

Next model call: fits the context window?

Send the chain

Compact to the window size

Afstemming

De standaardinstellingen zijn geschikt voor de meeste modellen. Agents en de interactieve assistant hebben aparte instellingen; de assistant bewaart meer recente geschiedenis.

InstellingAgentsAssistant
Beperk de recente sectiesSUMMARIZER_PRESERVE_LAST=trueASSISTANT_SUMMARIZER_PRESERVE_LAST=true
Groottebeperking van een recente sectieSUMMARIZER_LAST_SEC_BYTES=51200ASSISTANT_SUMMARIZER_LAST_SEC_BYTES=76800
Grootste enkele toolresultaatSUMMARIZER_MAX_BP_BYTES=16384ASSISTANT_SUMMARIZER_MAX_BP_BYTES=16384
Bewaarde vraag-antwoordsectiesSUMMARIZER_MAX_QA_SECTIONS=10ASSISTANT_SUMMARIZER_MAX_QA_SECTIONS=7
Grootte van die sectiesSUMMARIZER_MAX_QA_BYTES=65536ASSISTANT_SUMMARIZER_MAX_QA_BYTES=76800
Recente secties niet samengevoegdSUMMARIZER_KEEP_QA_SECTIONS=1ASSISTANT_SUMMARIZER_KEEP_QA_SECTIONS=3

Met false hebben de recente secties geen eigen groottebeperking, en de enkele tool-resultaatlimiet is ook niet van toepassing.

SUMMARIZER_USE_QA schakelt de vraag-antwoordstrategie in (standaard aan) en SUMMARIZER_SUM_MSG_HUMAN_IN_QA vat ook je eigen berichten daarin samen (standaard uit). Beide gelden alleen voor agents: de assistant gebruikt de strategie altijd en vat je berichten nooit samen.

Laatst bijgewerkt op