Vai al contenuto
PentAGI
Concetti

Gestione del contesto

Come PentAGI mantiene i flow lunghi all'interno della finestra di contesto del modello riassumendo le parti più vecchie della catena di ogni agent e le impostazioni che la regolano.

I flow lunghi generano più conversazione di quanta qualsiasi modello possa contenere. PentAGI mantiene la catena di ogni agent entro limiti definiti tramite la sintetizzazione della catena: dopo ogni turno dell'agent, le sezioni più vecchie vengono condensate, mentre quelle più recenti restano integre, a meno che non superino i propri limiti di dimensione. Se PentAGI conosce la finestra di contesto del modello — dai suoi cataloghi di modelli integrati o da un endpoint personalizzato la cui lista dei modelli la riporta — e la catena continua a non rientrare, viene compattata ulteriormente subito prima della chiamata al modello. I modelli Ollama e altri con una finestra sconosciuta non ricevono questo passaggio, quindi riduci le dimensioni qui sotto per un modello con un contesto piccolo.

Chain summarization steps after each agent turn and before each model call

Yes

No

Agent turn finished

Condense each older section into one summary

Keep the recent sections within their size limits

Summarize old question-answer pairs

Next model call: fits the context window?

Send the chain

Compact to the window size

Ottimizzazione

Le impostazioni predefinite sono adatte alla maggior parte dei modelli. Gli agents e l'assistant interattivo hanno configurazioni separate; l'assistant conserva una cronologia recente più ampia.

ImpostazioneAgentsAssistant
Limita le sezioni recentiSUMMARIZER_PRESERVE_LAST=trueASSISTANT_SUMMARIZER_PRESERVE_LAST=true
Limite di dimensione della sezione recenteSUMMARIZER_LAST_SEC_BYTES=51200ASSISTANT_SUMMARIZER_LAST_SEC_BYTES=76800
Risultato singolo più grande per toolSUMMARIZER_MAX_BP_BYTES=16384ASSISTANT_SUMMARIZER_MAX_BP_BYTES=16384
Sezioni domanda-risposta conservateSUMMARIZER_MAX_QA_SECTIONS=10ASSISTANT_SUMMARIZER_MAX_QA_SECTIONS=7
Dimensione di tali sezioniSUMMARIZER_MAX_QA_BYTES=65536ASSISTANT_SUMMARIZER_MAX_QA_BYTES=76800
Sezioni recenti non condensateSUMMARIZER_KEEP_QA_SECTIONS=1ASSISTANT_SUMMARIZER_KEEP_QA_SECTIONS=3

Con false, le sezioni recenti non hanno un limite di dimensione proprio e non si applica nemmeno il singolo limite per i risultati degli strumenti.

SUMMARIZER_USE_QA abilita la strategia domanda-risposta (attiva per impostazione predefinita) e SUMMARIZER_SUM_MSG_HUMAN_IN_QA sintetizza anche i tuoi messaggi al suo interno (disattivata per impostazione predefinita). Entrambe si applicano solo agli agent: l'Assistant usa sempre la strategia e non sintetizza mai i tuoi messaggi.

Ultimo aggiornamento il