跳至主要內容
PentAGI
概念

上下文管理

PentAGI 如何透過摘要每個 agent 鏈中較早的部分,將長 flows 保持在模型的上下文視窗內,以及用於調整此功能的設定。

長時間的 flows 所產生的對話量,往往超出任何模型所能容納的上限。PentAGI 透過鏈結摘要機制,將每個 agent 的鏈結維持在合理範圍內:每當 agent 完成一輪操作後,系統會壓縮較舊的區段,而最近的區段則保持完整內容,除非其大小超過限制。若 PentAGI 從其內建的模型目錄,或從回報模型清單的自訂端點得知模型的上下文視窗,且鏈結仍無法容納,系統會在呼叫模型前再次進行壓縮。Ollama 模型及其他上下文視窗未知的模型不會執行此步驟,因此對於上下文視窗較小的模型,請降低下方的大小設定。

Chain summarization steps after each agent turn and before each model call

Yes

No

Agent turn finished

Condense each older section into one summary

Keep the recent sections within their size limits

Summarize old question-answer pairs

Next model call: fits the context window?

Send the chain

Compact to the window size

調整

預設值適用於大多數模型。Agents 與互動式 assistant 擁有獨立的設定;assistant 會保留更多近期歷史記錄。

設定AgentsAssistant
限制近期區段SUMMARIZER_PRESERVE_LAST=trueASSISTANT_SUMMARIZER_PRESERVE_LAST=true
近期區段大小限制SUMMARIZER_LAST_SEC_BYTES=51200ASSISTANT_SUMMARIZER_LAST_SEC_BYTES=76800
單一 tool 結果最大大小SUMMARIZER_MAX_BP_BYTES=16384ASSISTANT_SUMMARIZER_MAX_BP_BYTES=16384
保留的問答區段數量SUMMARIZER_MAX_QA_SECTIONS=10ASSISTANT_SUMMARIZER_MAX_QA_SECTIONS=7
這些區段的大小SUMMARIZER_MAX_QA_BYTES=65536ASSISTANT_SUMMARIZER_MAX_QA_BYTES=76800
近期區段未合併SUMMARIZER_KEEP_QA_SECTIONS=1ASSISTANT_SUMMARIZER_KEEP_QA_SECTIONS=3

使用 false 時,近期區段本身沒有大小限制,且單一工具結果限制也不適用。

SUMMARIZER_USE_QA 用於啟用問答策略(預設開啟),而 SUMMARIZER_SUM_MSG_HUMAN_IN_QA 則會同時對該策略中您自己的訊息進行摘要(預設關閉)。兩者僅適用於 agent:assistant 一律使用該策略,且從不摘要您的訊息。

最後更新於