コンテンツへスキップ
PentAGI
概念

コンテキスト管理

PentAGIが各agentのチェーンの古い部分を要約することで、長いflowsをモデルのコンテキストウィンドウ内に収める方法と、それを調整する設定について説明します。

長いflowsでは、あらゆるモデルが保持できる量を超える会話が発生します。PentAGIはチェーン要約を用いて各agentのチェーンを適切な範囲内に維持します。具体的には、agentのターンごとに古いセクションを圧縮しつつ、最新のセクションはサイズ制限を超えない限り完全な形で保持されます。PentAGIが組み込みのモデルカタログから、あるいはモデルリストでそれを報告するカスタムエンドポイントからモデルのコンテキストウィンドウを把握しており、それでもチェーンが収まらない場合は、モデル呼び出しの直前にもう一度圧縮が行われます。Ollamaモデルやその他ウィンドウが不明なモデルではこの手順は実行されないため、コンテキストが小さいモデルの場合は以下のサイズを小さくしてください。

Chain summarization steps after each agent turn and before each model call

Yes

No

Agent turn finished

Condense each older section into one summary

Keep the recent sections within their size limits

Summarize old question-answer pairs

Next model call: fits the context window?

Send the chain

Compact to the window size

チューニング

デフォルト設定はほとんどのモデルに適しています。Agentsと対話型assistantにはそれぞれ別の設定があり、assistantの方がより多くの最新履歴を保持します。

設定AgentsAssistant
直近のセクションを制限するSUMMARIZER_PRESERVE_LAST=trueASSISTANT_SUMMARIZER_PRESERVE_LAST=true
直近のセクションのサイズ制限SUMMARIZER_LAST_SEC_BYTES=51200ASSISTANT_SUMMARIZER_LAST_SEC_BYTES=76800
単一tool結果の最大サイズSUMMARIZER_MAX_BP_BYTES=16384ASSISTANT_SUMMARIZER_MAX_BP_BYTES=16384
保持する質問応答セクション数SUMMARIZER_MAX_QA_SECTIONS=10ASSISTANT_SUMMARIZER_MAX_QA_SECTIONS=7
それらのセクションのサイズSUMMARIZER_MAX_QA_BYTES=65536ASSISTANT_SUMMARIZER_MAX_QA_BYTES=76800
要約にまとめない最新セクション数SUMMARIZER_KEEP_QA_SECTIONS=1ASSISTANT_SUMMARIZER_KEEP_QA_SECTIONS=3

falseを使用すると、最新のセクションには独自のサイズ制限がなく、単一のツール結果の制限も適用されません。

SUMMARIZER_USE_QA は質問応答戦略を有効にします(デフォルトでオン)。また SUMMARIZER_SUM_MSG_HUMAN_IN_QA はその戦略内でユーザー自身のメッセージも要約対象に含めます(デフォルトでオフ)。これらは agent にのみ適用されます。assistant は常にこの戦略を使用し、ユーザーのメッセージを要約することはありません。

最終更新日