Skip to main content
プロンプトがモデルのコンテキスト長を超えると、ARouter は context-compression プラグインを使用して自動的に圧縮できます。

コンテキスト圧縮

仕組み

プラグインは会話の中間からメッセージを削除または切り捨て、プロンプトがコンテキストウィンドウに収まるまで繰り返します。これにより、先頭(システム指示)と末尾(最新メッセージ)が保持されます。

小さなコンテキストモデルのデフォルト動作

コンテキスト長が 8,192 Token 以下のすべてのモデルは、コンテキスト圧縮がデフォルトで有効になっています。 明示的に無効にするには:

使用する場面

コンテキスト圧縮が役立つ場面:
  • 長いマルチターンの会話がある場合
  • コンテキストウィンドウを超えることがあるドキュメントを処理する場合
  • コンテキスト長を手動で管理せずに堅牢な動作が必要な場合
完全な再現性が必要な場合、コンテキスト圧縮は適していません

関連