跳轉到主要內容
當提示詞超過模型的上下文長度時,ARouter 可以使用 context-compression 外掛程式自動壓縮它。

上下文壓縮

{"model": "anthropic/claude-sonnet-4.6", "messages": [...], "plugins": [{"id": "context-compression"}]}

運作原理

該外掛程式從對話中間刪除或截斷訊息,直到提示詞能夠放入上下文視窗。這樣可以保留開頭(系統指令)和末尾(最新訊息)。

小上下文模型的預設行為

所有上下文長度為 8,192 個 Token 或更少的模型預設啟用上下文壓縮。 要明確停用:
{"plugins": [{"id": "context-compression", "enabled": false}]}

適用場景

以下情況適合使用上下文壓縮:
  • 你有較長的多輪對話
  • 處理可能偶爾超出上下文視窗的文件
  • 你想要彈性行為而無需手動管理上下文長度
當需要完美召回時,上下文壓縮是理想選擇。

相關