Skip to main content
當提示詞超過模型的上下文長度時,ARouter 可以使用 context-compression 外掛程式自動壓縮它。

上下文壓縮

運作原理

該外掛程式從對話中間刪除或截斷訊息,直到提示詞能夠放入上下文視窗。這樣可以保留開頭(系統指令)和末尾(最新訊息)。

小上下文模型的預設行為

所有上下文長度為 8,192 個 Token 或更少的模型預設啟用上下文壓縮。 要明確停用:

適用場景

以下情況適合使用上下文壓縮:
  • 你有較長的多輪對話
  • 處理可能偶爾超出上下文視窗的文件
  • 你想要彈性行為而無需手動管理上下文長度
當需要完美召回時,上下文壓縮是理想選擇。

相關