context-compression 外掛程式自動壓縮它。
上下文壓縮
運作原理
該外掛程式從對話中間刪除或截斷訊息,直到提示詞能夠放入上下文視窗。這樣可以保留開頭(系統指令)和末尾(最新訊息)。小上下文模型的預設行為
所有上下文長度為 8,192 個 Token 或更少的模型預設啟用上下文壓縮。 要明確停用:適用場景
以下情況適合使用上下文壓縮:- 你有較長的多輪對話
- 處理可能偶爾超出上下文視窗的文件
- 你想要彈性行為而無需手動管理上下文長度
使用 context-compression 外掛程式自動壓縮超出模型上下文視窗的提示詞。
context-compression 外掛程式自動壓縮它。