context-compression 플러그인을 사용하여 자동으로 압축할 수 있습니다.
컨텍스트 압축
작동 방식
플러그인은 프롬프트가 맞을 때까지 대화의 중간에서 메시지를 제거하거나 잘라냅니다. 이렇게 하면 시작 부분(시스템 지시사항)과 끝 부분(가장 최근 메시지)이 보존됩니다.소형 컨텍스트 모델의 기본 동작
컨텍스트 길이가 8,192 Token 이하인 모든 모델은 컨텍스트 압축이 기본적으로 활성화되어 있습니다. 명시적으로 비활성화하려면:사용 시기
컨텍스트 압축이 유용한 경우:- 긴 멀티턴 대화가 있을 때
- 컨텍스트 창을 가끔 초과할 수 있는 문서를 처리할 때
- 컨텍스트 길이를 수동으로 관리하지 않고 탄력적인 동작을 원할 때