토큰 사용을 줄이려면 컨텍스트를 무조건 많이 넣기보다는 필요한 정보만 구조적으로 넣는 방식이 중요합니다. 보통은 전체 데이터를 그대로 넣기보다 요약해서 전달하거나, 필요한 부분만 선택해서 넣는 방식(RAG 방식)을 많이 사용합니다. 또한 시스템 프롬프트와 고정 규칙은 한 번만 정의하고 반복해서 보내지 않도록 구조를 잡는 것도 도움이 됩니다.
대화가 길어질 경우 이전 내용을 계속 다 넣기보다는 중간 요약을 만들어 컨텍스트를 압축하는 방법도 많이 사용합니다. 그리고 불필요하게 긴 설명 대신 짧고 명확한 프롬프트를 사용하는 것이 토큰 절약에 효과적입니다. 이런 방식으로 컨텍스트를 관리하면 토큰 낭비를 줄이면서도 성능을 유지할 수 있습니다.