엔비디아 KVTC 기술은 어떤 기술인가요?

Question

요즘 정말 기술이 하루하루 단위로 바뀐다고 느낄 정도로 빠르게 바뀌고 있는데 엔비디아에서는 KVTC라는 신기술을 개발했다고 하더군요. 그로인해서 우리나라 기업들의 주가도 영향을 받는다는 거 같은데 엔비디아 KVTC 기술은 어떤 기술인가요?

Answer 1

엔비디아의 **KVTC(KV Cache Transform Coding)**는 AI(특히 챗GPT 같은 LLM)가 사용하는 ‘KV 캐시(대화 기억 데이터)’를 압축하는 기술입니다.

핵심은 이전 대화 내용을 저장하는 메모리를 크게 줄이는 것입니다. 이를 통해 GPU 메모리 사용량을 최대 약 20배 절감하면서도 정확도 손실은 1% 이내로 유지합니다.

결과적으로 같은 GPU로 더 긴 대화·더 많은 사용자 처리, 응답 속도 향상(최대 약 8배)이 가능해져 AI 서비스 효율을 크게 높이는 기술입니다.