온디바이스 AI 환경에서 경량화된 AI

Question

안녕하세요!

온디바이스 AI 환경에서 경량화된 AI 모델을 구동하기 위해 활용되는 모델 양자화 및 지식 증류 기술의 원리는 무엇인가요?

Answer 1

안녕하세요. 강세훈 전문가입니다.

온디바이스 AI에서 경량화된 모델을 구동하기 위해 양자화와 지식증류가 사용되는데

양자화는 숫자 정밀도를 낮춰 모델 크기를 줄이고 지삭 증류는 큰 모델의 지식을 작은 모델에 전수하는 것입니다.

Answer 2

안녕하세요. 이수민 전문가입니다.

스마트폰 같은 기기는 메모리와 배터리가 한정돼 있어서 큰 AI 모델을 그대로 올리기 어려워요. 파라미터 70억 개짜리 모델은 16비트로 저장하면 14GB나 돼요. 그래서 모델을 가볍게 만드는 기술로 양자화와 지식 증류를 많이 써요.

양자화는 모델 안의 숫자를 더 적은 비트로 표현하는 방법이에요. 원래 32비트나 16비트 실수로 저장된 가중치를 8비트나 4비트 정수로 바꿔요. 값의 범위를 256칸이나 16칸으로 나누고, 각 값을 가장 가까운 칸에 반올림해 넣는 방식이에요. 70억 파라미터 모델을 4비트로 바꾸면 3.5GB 정도로 줄어들고, 정수 연산은 실수 연산보다 빠르고 전력도 덜 먹어요. 신경망은 작은 오차에 둔감한 편이라 정확도 손실이 크지 않은데, 4비트 이하로 내려가면 성능 저하가 커져서 학습 단계부터 양자화를 고려해 훈련하기도 해요.

지식 증류는 큰 모델(교사)이 작은 모델(학생)을 가르치는 방식이에요. 작은 모델이 정답만 배우는 게 아니라 교사 모델이 내놓은 확률 분포 전체를 따라 하도록 학습시켜요. 고양이 사진에 교사가 고양이 70%, 호랑이 20%, 개 5%라고 답했다면, 고양이가 호랑이와 닮았다는 정보까지 학생에게 전해져요. 그래서 작은 모델이 혼자 정답만으로 배울 때보다 더 좋은 성능을 내요.

실제로는 두 기술을 함께 써요. 증류로 작고 똑똑한 모델을 만든 다음, 양자화로 한 번 더 줄여서 기기에 올려요 :)

Answer 3

안녕하세요. 김재훈 전문가입니다.

온디바이스 AI 환경의 모델 양자화는 가중치와 연산 데이터의 정밀도를 32비트 부동소수점에서 8비트 정수 등으로 줄여 메모리 사용량을 낮추고 연산 속도를 대폭 향상시키는 기술입니다 반면 지식 증류는 방대한 데이터를 학습한 거대한 교사 모델의 출력 확률 분포와 표현 방식을 작고 가벼운 학생 모델이 모방하도록 학습시켜 경량화된 구조에서도 높은 성능을 유지하게 만듭니다. 두 기술은 모델의 크기와 연산 복잡도를 획기적으로 줄임으로써 NPU나 모바일 AP 같은 한정된 자원에서도 AI가 빠르고 효율적으로 동작하도록 돕습니다 최종적으로 양자화는 데이터 정밀도를 다듬어 연산 부하를 낮추고 지식 증류는 거대 모델의 핵심 지식을 압축 전수하여 경량 모델의 한계를 극복하는 원리로 작동합니다

Answer 4

안녕하세요. 최정훈 전문가입니다.

양자화는 모델의 숫자 정밀도를 낮춰서 몸집을 줄이는 기술입니다. 보통 AI는 32bit 소수점이라는 숫자를 사용하죠. 그런데 이걸 8bit 정수로 바꿔서 계산하게 만듭니다. 그러면 메모리도 훨씬 적게 들고 계산 속도도 빨라지는 효과가 있습니다. 게다가 용량이 줄어드니까 스마트폰이나 기기 내부에서 아주 가볍게 돌릴 수 있게 되는 거죠.

또한 지식 증류는 큰 스승 모델의 노하우를 작은 제자 모델에 넘겨주는 기술입니다. 용량이 큰 모델이 먼저 학습을 하고 그다음에 정답을 찾아내죠. 그리고 가볍고 작은 모델이 그 스승의 정답 패턴을 그대로 따라 배우게 만든다고 이해하면 좋겠네요. 결과적으로는 크기는 아주 작을 수 있습니다. 하지만 성능은 똑똑한 모델을 만들어 낼 수 있는 거죠. 그래서 이 두 기술을 같이 있어서 온디바이스 AI를 완성하는 것이 결론입니다.