안녕하세요. 이수민 전문가입니다.
온디바이스 AI가 먼저 부딪히는 벽은 메모리예요. 70억 파라미터 모델도 16비트로 두면 14GB인데, 스마트폰 램 12~16GB는 운영체제와 앱이 나눠 써요. 4비트 양자화로 4GB 안팎까지 줄일 수 있지만, 비트를 깎을수록 추론이나 긴 문맥 처리에서 정확도가 떨어져요. 생성 속도도 연산 성능보다 메모리 대역폭에 묶이고, 오래 돌리면 발열로 칩이 성능을 낮추고 배터리도 빨리 닳아요.
모델 갱신도 까다로워요. 클라우드는 서버만 바꾸면 되지만, 수억 대 기기에 수 GB 모델을 배포하고 제조사마다 다른 NPU에 맞춰 최적화해야 해요. 그래서 지금은 요약이나 번역은 기기에서, 복잡한 추론은 클라우드에서 처리하는 하이브리드 방식이 주류예요.
극복 과제로는 정확도 손실을 줄이는 양자화 인식 학습, 큰 모델의 지식을 작은 모델로 옮기는 지식 증류, 필요한 전문가만 켜는 MoE 같은 효율화가 꼽혀요. 하드웨어 쪽에선 메모리 대역폭 확대와 NPU 공통 소프트웨어 표준이 필요하고요. LoRA처럼 작은 어댑터만 바꿔 끼우는 방식은 개인화와 업데이트 부담을 함께 덜어줘서, 클라우드 의존도를 조금씩 낮춰줄 거예요 :)