적합한 로컬 AI 모델 찾는것을 도와주세요

Question

노트북 32gb 램의 한도 내에서 가장 효과적으로 쓰기 좋은 모델이 뭔지, 어떤 모델들이 있는지 알려주세요!

가지고있는 노트북의 사양은 m5, 32gb, 1tb에 프로모델 입니다.

Answer 1

Qwen3.5 9B, Gemma 4 E4B 추천합니다.
Q4 양자화해서 쓰면 토큰 생성 속도 괜찮고 한글 지원도 잘됩니다.

Qwen3.5 9B의 경우 벤치마크 찾아보면 gpt-oss 120b보다 나은 모습 보여주고
Claude Hakiku 4.5에 근접하는 경우도 있습니다.

컨텍스트도 비교적 넉넉하게 사용할 수 있을거고 Web RAG 구성 해주면 충분히 쓸만할겁니다.

Answer 2

32GB라면 Qwen2.5-14B나 Llama 3.3 8B / 70B Q4 정도가 가장 효율적으로 잘 돌아가요. 특히 Qwen 시리즈가 최근 성능이 정말 좋고, 코딩이나 일반 작업 모두 균형 잡혀 있어서 강추합니다.

Mac에서는 Ollama에 MLX 백엔드 쓰는 걸 제일 추천해요. 설치도 쉽고 속도도 빠르게 나와요. 아니면 LM Studio나 MLX 직접 쓰는 방법도 좋아요.