캐시 메모리는 왜 전체 시스템 성능에 큰 영향을 주나요?

Question

CPU 가까이에 있는 작은 메모리 하나가 속도를 크게 좌우한다고 하잖아요. 데이터 접근 패턴이나 구조 때문에 왜 이런 차이가 생기는지 이해해보고 싶어요.

Answer 1

캐시 메모리(Cache Memory)가 컴퓨터의 전체 성능을 좌우하는 가장 큰 이유는 한 마디로 "CPU와 메이메모리(RAM) 사이의 엄청난 속도 차이(병목 현상)를 메워주기 때문"입니다.

<직관적인 비유: 주방장과 창고>

CPU = 엄청나게 손이 빠른 천재 주방장 (연산 속도가 극도로 빠름)

RAM(메인 메모리) = 식재료가 가득하지만 식당 밖에 있는 멀리 있는 창고 (용량은 크지만 가져오는 데 시간이 걸림)

주방장이 요리 하나를 만들 때마다 밖에 있는 창고까지 걸어가서 재료를 하나씩 가져온다면, 아무리 요리 실력(CPU 클럭 속도)이 빨라도 요리가 나오는 속도는 느려질 수밖에 없습니다.

여기서 캐시 메모리는 주방장 바로 옆에 두는 '작은 조리대(냉장고)' 역할을 합니다. 자주 쓰는 재료를 손만 뻗으면 닿을 거리에 미리 가져다 놓음으로써, 주방장이 쉬지 않고 계속 요리를 할 수 있게 만드는 것입니다.