돌하루방은 표준어로 해석하면 '돌할아버지'가 됩니다. 그러나 이 명칭은 근대와 나왔고 그전에는 '우석목'이라 불렀다고 합니다. 조선시대에는 '옹중석'이란 단어로도 불렸다고 합니다.
돌하루방의 기원은 북방 기원설로 몽골로 부터 전파, 남방 기원설은 남태평양에 있는 발리섬의 석상 문화가 전파되었다고 합니다. 또한 한반도 본토 유래설은 조선 중후기 한반도 남부 지방의 석장승(벅스) 문화가 제주도를 통해 건너가면서 변형된 것이라는 주장도 있습니다. 마지막은 자체 생성설이 있습니다.