1차 계약금 돌려받을 수 있을까요??

지금 현재 1차 계약금 천만원만 지급한 상황이긴하나 집주인 분의 강요하는 행동(갑질)신뢰가 가지 않는 말 그리고 항상 저희 앞에서 집주인 분이 부동산 직원한테 저희가 가면 또 따로 얘기하자고 까지 하시더라고요 그래서 현재 믿음이 깨진 상태인데 계약을 할때 단순변심에 의한 계약해지는 계약금을 못돌려받는다고 하더라고요… 그쪽에선 만약 그 건물에 집이 다 나갔는데 저희 집이 여전히 나가지 않는 상황이면 그땐 돌려주겠다고 했습니다