상대측에서 상가월세계약을 먼저 포기했습니다. 계약금 돌려줘야하나요?

안녕하세요! 조금전에 너무 당황스러운 전화를 받아 질문드리게 되었습니다.

건물에 가처분이 걸려있는 상황이었고 그 건물에서 가게를 운영하며 양수양도를 진행할때 가처분이란걸 인지하게되었습니다. 그 와중에 가게를 넘겨받겠다는 양수자가 나타났고 가처분 상황까지 고지를 하였습니다. 그 당시 부동산에서 두달정도 지나면 끝난다라는 답변을 받았고 저희도 그렇게 믿고 있었구요. 그럼에도 불구하고 양측 동의하에 계약금 500만원을 받고 상가월세계약을 진행하게 되었습니다. 상대측에서 보증금 나머지 금액은 가처분이 끝나면 준다기에 복잡한 상황이 싫어 가처분이 끝나면 나머지 계약을 진행하기로 하였습니다. 왜냐면 사업권을 넘겨주면 보증금 일부금액을 못받고 저는 모든것을 주는것과 다름없기에 나머지 돈을받기위해 끌려다닐것 같아서요.. 이 부분도 양측 모두 동의하였습니다. 그렇게 양측은 건물의 가처분이 끝나기만을 기다렸습니다. 생각지 못하게 가처분이 계약시점으로부터 1년동안 진행되어 가게를 넘기지 못하고 있다가 상대측에서 먼저 계약을 포기하겠다고 말하였습니다. 중간중간에 상황은 구두로 고지하였습니다. 가처분이 길어길것 같다..상대측도 알았다..라고 했구요

그 후로 몇달뒤 오늘 계약금 돌려달라는 연락이 왔습니다. 아니면 절반이라도 돌려달라고 말입니다. 그렇지 않으면 내용증명보낸다는등 법적으로 하자고 말합니다. 계약금일부를 돌려줘야 하는건가요? ㅠㅠ