간이과세자가 수기 세금계산서 발행했을 경우

상가 1층 건물을 부동산을 통해 얻어서 수기 세금 계산서를 발급 받으면서 몇년간 운영했는데 나중에 세무사에서 건물주가 간이 과세자라 세금계산서는 발급 할수 없으므로 그동안 공제 받은 부가세와 관련 신고를 모두 수정하게 된 상황인데요.

그 간의 부가세를 포함한 월세에서 몇년간 같이 입금한 부가세를 돌려받는 다 치고 가산세며 별도의 벌금(?)도 상당히 나온다고 하는데 이런 경우 과실은 어떻게 되는 걸까요?
건물주가 간이과세자는 세금계산서 발행을 해줄수 없다는걸 몰랐다고 치고 부동산도 이런 부분을 체크하고 부가세 발급이 가능한지 먼저 체크해 줬어야 하는거 아닌가요?