종합소득세 신고 안하면 어떤 불이익이 있나요?

종합소득세 신고를 하지 않으면 어떤 불이익이 발생할 수 있나요? 단순히 세금만 내면 끝나는 것인지, 가산세도 있는지 궁금합니다.