회사 점심시간 외출 통제가 가능한가요?

사내 취업 규칙에 "휴게시간은 회사의 질서와 규율을 문란치 않는 내에서 자유로이 이용할 수 있으나 회사 내에서 휴식하는 것을 원칙으로 한다."라고 되어 있습니다.

이를 기반으로 상사가 점심시간 내 외출 시 미리 보고하는 체계를 만들었습니다. 회사 내 식당에서 점심을 제공하고 있지만, 메뉴가 맘에 들지 않아 외부에서 식사를 하겠다고 보고하였습니다. 하지만 그 이유는 타당하지 않다며 거절되었고, 사내에 머물게 되었습니다.

휴게시간에 무제한의 자유가 인정되는 것은 아니라고 하지만, 이 경우 미리 보고를 하였는데도 '타당하지 않은 이유'라고 거절되는 것까지도 위법이 아닌건가요?