근로계약서에서와 다른 시간 단축(5인미만 사업장)

6월 말부터 일을 하고 있으며 저는 16-22시까지 일을 하고 있습니다.점장님께선 처음 오픈 한 날부터 지금까지 일을 하면서 오픈빨로 사람들 수가 점점 줄어드는것을 알게 되었습니다. 그래서 점장님께서 인건비가 많이 든다고 한두명씩 시간을 줄이겠다고 하며 제 시간도 건드리시는데, 근로계약서상에서는 16-22시라고 했는데 왜 건드냐 하시니 점주 마음이죠. 라고 하시길래 점주 말처럼 정말 근로계약서와 상관없이 시간을 마음대로 축소 시켜도 되는건가요!