연차문의드립니다.대체연차는 근로했던 날도 차감이되나요?

저는 생산직회사에 2020년도1월1일 입사해서 1년동안 만근을했고 21년도부터 연차를 사용했는데요 . 회사에서 보여준 연차갯수가 맞지않아서 문의한 결과 지금 회사가 20년도에는300인이하 기업이라 공휴일을 연차로 대체할수있었다고 해서 대체공휴일 개수만큼 연차삭감을 했다고 하는데요.저는 20년도 공휴일에 5회 근무까지 한적있는데 그때는 특근으로 급여를 책정해주었던걸로 알고있거든요.그날 제가 출근해서 특근수당을 받아갔다고근로했던 공휴일조차 연차개수에서 뺄수있나요? 억울하지만 백번 양보해서 특근근무가 아닌 평일근무로 책정을 다시하고 특근수당만 반납하면 되는건지 아니면 제가잘못 알고있는건지 부당한 대우인거같아서 질문드립니다.