자꾸 관심없는 주제로 말거는 직장동료 어떻게해야할까요??

안녕하세요. 제 직장동료중에 자꾸 제가 관심없는 분야로 대화를 거는 사람이 있는데요. 제가 성격상 거절을 잘 못하다보니 답답해 죽겠네요. 사실대로 듣기싫다 말해야할까요? 아니면 다른 방법이?