회사 내에서 남자휴게실을 일상적으로 사용하는 여직원들에게 어떻게 말하면 좋을까요?

저희 회사 건물에는 남자와 여자 각각의 휴게실이 있습니다(모든 회사가 그런지는 모르겠습니다.) 저희 사무실은 1층부터 3층까지 있고 남자휴게실이 2층, 여자휴게실은 3층입니다. 그런데 2층에도 여자 직원들이 근무하고(남자 직원도 있습니다)있다보니 2층 휴게실까지 여직원분들이 사용하는 경우가 빈번해요. 그럼 2층 휴게실도 여성, 3층 휴게실도 여성 직원분들이 사용하니 남자 직원들이 갈 데가 없어요. 더군다나 3층 여성 휴게실을 남자가 사용하는 경우는 보지 못했습니다(참고로 저희 회사 건물에는 남녀 성비가 비슷합니다) 직접적으로 당시 직원분들께 나가달라고 이치를 따지는 것은 말은 맞더라도 현명하지는 못한 것 같은데 혹시 어떻게 하는 게 좋을까요?