옷을 왜 '남방' 이라고 하는걸까요?

가끔 셔츠같은 옷 중에 단추 달린 옷을남방 이라고 하잖아요?
근데 이렇게 남방이라고 이름이 붙은 유래가 어떻게 되나요? 궁금합니다..