겨울철에 창문틀에 물이 많이 있는데 어떻게 청소하나요?

겨울철에 창문들에 청소를 하기위해서 어떻게 해야할까요? 여름에 닦지도 않아서 너무 더러운데 어디서부터 어떻게 청소를 해야할지 잘모르겠네요