창문틀 깨끗하게 청소하고 싶은데 방법이 있을까요?

겨우내 온도차이로 창문틀에 물기며 이물질들이 가득합니다.걸레로 닦아내기는 했어도 깨끗하게는 않돼네요.좋은 방법이 있을까요?