얼음의 경우 수돗물을 사용해도 괜찮습니다. 한국에 수돗물은 사실상 세계 1위의 수질을 가졌다고 하여도 무방할 정도로 수질이 너무 좋습니다. 물론 배관의 노후나 녹 같은 것은 다른 이야기입니다.
대체로 세균은 얼리면 모두 죽습니다. 0도 이하에 살아남는 세균은 거의 없기 때문에 얼음에서 세균이 잘 못살죠. 그래서 수돗물을 이용해서 얼음을 얼려도 크게 문제는 없습니다.
물론 물에 안 좋은 화학 성분이 있다면 이는 얼린다고 달라지는 것이 아니지만 한국은 수질이 좋기 때문에 얼려도 크게 문제가 없습니다. 개인적으로는 생수로 물을 얼립니다.