음식을 냉동, 냉장 왔다갔다하면, 변질이 일어날까요?

간혹, 음식을 냉동에서 냉장으로 옮기는데, 조금 먹은 후, 다시 냉동을 시키는 경우가 있습니다. 이럴경우, 음식이 많이 변질되거나 맛이 떨어지게 될까요??