문제될 것 없을 것으로 사료됩니다. 애초에 안경은 시력을 교정해주고 잘 볼 수 있게 도와주는 보조적인 도구일 뿐 그것을 쓰고 벗고 하는 것이 시력을 나빠지게 한다거나 할 것이라는 근거는 없습니다. 바꾸어가면서 착용을 하여도 무방하겠습니다. 다만, 혹시라도 그렇게 함으로 인하여 지나치게 눈이 피로하고 불편함이 발생한다면 부담이 되는 것일 수 있으므로 중단하는 것이 좋겠습니다.
시력을 동일한 안경으로 사용하는 경우에는 대부분 큰 문제가 안 생길 가능성이 높으나, 질문자님께서 언급하신 대로 안경알의 미세한 기스의 차이나, 렌즈의 성상 (색깔이 들어간 렌즈인지 등등)으로 인해 시야의 왜곡 증상이 생길 수 있습니다. 주관적으로 안경을 바꿔 낄 때 약간의 어지러움이나 시야 변형이 감지된다면 가급적이면 번갈아가면서 쓰는 것은 지양하시는 것이 좋을 것으로 사료됩니다.