부등시가 있는데 평소에도 안경을 써야하나요?

부등시랑 난시가 조금 있어서 안경을 맞췄는데 평소에는 안경을 안써도 딱히 불편하지 않아서 잘 안쓰고 있습니다. 그런데 혹시 이게 제 눈에 안좋은 영향을 끼칠수도 있나요? 그리고 요즘들어 자주 어지럼증을 느끼는데 이것도 안경을 잘 안쓰는 것과 관련이 있을까요?