왜 조선시대 양반들은 군역을 면제받았나요?

조선시대 후기인 흥선대원군 시기에 이르러서야 양반들이 군역을 했다는데요. 왜 이전에는 관리나 일반 양반이 군역을 이행하지 않았는지 알고 싶습니다.