서유대는 두차례 파직된 뒤 다시 기용된 것으로 알려져 있습니다. 전라병사로 부임하던 길에 전라감사 김상익의 아랫사람들이 저지른 불법을 다스리다가 김상익의 무고로 파직당한 것으로 전해집니다. 이는 지방 관료 사이의 충돌에서 비롯된 것입니다. 특별히 반역같은 중죄가 아니라 곧 승지로 기용되었습니다.
두번째 파직은 금위영이 나례도감과 연습하던 중 화포를 잘 못 발사해 불이나 사건입니다. 서유대는 금위대장으로 부대의 책임자로 추고와 파직을 받은 것입니다. 당시 화포 사고의 관리책임이어서 정치 생명이 끝날 중죄는 아니었고, 정조가 그의 군사 능력과 충성도를 신뢰했기 때문에 파직 이후 책임을 확인하고 재기용한 것입니다.