성종 때 조식(趙軾)이란 사람이 일찍 과부가 된 누이의 노비와 땅을 빼앗고, 누이가 다시 김주라는 사람과 재혼하려 하자 김주를 누이의 강간범으로 고변한 일이 있었다. 이 일에 대한 처결 문제로 당시 승지였던 임사홍과 현석규 사이에 이견이 생겼고, 현석규 측의 판단이 옳다고 결론이 났지만 임사홍이 인정하지 않음으로써 일이 커졌다. 유자광은 이때 임사홍 등과 붕당을 짓고 남을 모함했다는 이유로 동래로 귀양을 갔다. 유자광은 이 시기에 그동안 드러나지 않았던 여죄들이 더해지면서 많은 탄핵을 받았다. 결국 성종의 처분으로 유자광은 4년 뒤 귀양에서 풀려나 이후 명나라 사신으로 파견되기도 했지만 실직을 받지 못하고 권력의 중심부에서 소외되어 절치부심해야 했다.