축구를 할 때 옷을 잡아당기면 왜 반칙을 안 주는 거죠?

제가 축구 경기를 TV로 자주 신청하는데요. 그런데 한 번씩 볼 때마다 이상한 게 상대방 선수들이 옷을 너무 잡아당기던데 왜 이런 거는 반칙을 바로안주는 건가요?