아이친구가 같이 놀기 싫다고 하는데 어떻게 말해줘야 할까요?

저희 아이가 또래에 비해 언어가 느려서 말을 유창하게 잘 하지 못하고 놀이 규칙도 잘 이해를 못해 잘 어울리지 못하는편입니다. 그래서인지 또래 친구들이 한번씩 저희 아이한테 "나 너랑 안 놀꺼야" 라는 말을 자주 하곤 하는데 저희 아이가 딱히 잘못한것도 없는데 이런 소리 듣으니 마음이 너무 안좋네요. 이럴땐 어떤 반응을 보여야 될까요?