소행성 모양이 울퉁불퉁한 이유는 무엇인가요?

지구가 둥근 이유는 지구가 형성될때 우주의 물질들이 모든 방향으로 골고루 작용하는 중력에 의해 뭉쳐져서 지구의 중심에서 표면까지 일정한 형태가 되는 구 모양이 되는것인데, 소행성은 그만큼의 중력이 크지 않기 때문에 울퉁불퉁하다고 합니다. 만약 작은 크기의 중력을 가진 소행성이라고 해도 끌어당기는 힘이 작을 뿐이지 중력은 모든 방향으로 똑같이 작용하기 때문에 지구보다는 작은 크기의 구 형태가 형성되는게 맞지 않습니까?
소행성이 시간이 지나 형태가 변질되는 경우를 제외하고, 방금 막 만들어졌다고 가정을 했을 때 울퉁불퉁하고 모양들이 제각각인 이유가 무엇인가요?