결론부터 말씀드리면 바퀴벌레의 유충일 가능성이 높습니다.
몸길이에 비해 유독 긴 더듬이와 색상, 몸의 형태 실루엣을 보면 바퀴벌레와 유사한 부분이 많습니다.
그리고 안타깝게도 집 내부나 아주 가까운 유입부 근처에서 부화했을 가능성이 큽니다.
말씀하신 2~4mm 크기는 바퀴벌레가 알집에서 갓 부화한 1령 약충의 크기 정도인데, 만약 외부에서 우연히 한 마리씩 들어온 것이라면 매일 1~3마리씩 꾸준히 나타나기 어렵습니다.
게다가 5월에 일본바퀴 성충이 보였다가 사라진 뒤, 지금 작은 유충들이 보이기 시작한 것은 확실한 부화 사이클의 주기가 맞습니다.
우선 초기로 판단되기에 맥스포스 겔이나 페스트세븐겔 같은 피프로닐/히드라메칠논 성분의 짜는 약을 유충들이 자주 발견되는 곳 주변의 싱크대 아래 틈새와 신발장 구석, 베란다 배수구 근처, 가구 틈새 등에 콩알 크기로 군데군데 묻혀두세요. 그리고 자주 보이는 길목에 끈끈이 패치를 설치하면 어떤 경로로 이동하는지 파악하기 쉽고 포획 효과도 좋습니다.
결론적으로 실내에서 부화한 것으로 추측되고, 보이는 것만 잡는다고 해결은 어렵습니다.
그러니 당장 약을 구매하셔 처리하는 것을 권해드립니다.