웹크롤링과 웹스크래핑 차이가 무엇인가요?

Question

이러한 상황에서는 웹 크롤링을 해야 하나요,

웹 스크래핑을 해야 할까요?

https://www.comwel.or.kr/comwel/paym/insu/srch.jsp

1. 위 사이트에서 "사업장명"을 입력하고

2. 지사찾기를 눌러서 사업장 "위치"를 입력한 뒤

3. 검색해서 나온 지사를 "선택"

4. 원래 페이지에서 "가입 조회하기"

5. 조회 결과를 엑셀파일에 정리

필요한 "사업장명", "위치" 자료는

별도 엑셀 파일로 자료가 있습니다.

몇 천개를 조회해야 하는데

자동화할 수 있는 방법이 없을까 해서

찾아보니까 웹 크롤링과 웹스크래핑이 나왔는데

어떻게 해야 할지 모르겠네요ㅠㅠ

혹시 이런 건 그냥 노가다로 다 일일이 해야 하나요?ㅠ

Answer 1

특정 웹사이트내 데이터들을 추출해오는 것 을 웹스크래핑(Web Scraping) 또는 웹 크 롤링(Web Crawling)이라고 말합니다. 어 떤 사이트에 나와있는 정보들을 엑셀 등의 잘 정리된 표로 추출을 하고 싶은데, 해당 사이트 에서 엑셀 등으로 다운로드 받는 기능을 제공 하고 있지 않을 때 하나하나 복사 붙여넣기 하 는 대신 웹 스크래핑 또는 웹 크롤링을 이용하 면 프로그램으로 데이터를 추출해올 수 있습 니다.

이렇게 프로그램으로 데이터를 추출해 오게 되면 생산성을 엄청나게 높여주기 때문 에 이 기능을 이용한 상용 SW들도 시중에 많 이 나와있습니다. (예를들면, 실시간 은행별 잔액을 추출해오는 SW를 만들어 필요로 하는 기관에 판매를 하는 경우를 들 수 있습니다.