생활
크롤링 하는 방법이 궁금합니다.
Google과 Naver의 특정 단어(푸틴)를 크롤링해서 푸틴 관련 자료를 만드려고 하는데 구글과 네이버에서 특정 단어를 크롤링 할 수 있나요? 왠만하면 쉽게 파이썬ㅇㅡ로 하면 좋겟습니다.
55글자 더 채워주세요.
2개의 답변이 있어요!
크롤링의 원리는 웹페이지의 html문서를 가져와서 html 태그등을 찾아서 원하는 데이터를 추출하는 과정입니다.
많은 사람들이 이미 만들어 놓은 "푸틴"을 포함하는 웹페이지가 있을꺼고 구글과 네이버를 통해 푸틴 쿼리를 통해 나온 결과를 크롤링 하는 식으로 작성함이 어떨까 합니다.
답변으로 그 과정을 설명하기에는 너무 많은 시간이 소모되므로 영상을 소개시켜드리겠습니다.
이 영상을 보시면서 따라해보시면 될 듯 합니다. 파이썬이라고 하더라도 많은 시간과 노력이 수반된다는 점 명심하시길 바랍니다.
파이썬으로 크롤링이 가능합니다.
특히나 검색엔진의 경우 검색 파라미터가 GET방식을 사용합니다. (속도에 유리하다고 들었습니다.)
구글의 경우 아래처럼 request에서 던지고 bs4로 크롤링하시면 됩니다.
https://www.google.com/search?q=검색어
네이버의 경우 아래처럼 하시면 됩니다.
