크롤링이나 스크래핑에 셀레니움 사용해보신분?
스크래핑에 셀레니움 사용해보신분이 있을까요?
클라이언트 요청을 통해서 로그인이나 크롤링 업무를 대신 진행하려고 하는데
셀레니움에 대한 정보가 많이 부족합니다.
전반적인 개발 방향에 대해서 알고 싶은데 설명부탁드립니다!!
55글자 더 채워주세요.
1개의 답변이 있어요!Selenium 은 파이션으로 만들어진 라이브러리입니다
웹 관련 라이브러리로 파이션으로 만든 프로그램이 마치
크롬과 같이 웹서버에 접속을 하여 정보를 주고받으면서 어떤 특정한 값을 가져오게 하는것입니다
즉, 파이썬으로 네이버에 로그인하여 지식인에 있는 정보중 블럭체인 정보들을 가져와
본인의 서버에 해당 질문과 답변을 넣는다고 가정을 할때
Selenium으로 아래와 같은 알고리즘으로 동작하게 개발을 하면 됩니다
로그인 정보를 가져옵니다
리퍼러 정보와 함께 아이디,암호를 보내서 쿠키값등을 받아옵니다
인증성공되면 지식인에 접속하여 블럭체인에 대한 질문을 찾습니다,이때 쿠키값도 함께 서버로 전송을 합니다
지식인 관련 답변을 받아옵니다
본인의 서버에 해당 질문과 답변을 저장합니다
이번엔 다음페이지를 마우스로 클릭한것과 같은 효과를 나타내어 네이버에 전송을 합니다
다음 페이지를 네이버로부터 가져옵니다.. 또 (5)로 돌아가서 작업을 합니다
더이상의 다음페이지가 없다면 종료합니다
대충 이런식으로 작업을 하시면 됩니다
