브런치스토리 웹 스크래핑 관련 질문 드립니다

Question

브런치스토리 활동 중인 작가입니다. 앱 내에서는 통계를 제공하는데, 글 순위나 조회수 추이를 웹 스크래핑하여 엑셀 파일에 저장하고 싶습니다. 현재 브런치스토리 웹에 개발자 도구를 통해 얻을 수 있는 코드로 웹 스크래핑이 가능한지, 아니면 초보자에겐 불가능한 수준인지 궁금합니다.

Answer 1

일단 브런치는 카카오게정으로 로그인해야 통계데이터를 볼수있는데

이 인증과정이 필요한 사이트는 단순 스크래핑만으로는 어렵답니다..

근데 selenium 같은 도구를 쓰면 자동으로 로그인도 하고 데이터도 가져올 수 있는데

초보자분들한테는 좀 어려울 수 있어요

특히 브런치는 동적으로 데이터를 불러오는 방식이라 beautiful soup 같은 기본적인 스크래핑 도구로는 힘들구요

selenium으로 브라우저를 자동화해서 클릭동작도 구현하고 데이터도 추출해야 하는데

이 과정에서 자바스크립트 처리도 필요하답니다

혹시 파이썬 기초는 아시나요?

파이썬으로 selenium을 다루는게 상대적으로 진입장벽이 낮은편이에요

아니면 차라리 브런치 API를 활용하는 방법도 있는데 이건 개발자 등록이 필요할거에요,,