앱으로 크롤링하는 방법 추천 부탁드려요.
Android Studio 코틀린으로 앱개발을 해보려고 하는데 쉽지 않네요... 우선은 누구나 아는 로또 번호 크롤링을 jsoup 라이브러리 이용해서 하려고 하는데 좋은 예제가 어떤게 있는지 알수 있을까요?
안녕하세요.
jsoup 는 HTML 태그를 추출해주는 파서 라이브러리이구요.
코틀린 예제는 구글링 하면 많이 나오는데, 아래 예제가 가장 쉽게 되어 있네요.
https://www.tutorialspoint.com/how-to-parse-html-in-android-using-kotlin
1) jsoup 라이브러리 다운로드, 코틀린 연결
2) HTML 추출
원하는 값의 추출은 기본적으로 HTML 구조를 알고 있다는 전체로 해당 DOM을 추출해서 값을 보여주면 될 거 같은데, 어느정도 HTML 구조를 이해하시면 많은 도움이 되실 거 같아요.
가져오시려는 사이트 주소를 알 수 없어서, HTML 추출은 이정도로 답변 드립니다.
오늘도 즐거운 프로그래밍 하세요! ^^
잘 아시는것과 같이 Jsoup은 html을 불러오고 파싱을 도와주는 JAVA Library입니다.
JAVA와 가장 완벽히 호환이 가능한 Kotlin으로 Jsoup을 활용할 수 있습니다.
질문자께서 원하시는 정확한 예제를 파악하기는 힘들지만 Goo***과 같은 사이트에 아주 간단하게
로또번호 생성 파싱과 같은 내용들을 검색해보면 많은 양의 예제들을 확인하실 수 있고 그 중에서
사용하시고자 하는 방법에 대한 아이디어를 얻으실 수 있으실겁니다.
안녕하세요.
우선은 jsoup예제입니다.
https://medium.com/%EC%8A%AC%EA%B8%B0%EB%A1%9C%EC%9A%B4-%EA%B0%9C%EB%B0%9C%EC%83%9D%ED%99%9C/%EC%98%88%EC%A0%9C-jsoup%EC%9C%BC%EB%A1%9C-%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%A7%81%ED%95%98%EA%B8%B0-%EC%95%88%EB%93%9C%EB%A1%9C%EC%9D%B4%EB%93%9C-%EC%BD%94%ED%8B%80%EB%A6%B0-cec9e728031a이것도 좋지만 셀레니움을 이용한 것이 있어서 추천드립니다.
https://youjourney.github.io/archivers/TECH1둘다 쉽게 따라하시기 좋은 예제입니다. 하시면서 궁금한거 있으심 또 질문주세요.
보통은 앱에서 크롤링하는 것은 잘하지 않습니다.
서버에서 크롤링을 하고 앱에 데이터를 전달하는 형태의 개발을 많이하고 있습니다.
특히나 크롤링을 하려고 하면 주기적으로 실행이 되어야하는데 휴대폰의 경우 전원이 꺼져 있을 수도 있고 네트워크가 잘 안되는 지역에 있을수도 있다보니 별로 추천하지 않습니다.
크롤링은 파이썬을 가지고 Beautiful Soup 라이브러리로 하는 것이 쉽게 할수 있는것 같습니다.
안녕하세요 4년차 fw 개발자입니다.
코틀린 앱에서 웹크롤링을 사용하실땐 jsoup을 사용하시면 좋습니다.
타켓은 다음의 연예 파트에서 메인 이미지 5개의 목록을 가져 와 보는 예제인데 어렵지 않습니다.
-공부법
생활코딩 (opentutorials.org) 여기에 가셔서 기본과 개념을 복습하세요.
그리고나서 GitHub: Where the world builds software · GitHub 여기에 가셔서
구현하고 싶은 기능에 관련된 소스나 아니면 참고하실만한 소스를 구하셔서 그걸로 연습하세요.
전혀 아무런 참고할 소스조차 없다면 아무소스나 가져와서 분석하시면서 알고리즘을 학습하세요.
