생활
동적 페이지/SPA 크롤링에 대하여 여쭤봅니다
안녕하세요
트위터나 페이스북 보시면 댓글들이 많으면 스크롤을 밑으로 내릴 때마다 새로운 댓글들이 추가되는데 이렇게 추가되는 댓글들을 그냥 한번에 크롤링할 수 있는 방법이 있을까요? 그리고 이러한 방법을 동적 페이지 크롤링/SPA 크롤링이라고 부르는게 맞을까요?
1개의 답변이 있어요!
"트위터나 페이스북 보시면 댓글들이 많으면 스크롤을 밑으로 내릴 때마다 새로운 댓글들이 추가되는데"
>> 이런걸 보통 '인피니티 스크롤' 이라고 합니다.
사용자 스크롤의 위치에 따라서 자동적으로 서버에 요청을하고 응답받은 내용을 토대로 동적으로 Dom 을 다시 생성하는 구조입니다.
"이렇게 추가되는 댓글들을 그냥 한번에 크롤링할 수 있는 방법이 있을까요?"
>> 이렇게 추가되는 댓글은 말씀드린바와 같이 서버통신을 통하여 동적으로 계속 추가하는것이기 때문에,
한번에 스크롤 하는것은 불가능합니다.
다만 서버통신에 필요한 파라미터 등이 정형화되어있다면 해당 파라미터를 가상으로 만들어서 보내고,
그 결과값을 토대로 크롤링 할수는 있겠습니다.
" 그리고 이러한 방법을 동적 페이지 크롤링/SPA 크롤링이라고 부르는게 맞을까요?"
>> 넵 그렇게 부르셔도 무방합니다.