핀테크 중 하나인 스크래핑이 시스템에 주는 영향은?
요즘 많이 증가되고 있는 핀테크 중 하나인 스크래핑에 대해서 문의합니다.
요즘 인터넷 기사를 보다 보면 스크래핑에 대해서 자주 보게 됩니다
스크래핑이 필요하긴 하는데... 이게 너무 과할 경우 DDoS 처럼도 보여질 수 있는데요.?
과연 스크래핑이 시스템에 영향을 얼마나 주는지? 또한 이에 따른 부하를 줄이기 위해서는 어떤 점들이 필요할지 문의드립니다
안녕하세요.
당연히 많은 영향을 주는 경우도 있습니다. 초당 몇 백 몇천 호출하는 경우는 시스템에 당연히 부담이 갈 수 밖에 없습니다. 사이트 접속도 안되고 마비될수도 있습니다.
그래서 보통은 화면단에서 체크하는 로직외에 서버단에서도 체크하는 로직을 추가하는 경우도 있고 많이 호출 하는 특정아이피를 차단하는 경우도 있습니다.
요즘 많이 증가되고 있는 핀테크 중 하나인 스크래핑에 대해서 문의합니다.
요즘 인터넷 기사를 보다 보면 스크래핑에 대해서 자주 보게 됩니다
스크래핑이 필요하긴 하는데... 이게 너무 과할 경우 DDoS 처럼도 보여질 수 있는데요.?
과연 스크래핑이 시스템에 영향을 얼마나 주는지? 또한 이에 따른 부하를 줄이기 위해서는 어떤 점들이 필요할지 문의드립니다
===> 너무 잦은 접속이라면 디도스로 보여질수도 있습니다
이걸 극복하기 위해서는 텀을 길게 주거나 또는 여러 클라이언트 사용자가 필요하여 접속하는것처럼
처리하는 스크립트를 작성하시면 됩니다
안녕하세요.
스크래핑이란건 말 그대로 특정 사이트의 정보를 분석하여
필요한 정보만 활용하는 기술입니다.
정보 제공하는 API와는 조금 다른 편법? 꼼수? 같은 기술이라 볼 수 있죠.
스크래핑 빈도에 따라, 혹은 가져오는 정보량에 따라 서버에 영향을 줄 수 있습니다.
스크래핑이 돌아가는 서버의 평균 CPU, RAM 부하 여부를 체크해보시고
또한 네트워크 사용량이 얼마나 들어가는지도 체크해보시길 바랍니다.
네트워크 사용량은 비용 문제로도 연결될 수 있습니다.
부하를 줄이는 방법
1. DOM 전체를 불러오지 말고 필요한 부분의 특정 DOM 부분만 가져온다.
2. 서버에 영향을 덜 주는 최적의 시간대를 정한다.
3. 꼭 필요할 때만 스크래핑을 하도록 한다.
너무 잦은 빈도의 스크래핑은 타겟 서버에서 dos로 의심하여 차단할 가능성이 있으니, 이를 염두하셔야 합니다.
도움이 되셨길 바랍니다.
