쇼핑몰 사이트에서 상품 가격을 코딩으로 일괄적으로 받아올 수 있나요?
쇼핑몰 사이트에 등록되어 있는 상품에 대해
상품의 가격을 일괄적으로 받아올 수 있는 코드가 있을까요?
(불법인지 아닌지도 궁금합니다.)
예를들어 A쇼핑몰에서 물건을 받아와 B쇼핑몰을 운영하고 있는데
A쇼핑몰에서 가격을 수정하여 B쇼핑몰도 가격을 수정하여야 되는데,
A쇼핑몰에서 카탈로그 못받았고 일일이 A쇼핑몰의 가격을 보고 가격을 수정해야 하는 상황입니다.
A쇼핑몰의 상품이 몇만개라고 생각하면 일일이 손으로 수정하기가 어려워 혹시 사이트에서 가격을 받아올 수 있는 코드가 있는지 궁금합니다.
안녕하세요,
상품의 가격을 일괄적으로 받아 올 수 있는지에 대해서 질문 주셨는데,
쇼핑몰이 웹페이지로 되어 있을 경우 '크롤링(Crawling)'을 이용하여 웹페이지의 데이터를 쉽게 가져올 수 있습니다.
그리고 가져오려는 데이터의 저작권이 적용되어 있으면 크롤링을 사용해서 데이터를 가져오면 안됩니다.
크롤링은 많은 프로그래밍 언어에서 사용할 수 있습니다.
(현재 질문 작성자님이 주로 사용하고 있는 프로그래밍 언어가 무엇인지 모르기 때문에 라이브러리를 추천하거나 코드를 작성할 수 없는 점 양해 부탁드립니다.)
예를 들어 'Python'에서는 'requests'와 'BeatifulSoup'을 사용하여 데이터를 가져올 수 있고
'node.js'에서는 'selenium'을 사용하여 데이터를 가져올 수 있습니다. (이외에도 다양한 라이브러리가 있습니다.)
참고로 크롤링은 데이터를 가져오는 행위이지, 가져온 데이터를 저장하는 행위는 포함하지 않기때문에
다른 곳에 데이터를 저장하는 로직도 생각해야하는 점 참고하시기 바랍니다!
안녕하세요.
일단 방법이 3가지가 있을수 있을것 같은데, 개발자가 아니시라면 개발업체에 의뢰하거나 주위 개발자의 도움이 필요한 부분입니다.
1. A사이트에서 상품코드+상품명+가격 정보를 엑셀파일로 제공하는 경우
- 위 엑셀을 받아서 현재 B사이트 가격정보와 비교하여 업데이트하는 프로그램 구현
2. A사이트에서 상품코드+상품명+가격 정보를 API로 제공하는 경우
- 여기서 API라 하면 온라인상에서 위 정보를 얻을수 있는 함수 정도로 이해하시면 됩니다.
- 현재 B사이트에서 API정보를 이용하여 업데이트 하는 프로그램 구현
3. A사이트에서 1,2번을 제공하지 않는 경우
- A사이트를 스캘핑해서 가격 정보를 업데이트 하는 프로그램 구현
- 여기서 스캘핑은 A사이트 HTML 구조를 파악해서 상품코드나 상품명, 가격정보를 가져오는 방법입니다.
언급한 경우 모두 개발이 필요한 부분이니 말씀드린대로 개발업체에 의뢰하거나 주위 개발자의 도움을 요청하셔야 할 듯합니다.
안녕하세요.
크롤링 (crawling) 이란 방법으로 A쇼핑몰의 상품 정보 및 가격을 가져 올 수 있더라도,
A쇼핑몰의 상품코드와 B쇼핑몰의 상품코드를 매핑이 필요하고, A쇼핑몰의 상품코드가 삭제되거나 변경되었을 때 처리 할 수 없습니다.
이 외에도 A쇼핑몰이 디자인 (HTML)을 변경한다면 B쇼핑몰에서도 크롤링 코드를 바꿔줘야 합니다.
해당 업무는 A쇼핑몰과 협의하여 연동 API 규격을 만들고,
연동 방법 등을 조율하여 프로그램을 개발 하는게 좋을 듯 싶습니다.
이런건 크롤링 하셔야 하는 작업이구요
매시간 또는 매분마다 a 사이트의 가격을 가져와서 b 사이트의 가격을 비교하여
해당 하는 제품의 디비를 직접 수정하게 만드는 프로그램을 제작하셔야 합니다
이건 정답은 없구요, 기존에 돌아다니는 기본적은 크롤링 명령형식을 살펴본후
본인 사이트에 맞게 응용하셔야 합니다
장도연이 추천하는 아하!
앱으로 편리하게 사용해 보세요.