드롭쉬핑 리서치를 위한 프록시: 데이터 레이어를 직접 구축하기
유료 리서치 도구는 대시보드가 있는 스크래퍼일 뿐입니다. 프록시를 사용하여 동일한 데이터 레이어를 직접 구축하는 방법을 소개합니다 - 경쟁사 카탈로그, 공급업체 가격 및 재고, 지역 제한 광고 라이브러리 등.
드롭쉬핑 제품 리서치 도구는 지름길을 약속합니다: 승리하는 제품을 보여주는 대시보드, 경쟁사 스토어 추적 및 광고 감시. 브랜드를 벗겨내면 스크래퍼입니다 - 주요 도구는 10M+ Shopify 스토어에서 200M+ 제품을 인덱싱하고, 하루에 100,000+ 새로운 제품을 추가하며, 수십 가지 요소로 점수를 매깁니다. 이 모든 것은 당신이 직접 수집할 수 있는 공개 데이터로 실행됩니다. 이 가이드는 프록시를 사용하여 동일한 리서치 레이어를 구축하는 방법을 보여줍니다: 경쟁사 카탈로그, 공급업체 가격 및 재고 모니터링, 그리고 지역 제한 광고 인텔리전스 - 이 도구들이 실제로 판매하는 세 가지 신호입니다.
경쟁사 카탈로그를 해제하는 엔드포인트
거의 모든 Shopify 스토어는 공개 /products.json 엔드포인트에서 전체 카탈로그를 노출합니다 - 키도, 로그인도 필요 없습니다. 페이지당 최대 250개의 제품을 페이지네이션하며 제목, 변형, 가격, 재고 가용성 및 이미지를 구조화된 JSON으로 반환합니다. 이 단일 엔드포인트는 대부분의 "스토어 인텔리전스" 기능의 중추입니다. 프록시를 통해 라우팅하여 자신의 IP가 속도 제한에 걸리지 않고 많은 스토어를 가져올 수 있습니다:
import requests
proxy = "http://USER:PASS@gate.quantumproxies.io:8000"
proxies = {"http": proxy, "https": proxy}
def shopify_catalog(store):
page, out = 1, []
while True:
r = requests.get(f"https://{store}/products.json",
params={"limit": 250, "page": page},
proxies=proxies, timeout=20)
products = r.json().get("products", [])
if not products:
break
out += products
page += 1
return out
for p in shopify_catalog("examplestore.com"):
v = p["variants"][0]
print(p["title"], v["price"], v["available"])이렇게 하면 한 번의 패스로 경쟁사의 전체 제품 라인, 가격 및 재고 플래그를 얻을 수 있습니다. products.json 엔드포인트에 대한 심층 분석은 속도 제한 및 엣지 케이스를 자세히 다룹니다.
시간 경과에 따른 공급업체 가격 및 재고 모니터링
카탈로그 스냅샷은 오늘 스토어가 판매하는 것을 알려줍니다. 엣지는 변화에 있습니다: 어떤 제품이 방금 품절되었는지, 어떤 가격이 움직였는지, 어떤 목록이 새로운지. 일정에 따라 카탈로그 풀을 실행하고 각 실행을 마지막 실행과 비교하세요. 공급업체의 가격 하락, 경쟁사의 마진 상승, 갑작스러운 재고 보충은 모두 초기 신호입니다 - 수동으로 확인하는 모든 사람보다 먼저 이를 발견한 스토어는 몇 시간의 리드 타임을 갖습니다:
import json
prev = json.load(open("yesterday.json")) # {product_id: price}
today = {p["id"]: p["variants"][0]["price"]
for p in shopify_catalog("examplestore.com")}
for pid, price in today.items():
if pid in prev and price != prev[pid]:
print(pid, "price moved", prev[pid], "->", price)
elif pid not in prev:
print(pid, "NEW listing", price)
json.dump(today, open("yesterday.json", "w"))동일한 패턴이 공급업체 마켓플레이스에도 적용됩니다. AliExpress 또는 대형 마켓플레이스에서 가격, 재고 및 배송 매트릭스를 가져오면 마진 창을 닫기 전에 발견할 수 있습니다 - 메커니즘은 대규모 경쟁사 가격 모니터링과 동일합니다.
광고 인텔리전스는 지역 제한이 있습니다 - 따라서 지역 풀을 사용하세요
제품 리서치의 다른 절반은 광고 감시입니다: 제품이 포화되기 전에 경쟁사가 실행하는 크리에이티브와 제안을 보는 것입니다. 공개 광고 라이브러리는 이를 노출하지만, 지역별로 다릅니다 - 국가에 따라 요청이 어디에서 오는지에 따라 광고가 다릅니다. 미국 관객이 보는 것과 영국 관객이 보는 것을 확인하려면 두 곳 모두에서 출구가 필요합니다. 200개 이상의 국가에 걸친 주거 프록시 풀은 광고 라이브러리와 지역화된 스토어프론트를 시장별로 가져올 수 있게 해주며, 이는 유료 도구가 지역 수요 및 포화도를 구축하는 방식과 정확히 동일합니다.
동일한 지역 풀은 스토어프론트 자체를 지역화합니다. 가격, 배송 약속 및 가용한 변형은 국가에 따라 다르므로 미국, 영국 및 독일 출구에서 경쟁사의 제품 페이지를 가져오면 시장별 가격 책정 방법을 알 수 있습니다 - 이는 귀하의 지역 전략에 대한 원자재입니다. 광고 라이브러리와 지역화된 스토어프론트를 함께 읽으면 무엇이 판매되는지 뿐만 아니라 어디에서 어떤 가격에 판매되는지도 알 수 있습니다.
원시 데이터를 단기 목록으로 전환하기
데이터 자체는 결정이 아닙니다. 리서치에 요금을 부과하는 도구는 당신이 직접 계산할 수 있는 두 가지 파생 신호를 추가합니다. 포화도는 단순히 동일한 제품을 판매하는 스토어의 수입니다 - 당신이 가져온 카탈로그에서 제목이나 이미지 해시의 출현 횟수를 세세요; 낮은 수치와 증가하는 수요는 달콤한 지점입니다. 모멘텀은 변화의 속도입니다 - 일일 차이에서 새로운 목록, 재고 보충 및 가격 인하. 두 가지 모두에 후보를 순위 매기면 블랙박스 점수에 비용을 지불하지 않고 방어 가능한 단기 목록을 얻을 수 있습니다. 구체적으로, 새로운 목록과 재고 보충에서 가격 인하를 뺀 모멘텀 점수를 롤링 주간으로 내림차순으로 순위 매기면 아직 혼잡하지 않은 제품이 상위에 떠오르며, 이는 모든 사람이 몰려들기 전에 테스트할 가치가 있는 창입니다. 가격 측면에서는 LLM 지원 가격 매칭이 서로 다르게 이름을 붙인 스토어 간 동일한 제품을 해결하는 데 도움이 됩니다.
일정을 잡고 제한을 존중하세요
리서치 가치는 주기에서 나옵니다, 따라서 이 풀을 일정에 따라 실행하세요 - 가격 및 재고는 매일, 전체 카탈로그는 매주 - 그리고 각 스냅샷을 저장하세요. 그것이 일회성 관찰을 실행 가능한 추세선으로 바꾸는 것입니다. 두 가지 규율이 이를 건강하게 유지합니다. 출구를 회전시키고 요청의 속도를 조절하여 단일 스토어의 서버가 하나의 IP에서 폭발을 보지 않도록 하세요; products.json은 공개되어 있지만 무제한은 아니며, 과도하게 사용된 스토어는 오류를 반환하기 시작합니다. 그리고 제목을 정규화하거나 이미지 해시를 사용하여 스토어 간 제품을 안정적인 키로 중복 제거하여 40개의 스토어가 판매하는 동일한 항목이 포화도 수학에서 40번이 아닌 한 번으로 계산되도록 하세요.
가져오는 대신 렌더링해야 할 때
이 파이프라인의 대부분은 단순한 JSON 가져오기입니다, 이는 빠르고 저렴합니다. 일부 대상 - 특정 스토어프론트, JavaScript 뒤에 있는 광고 라이브러리, 또는 봇 방지 레이어가 있는 마켓플레이스 -는 원시 요청에 데이터를 제공하지 않습니다. 이러한 경우, JavaScript를 렌더링하고 IP를 회전시키는 Scraper API가 헤드리스 브라우저를 유지 관리하는 번거로움을 덜어줍니다. 그리고 마켓플레이스 전반에 걸쳐 주문이나 계정 작업을 자동화하려면, 마켓플레이스 자동화에 대한 가이드가 계정 위생 측면을 다룹니다.
자주 묻는 질문
드롭쉬핑 제품 리서치에 프록시가 필요한가요?
몇 가지 수동 조회의 경우, 필요하지 않습니다. 지속적인 모니터링 - 많은 경쟁사 카탈로그를 가져오고, 공급업체 가격을 매일 확인하고, 지역별 광고 라이브러리를 보는 경우 - 필요합니다. 단일 IP에서의 볼륨은 빠르게 속도 제한에 걸리며, 광고 및 스토어 데이터는 국가에 따라 다르며, 이는 지역적으로 다양한 프록시 풀만이 드러낼 수 있습니다.
경쟁사의 전체 제품 목록을 어떻게 볼 수 있나요?
그들이 Shopify에서 운영한다면, 그들의 도메인에서 /products.json을 요청하세요. 전체 카탈로그 - 제목, 가격, 변형 및 재고 플래그 -를 페이지당 최대 250개의 제품으로 공개 JSON으로 반환합니다. 프록시를 통해 라우팅하여 속도 제한에 걸리지 않고 많은 스토어를 가져오세요.
유료 리서치 도구 대신 직접 리서치 도구를 구축할 수 있나요?
예. 유료 도구는 대시보드가 있는 스크래퍼입니다. 핵심 데이터 - products.json을 통한 카탈로그, 공급업체 가격, 지역 제한 광고 라이브러리 -는 공개되어 있으며 프록시 풀과 스케줄러로 수집할 수 있습니다. 세련된 UI를 포기하지만, 소스, 신선도 및 비용에 대한 통제를 얻습니다.
드롭쉬핑 리서치에 가장 적합한 프록시 유형은 무엇인가요?
주거 프록시입니다, 광고 라이브러리와 지역화된 스토어프론트는 지리적으로 다른 데이터를 제공하며 주거 출구는 낮은 차단율로 정확한 국가 수준의 뷰를 제공합니다. 데이터센터 프록시는 대역폭 비용을 절감하고 싶다면 관대한 스토어에서 고용량의 products.json 풀링을 처리할 수 있습니다.
드롭쉬핑 리서치는 데이터 문제이며, 데이터는 공개되어 있습니다. products.json을 통한 경쟁사 카탈로그, 일정에 따른 공급업체 가격 및 재고 차이, 주거 풀을 통한 지역 제한 광고 라이브러리는 유료 도구가 청구하는 모든 신호를 제공합니다 - 당신이 추적하는 것과 신선도를 유지하는 방법에 대한 완전한 통제와 함께.