마케팅 조사를 위한 공개 인스타그램 데이터 스크래핑 방법
인스타그램은 2020년에 공개 API 접근을 중단했지만, 공개 웹 엔드포인트는 여전히 프로필, 게시물 및 해시태그 데이터를 JSON으로 반환합니다. 접근 가능한 것, 모바일 IP가 중요한 이유, 그리고 경계선이 어디인지 알아보세요.
인스타그램은 2020년에 공식 API에 대한 공개 접근을 차단했으며, 이로 인해 모든 인스타그램 데이터 스크래핑 가이드는 이제 공개 웹 엔드포인트에 의존하게 되었습니다. 마케팅 조사에 좋은 소식은: 이러한 엔드포인트는 여전히 프로필, 게시물, 릴 및 해시태그 볼륨을 깨끗한 JSON으로 반환하며, 로그인도 필요하지 않다는 것입니다. 문제는 인스타그램이 자동화된 트래픽을 가장 적극적으로 차단하는 플랫폼 중 하나라는 점입니다. 따라서 사용 중인 IP와 유지하는 속도가 엔드포인트가 열려 있는지를 결정합니다. 이 가이드는 접근 가능한 것, 접근하는 코드, 그리고 넘지 말아야 할 ToS 및 GDPR 경계선을 다룹니다.
실제로 수집할 수 있는 공개 인스타그램 데이터
계정 없이도 놀라울 정도로 많은 양의 데이터를 얻을 수 있으며, 이는 시장 및 인플루언서 조사에 유용합니다:
- 프로필: 전체 이름, 바이오, 팔로워 및 팔로잉 수, 게시물 수, 인증 및 비즈니스 상태.
- 게시물 및 릴: 캡션, 해시태그, 멘션, 미디어 URL, 좋아요 및 댓글 수, 타임스탬프, 그리고 첫 몇 개의 댓글.
- 해시태그: 총 게시물 볼륨 및 관련 태그 클러스터 - 덜 포화된 인접 태그를 찾는 데 유용합니다.
- 장소: 이름, 좌표, 주소 및 해당 위치의 게시물 수.
인증된 세션 없이 얻을 수 없는 것: 전체 팔로워 목록, 게시물을 좋아한 계정 목록, 비공개 계정 및 스토리. 이러한 엔드포인트는 세션 쿠키가 필요하며, 이는 계정 차단 및 ToS 위반이 집중되는 지점입니다. 연구를 위해서는 공개 표면에 머무르세요.
코드와 함께하는 공개 프로필 엔드포인트
인스타그램의 웹 앱은 JSON 엔드포인트에서 프로필 데이터를 가져오며, 누구나 호출할 수 있습니다. 단, 공개 웹 앱 id 헤더를 보내야 합니다. 프록시를 통해 라우팅하면 몇 줄의 코드로 프로필 데이터를 얻을 수 있습니다:
import requests
PROXY = "http://USER:PASS@gate.quantumproxies.io:8000" # mobile pool
proxies = {"http": PROXY, "https": PROXY}
HEADERS = {
"x-ig-app-id": "936619743392459", # public web app id
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 17_2 like Mac OS X) "
"AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148",
}
def profile(username):
url = "https://www.instagram.com/api/v1/users/web_profile_info/"
r = requests.get(url, params={"username": username},
headers=HEADERS, proxies=proxies, timeout=20)
r.raise_for_status()
return r.json()["data"]["user"]
u = profile("natgeo")
print(u["full_name"], u["edge_followed_by"]["count"])동일한 페이로드는 edge_owner_to_timeline_media 아래에 최근 게시물을 포함하고 있어, 한 번의 호출로 프로필과 최신 참여도를 함께 얻을 수 있습니다:
for edge in u["edge_owner_to_timeline_media"]["edges"]:
node = edge["node"]
print(node["shortcode"],
node["edge_media_preview_like"]["count"], # likes
node["edge_media_to_comment"]["count"]) # comments모바일 프록시가 인스타그램에서 승리하는 이유
인스타그램의 가장 흔한 실패는 속도 제한 차단입니다: 엔드포인트가 오류를 반환하기 시작하고, 이를 타격한 IP를 일시적으로 차단합니다. 기다리고 타임아웃을 길게 하는 것이 약간 도움이 되지만, 내구성 있는 해결책은 IP 유형입니다. 모바일 프록시는 여기서 가장 강력한 옵션입니다. 왜냐하면 CGNAT - 하나의 모바일 IP가 수천 명의 실제 구독자와 공유되기 때문에, 인스타그램은 이를 차단하면 실제 사용자에게도 영향을 미치기 때문입니다. 이는 모바일 출구가 차단하기 가장 어렵고 대부분의 사람들이 실제로 앱을 탐색하는 방식에 가장 가깝게 만듭니다. 왜 CGNAT가 모바일 IP를 신뢰하게 만드는지에 대한 설명서와 모바일 프록시와 VPN 비교는 VPN이 이를 할 수 없는 이유를 설명합니다.
모바일 프록시 풀을 인간적인 속도와 결합하세요 - 무작위 지연, 제한된 동시성, 차단율이 상승할 때 중지 - 그리고 공개 엔드포인트는 긴 수집 실행 동안 열려 있습니다.
모바일 풀이 없을 때 주거용 프록시는 합리적인 대안입니다 - 우리의 주거 네트워크는 지리적으로 정확한 수집을 위해 200개 이상의 국가에 걸쳐 있습니다 - 하지만 인스타그램에서는 특히 모바일 출구가 가장 오래 살아남습니다. IP 유형에 상관없이, 속도 제한 응답을 더 열심히 재시도하기 위한 신호가 아닌 속도를 늦추라는 신호로 취급하세요: 후퇴하고, 회전하며, 호출 간격을 길게 하세요. 제한을 존중하는 스크래퍼는 차단을 통해 강행하고 한 시간 만에 풀을 소진하는 것보다 하루 동안 훨씬 더 많이 수집합니다.
해시태그와 발견
트렌드 및 인플루언서 발견을 위해, 해시태그 데이터는 개별 프로필을 스크래핑하는 것보다 우수합니다. 해시태그 페이지는 게시물 볼륨과 관련 태그 클러스터를 노출하여 주제가 얼마나 포화되었는지 매핑하고 조용한 인접 태그를 찾을 수 있게 합니다. 이를 프로필당 참여율 - 팔로워 수 대비 좋아요 및 댓글 수 - 과 결합하면, 게이트된 데이터를 전혀 건드리지 않고도 방어 가능한 창작자 목록을 얻을 수 있습니다. 연구가 여러 플랫폼에 걸쳐 있다면, 동일한 원칙이 TikTok 공개 데이터에도 적용되며, 인스타그램, TikTok 및 X에서 소셜 자동화를 실행하는 것과도 겹칩니다.
무엇을 유지하고 무엇을 버릴 것인가
연구를 위해서는 집계 신호를 저장하고 나머지는 버리세요. 팔로워 및 팔로잉 수, 게시 빈도, 평균 좋아요 및 댓글, 해시태그 사용은 개인 세부 정보를 잔뜩 보유하지 않고도 도달 범위와 참여도를 모두 알려줍니다. 미디어 URL은 만료되고 전체 캡션은 저장 공간을 부풀리므로 shortcode와 같은 안정적인 식별자와 메트릭을 유지하고 필요할 때 콘텐츠를 다시 가져오세요. 보유하는 것을 최소화하는 것은 좋은 엔지니어링일 뿐만 아니라 GDPR 경계선의 안전한 측면입니다 - 참여율 표는 이름이 있는 계정과 그들의 게시물 창고보다 훨씬 덜 민감합니다.
ToS 및 GDPR 경계선
두 가지 경계가 중요합니다. 첫째, 인스타그램의 약관은 자동 수집을 제한하며, 로그인된 세션을 사용하여 게이트된 데이터를 스크래핑하는 것은 IP뿐만 아니라 계정에도 위험이 따릅니다 - 연구를 위해서는 공개, 인증되지 않은 엔드포인트에 머무르세요. 둘째, 팔로워 핸들, 댓글 작성자 및 프로필 세부 정보는 개인 데이터입니다. GDPR 및 유사한 규제 하에서는 이를 수집하고 저장하기 위한 합법적인 근거가 필요하며, 보유하는 것을 최소화해야 하며, 명확한 이유 없이 식별 가능한 개인의 프로필을 구축하지 않아야 합니다. 집계 메트릭 (팔로워 수, 참여율, 해시태그 볼륨)은 이름이 있는 사람들의 목록보다 훨씬 안전합니다. GDPR 및 개인 데이터 스크래핑에 대한 우리의 가이드는 구체적인 내용을 다루고 있으며, 이는 실용적인 지침이지 법률 자문이 아닙니다.
자주 묻는 질문
계정 없이 인스타그램 데이터를 스크래핑할 수 있나요?
네, 공개 데이터에 대해서는 가능합니다. 웹 프로필 엔드포인트는 공개 x-ig-app-id 헤더를 보낼 때 바이오, 팔로워 수 및 최근 게시물을 JSON으로 반환하며, 해시태그 및 장소 페이지는 볼륨과 메타데이터를 노출합니다. 팔로워 목록, 좋아요를 누른 사람 및 비공개 계정은 인증된 세션이 필요하며, 연구를 위해서는 피해야 합니다.
왜 인스타그램이 내 스크래퍼의 속도를 계속 제한하나요?
신뢰하지 않는 IP에서 엔드포인트를 너무 빠르게 타격하고 있습니다. 무작위 지연으로 속도를 늦추고, 동시성을 제한하며, 모바일 프록시로 전환하세요 - CGNAT 모바일 IP는 수천 명의 실제 사용자가 공유하므로, 인스타그램은 데이터센터 주소보다 차단 속도가 훨씬 느립니다.
인스타그램 데이터 스크래핑은 합법인가요?
공개, 비개인 데이터를 연구 목적으로 수집하는 것은 일반적으로 위험이 낮지만, 인스타그램의 약관은 자동화를 제한하며, 개인 데이터는 GDPR 및 유사한 법률에 의해 규제됩니다. 공개 엔드포인트에 머물고, 저장하는 개인 데이터를 최소화하며, 대규모로 식별 가능한 개인을 포함하는 모든 것에 대해 변호사와 상담하세요. 이는 법률 자문이 아닙니다.
인스타그램 스크래핑에 가장 적합한 프록시 유형은 무엇인가요?
모바일 프록시입니다. CGNAT가 하나의 모바일 IP를 많은 실제 구독자에게 매핑하기 때문에, 플랫폼은 부수적인 피해 없이 이를 차단할 수 없으며, 모바일 출구는 지속적인 수집에 가장 내구성이 있습니다. 주거용 프록시는 합리적인 두 번째 선택이며, 데이터센터 IP는 가장 빠르게 차단됩니다.
공개 인스타그램 데이터는 마케팅 조사에 매우 접근 가능합니다 - 프로필, 게시물 및 해시태그 엔드포인트는 여전히 깨끗한 JSON을 반환합니다. 성공을 결정하는 두 가지 변수는 IP (모바일이 승리)와 절제 (공개 데이터만, 인간적인 속도, 최소한의 개인 데이터)입니다. 이를 올바르게 하면 엔드포인트는 열려 있습니다.