Как собирать публичные данные Instagram для маркетинговых исследований

Instagram закрыл доступ к публичному API в 2020 году, но публичные веб-эндпоинты все еще возвращают профили, посты и данные по хэштегам в формате JSON. Вот что доступно, почему важны мобильные IP и где проходит граница.

Instagram закрыл публичный доступ к своему официальному API в 2020 году, поэтому каждый гид по сбору данных Instagram теперь опирается на публичные веб-эндпоинты. Хорошая новость для маркетинговых исследований: эти эндпоинты все еще возвращают профили, посты, рилы и объемы хэштегов в чистом JSON, без необходимости входа в систему. Но Instagram — одна из самых агрессивных платформ по выявлению автоматического трафика, поэтому IP, который вы используете, и темп, который вы поддерживаете, определяют, останется ли эндпоинт открытым. Это руководство охватывает, что доступно, код для доступа к этому, и границы ToS и GDPR, которые не следует пересекать.

Какие публичные данные Instagram вы действительно можете собрать

Без аккаунта вы можете получить удивительное количество данных, все они полезны для рыночных и влиятельных исследований:

Профили: полное имя, биография, количество подписчиков и подписок, количество постов, статус верификации и бизнеса.
Посты и рилы: подпись, хэштеги, упоминания, URL медиа, количество лайков и комментариев, временные метки и первые несколько комментариев.
Хэштеги: общий объем постов и кластеры связанных тегов - удобно для поиска менее насыщенных смежных тегов.
Места: название, координаты, адрес и количество постов для местоположения.

Что вы не можете получить без аутентифицированной сессии: полные списки подписчиков, список аккаунтов, которые лайкнули пост, приватные аккаунты и истории. Эти эндпоинты требуют сессионного cookie, и именно здесь сосредоточены баны аккаунтов и нарушения ToS. Для исследований оставайтесь на публичной поверхности.

Сравнение публичных данных Instagram, таких как профили, посты и объем хэштегов, с данными, доступными только после входа, такими как списки подписчиков и лайкеров, которые несут риск бана аккаунта — Публичные веб-данные - это безопасная поверхность; все, что находится за сессионным cookie, несет риск бана аккаунта и нарушения ToS.

Публичный эндпоинт профиля, с кодом

Веб-приложение Instagram получает данные профиля из JSON-эндпоинта, который может вызвать любой, если вы отправите заголовок публичного веб-приложения id. Направьте его через прокси, и у вас будут данные профиля в нескольких строках:

import requests

PROXY = "http://USER:PASS@gate.quantumproxies.io:8000"  # mobile pool
proxies = {"http": PROXY, "https": PROXY}

HEADERS = {
    "x-ig-app-id": "936619743392459",  # public web app id
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 17_2 like Mac OS X) "
                  "AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148",
}

def profile(username):
    url = "https://www.instagram.com/api/v1/users/web_profile_info/"
    r = requests.get(url, params={"username": username},
                     headers=HEADERS, proxies=proxies, timeout=20)
    r.raise_for_status()
    return r.json()["data"]["user"]

u = profile("natgeo")
print(u["full_name"], u["edge_followed_by"]["count"])

Тот же полезный груз несет последние посты под edge_owner_to_timeline_media, так что один вызов дает вам профиль и его последнее взаимодействие вместе:

for edge in u["edge_owner_to_timeline_media"]["edges"]:
    node = edge["node"]
    print(node["shortcode"],
          node["edge_media_preview_like"]["count"],   # likes
          node["edge_media_to_comment"]["count"])       # comments

Почему мобильные прокси выигрывают в Instagram

Наиболее частая ошибка Instagram - это блокировка по лимиту запросов: эндпоинт начинает возвращать ошибки и временно блокирует IP, который его ударил. Ожидание и увеличение тайм-аутов немного помогают, но устойчивое решение - это тип IP. Мобильные прокси - это самый сильный вариант здесь из-за CGNAT - один мобильный IP используется тысячами реальных подписчиков, поэтому Instagram не может его заблокировать, не затронув настоящих пользователей. Это делает мобильные выходы самыми трудными для бана и наиболее близкими к тому, как большинство людей действительно просматривают приложение. Наше объяснение почему CGNAT делает мобильные IP доверенными охватывает механизм, а мобильные прокси против VPN объясняет, почему VPN не может этого сделать.

Сочетайте мобильный пул прокси с человеческим темпом - случайные задержки, ограниченная параллельность и остановка, когда растет уровень блокировки - и публичные эндпоинты остаются открытыми на протяжении длительных сборов.

Резидентные прокси - это разумная альтернатива, когда мобильный пул недоступен - наша резидентная сеть охватывает более 200 стран для гео-точного сбора - но конкретно в Instagram мобильные выходы выживают дольше всего. Независимо от типа IP, рассматривайте ответ с ограничением скорости как сигнал замедлиться, а не пытаться сильнее: отступите, переключитесь и увеличьте интервал между вызовами. Скрейпер, который уважает ограничения, собирает гораздо больше за день, чем тот, который пробивается через блокировки и сжигает свой пул за час.

Устойчивый публичный Instagram-пайплайн, маршрутизирующий список имен пользователей и хэштегов через мобильный прокси к публичному web_profile_info JSON-эндпоинту и в структурированные строки — Мобильные IP плюс человеческий темп сохраняют публичный эндпоинт открытым на протяжении длительных запусков - CGNAT делает эти выходы трудными для бана.

Получите мобильные прокси, созданные для социальных платформ

Хэштеги и открытие

Для обнаружения трендов и влиятельных лиц данные по хэштегам превосходят сбор отдельных профилей. Страницы хэштегов показывают объем постов и кластеры связанных тегов, что позволяет вам картировать, насколько насыщена тема, и находить более тихие смежные теги для нацеливания. Сочетайте это с показателями вовлеченности по профилю - лайки и комментарии по количеству подписчиков - и у вас будет обоснованный шорт-лист создателей, не касаясь данных с ограниченным доступом. Если ваши исследования охватывают платформы, то та же дисциплина применяется к публичным данным TikTok, и есть пересечения с автоматизацией социальных сетей на Instagram, TikTok и X.

Что сохранить, а что отбросить

Для исследований храните агрегированные сигналы и отбросьте остальное. Количество подписчиков и подписок, частота публикаций, среднее количество лайков и комментариев, и использование хэштегов расскажут вам все о охвате и вовлеченности без хранения кучи личных данных. URL медиа истекают, а полные подписи раздувают ваше хранилище, поэтому сохраняйте стабильные идентификаторы, такие как shortcode, плюс метрики, и повторно загружайте контент по требованию. Минимизация того, что вы храните, - это и хорошая инженерия, и более безопасная сторона линии GDPR - таблица коэффициентов вовлеченности гораздо менее чувствительна, чем склад именованных аккаунтов и их постов.

Границы ToS и GDPR

Две границы имеют значение. Во-первых, условия Instagram ограничивают автоматический сбор, и использование сессии с входом для сбора данных с ограниченным доступом ставит под угрозу аккаунт, а не только IP - оставайтесь на публичных, неаутентифицированных эндпоинтах для исследований. Во-вторых, хэндлы подписчиков, авторы комментариев и детали профиля являются личными данными. В соответствии с GDPR и аналогичными режимами вам нужна законная основа для их сбора и хранения, вы должны минимизировать то, что вы храните, и избегать создания профилей идентифицируемых лиц без ясной причины. Агрегированные метрики (количество подписчиков, коэффициенты вовлеченности, объемы хэштегов) гораздо безопаснее, чем списки именованных людей. Наше руководство по GDPR и сбору личных данных охватывает детали - и это практическое руководство, а не юридическая консультация.

Часто задаваемые вопросы

Можете ли вы собирать данные Instagram без аккаунта?

Да, для публичных данных. Веб-эндпоинт профиля возвращает биографии, количество подписчиков и последние посты в формате JSON, когда вы отправляете заголовок публичного x-ig-app-id, а страницы хэштегов и мест показывают объем и метаданные. Списки подписчиков, лайкеры и приватные аккаунты требуют аутентифицированной сессии и должны быть избегаемы для исследований.

Почему Instagram продолжает ограничивать скорость моего скрейпера?

Вы слишком быстро обращаетесь к эндпоинту с IP, которому Instagram не доверяет. Замедлитесь со случайными задержками, ограничьте параллельность и переключитесь на мобильные прокси - CGNAT мобильный IP используется тысячами реальных пользователей, поэтому Instagram гораздо медленнее блокирует его, чем адрес центра обработки данных.

Является ли сбор данных Instagram законным?

Сбор публичных, не личных данных для исследований обычно менее рискован, но условия Instagram ограничивают автоматизацию, а личные данные регулируются GDPR и аналогичными законами. Оставайтесь на публичных эндпоинтах, минимизируйте личные данные, которые вы храните, и проконсультируйтесь с юристом по любым вопросам, связанным с идентифицируемыми лицами в большом масштабе. Это не юридическая консультация.

Какой тип прокси лучше всего подходит для сбора данных Instagram?

Мобильные прокси. Поскольку CGNAT сопоставляет один мобильный IP с многими реальными подписчиками, платформа не может его заблокировать без побочного ущерба, что делает мобильные выходы самыми устойчивыми для длительного сбора. Резидентные прокси - разумный второй выбор; IP центра обработки данных блокируются быстрее всего.

Публичные данные Instagram вполне доступны для маркетинговых исследований - эндпоинты профиля, постов и хэштегов все еще возвращают чистый JSON. Два параметра, которые определяют успех, - это IP (мобильные выигрывают) и сдержанность (только публичные данные, человеческий темп, минимальные личные данные). Если вы соблюдаете эти условия, эндпоинт остается открытым.

Начните сбор с мобильными прокси QuantumProxies