Как собирать отзывы с Trustpilot для анализа репутации

Автор: · Опубликовано

Trustpilot — это публичный источник репутации для вас и всех ваших конкурентов. Вот как структурированы страницы, где заканчивается пагинация и как превратить собранные отзывы в конвейер анализа настроений.

Trustpilot — это публичный источник репутации — не только для вашего бренда, но и для всех ваших конкурентов. Каждая страница компании — это поток датированных, оцененных звездами, геолокализованных мнений, которые вы можете использовать для отслеживания репутации, сравнения с конкурентами и получения отзывов о продукте. Это руководство охватывает, как собирать отзывы с Trustpilot: как структурированы страницы, где заканчивается пагинация, какие поля стоит захватывать и как превратить необработанный текст в конвейер анализа настроений, который выходит за рамки ручного чтения.

Как структурированы страницы Trustpilot

У каждой компании есть страница отзывов на trustpilot.com/review/{domain} — например, /review/example.com. Trustpilot также использует локализованные домены, так что it.trustpilot.com и www.trustpilot.com могут показывать разные наборы отзывов и порядок сортировки для одной и той же компании. Это важно: если вы хотите получить отзывы с конкретного рынка, используйте соответствующий региональный домен и выходной IP из этого региона. Каждый отзыв отображается в виде карточки с именем рецензента, звездным рейтингом, датой, заголовком, полным текстом и — что полезно — страной рецензента в виде двухбуквенного кода.

Пагинация и где она заканчивается

Отзывы разбиты на страницы, примерно по 20 на страницу, с параметром ?page=N. Здесь есть два момента. Во-первых, Trustpilot ограничивает глубину, на которую можно просматривать одну компанию — известный "лимит в 200 отзывов", который рекламируют готовые инструменты. Во-вторых, порядок сортировки меняет то, что вы получаете: сортировка по новизне фиксирует недавние настроения, в то время как страницы, отсортированные по релевантности, склоняются к выделенным отзывам. Решите, как сортировать, и для очень активных компаний собирайте данные в запланированных проходах, а не в одном глубоком обходе, чтобы оставаться в пределах лимита глубины и фиксировать новые отзывы по мере их появления.

Конвейер отзывов Trustpilot в пять этапов (загрузка, разбор, структурирование, оценка и хранение), где этап загрузки отмечен как слабое место; карточка показывает, как это исправить: ротационные резидентные выходы против обнаружения ботов, соответствующий выход для каждого регионального домена, плановые проходы от новых к старым, около 20 отзывов на страницу.
Конвейер состоит из пяти этапов; этап получения — гео-заблокированные выходы и лимиты пагинации — это то, где большинство сборщиков не справляются.

Создание сбора

Trustpilot распознает автоматический трафик, поэтому простые запросы быстро блокируются. Направляйте через вращающийся резидентный прокси с правильным выходом по стране или передайте получение Scraper API, который управляет ротацией, отпечатками и рендерингом и возвращает чистый HTML или markdown для каждой страницы:

import requests

def fetch_page(domain, page, country="gb"):
    r = requests.post(
        "https://api.quantumproxies.io/v1/scraper/extract",
        headers={"Authorization": "Bearer YOUR_API_KEY"},
        json={
            "url": f"https://www.trustpilot.com/review/{domain}?page={page}",
            "country": country,
            "format": "html",
        },
        timeout=120,
    )
    return r.json()["payload"]["content"]

for page in range(1, 11):          # walk pages 1..10
    html = fetch_page("example.com", page)
    # parse each review card: author, rating, date, title, body, country

Разберите каждую карточку в запись. Новый подход полностью избегает хрупких CSS-селекторов и передает HTML страницы на этап извлечения LLM, который возвращает структурированный JSON — устойчивый, когда Trustpilot изменяет свою разметку.

Поля для захвата

Превращение отзывов в конвейер анализа настроений

Звездный рейтинг — это грубый инструмент — трехзвездочный отзыв может быть восторженным с одной жалобой. Пропустите каждый текст через этап анализа настроений, который классифицирует его как положительный, нейтральный или отрицательный с оценкой уверенности, чтобы вы могли взвешивать и фильтровать. Типичный вывод выглядит как {"category": "Positive", "confidence": 0.95}. Добавьте оцененную запись в хранилище — таблицу, базу данных или панель управления — с ключом по ID отзыва, чтобы повторный сбор обновлял, а не дублировал. Этот пятиэтапный поток (получение, разбор, структурирование, оценка, хранение) — это вся система.

Отзывы Trustpilot, разложенные по строкам с рейтингом, страной, датой и текстом, где подсвечена колонка страны; карточка перечисляет, что несет каждый отзыв: рейтинг от 1 до 5 звезд, один из трех классов тональности, двухбуквенный код страны, около 20 отзывов на страницу, чего достаточно, чтобы разделить репутацию по рынкам.
Рейтинг плюс страна плюс дата достаточно, чтобы разделить репутацию по рынкам и отслеживать, как она изменяется.

Чистое получение страниц Trustpilot с помощью Scraper API

Репутация и конкурентные сценарии использования

Как только данные поступают, анализ окупает сбор. Отслеживайте свой собственный рейтинг с течением времени и предупреждайте о снижении до того, как оно отразится на продажах. Сравнивайте конкурентов бок о бок — средний рейтинг, темы жалоб, скорость ответа — чтобы найти их слабые места. Разделите по полю страны, чтобы увидеть, какие рынки оценивают вас хорошо, а какие нет. Та же схема сбора отзывов применяется к Yelp и данным бизнеса Google Maps, так что один конвейер может охватить все поверхности репутации одновременно. Это информационный, а не юридический совет — придерживайтесь публичных страниц отзывов и избегайте перепубликации текста отдельных лиц дословно.

Планирование и поддержание актуальности данных

Отзывы — это не одноразовая загрузка — репутация — это движущаяся цель, поэтому сбор должен быть расписанием, а не скриптом. Запускайте ежедневный или еженедельный проход для каждой компании, начиная с самых новых, и обновляйте по ID отзыва, чтобы новые отзывы добавлялись, а существующие обновлялись на месте. Это обходится без лимита глубины Trustpilot для каждой компании — вам никогда не нужно глубоко просматривать страницы, если вы фиксируете отзывы по мере их появления — и дает временной ряд, который делает данные ценными: линии тренда рейтинга, всплески жалоб после плохой недели и изменения в скорости ответа. Добавьте простое предупреждение (снижение более чем на ползвезды неделю за неделей или всплеск отзывов на одну звезду), и конвейер перестанет быть исследовательским инструментом и станет системой раннего предупреждения для вашей репутации и ваших конкурентов.

Однако актуальность имеет свою цену. Повторное получение данных для каждой компании каждый день расходует полосу пропускания и IP на данные, которые в основном не изменились. Разделите это, как любую задачу мониторинга: внимательно следите за своим брендом и несколькими основными конкурентами, а длинный хвост проверяйте еженедельно или ежемесячно. Ориентирование сбора на компании, у которых объем отзывов действительно меняется, сохраняет как актуальность данных, так и разумность счета.

Часто задаваемые вопросы

Можно ли собирать отзывы с Trustpilot?

Да — страницы отзывов компаний являются публичными и разбиты на страницы, так что вы можете собирать автора, рейтинг, дату, заголовок, текст и страну для каждого отзыва. Основные препятствия — это обнаружение ботов Trustpilot, которое требует чистых вращающихся IP, и лимит глубины для каждой компании, который вы обходите, сортируя по новизне и собирая в запланированных проходах, а не в одном глубоком обходе.

Законно ли собирать отзывы с Trustpilot?

Сбор публично видимых страниц отзывов обычно находится в той же серой зоне, что и другой сбор публичных данных — это не юридический совет. Оставайтесь на публичных страницах, не пытайтесь обойти вход в систему, сохраняйте вежливую частоту запросов и избегайте перепубликации личных данных рецензентов или текста дословно. Для агрегированного анализа репутации и конкурентов важнее производные метрики, чем любой отдельный отзыв.

Как собрать все отзывы с Trustpilot?

Вы просматриваете /review/{domain}?page=N, пока не останется отзывов, но Trustpilot ограничивает глубину, на которую он обслуживает одну компанию. Чтобы получить широкое покрытие, сортируйте по новизне, собирайте в повторяющихся запланированных запусках, чтобы свежие отзывы фиксировались со временем, и используйте соответствующий региональный домен с соответствующим выходом по стране, если вам нужны отзывы с конкретного рынка.

Как анализировать отзывы с Trustpilot в масштабе?

Пропустите каждый текст отзыва через классификатор настроений, который возвращает категорию (положительный, нейтральный, отрицательный) и оценку уверенности, затем сохраните оцененные записи с ключом по ID отзыва. Оттуда вы можете строить графики трендов рейтинга, кластеризовать темы жалоб, разделять по полю страны и сравнивать конкурентов — слой настроений превращает тысячи отзывов в несколько решений.

Trustpilot предоставляет вам датированный, геолокализованный, оцененный звездами поток того, что именно думают клиенты — о вас и всех ваших конкурентах. Сбор состоит из пяти этапов; получение — это то, что ломается без чистых гео-заблокированных IP, а слой настроений — это то, что превращает необработанный текст в репутацию, которую вы действительно можете управлять.

Начните собирать отзывы с Trustpilot с помощью Scraper API

Об авторе: Aldo Morese основал QuantumProxies.io и QuanticData и руководит прокси-сетью и инфраструктурой для скрейпинга, на которых работают оба сервиса.