GDPR и веб-скрейпинг: персональные данные, штрафы и контрольный список

GDPR не запрещает скрейпинг — он регулирует персональные данные. Вот когда он применяется, почему законный интерес — это ваша единственная реалистичная основа, за что наказывали недавние штрафы ЕС и контрольный список, который инженеры действительно могут использовать.

GDPR не запрещает веб-скрейпинг. Он регулирует обработку персональных данных, и скрейпинг сталкивается с ним только тогда, когда собираемые вами данные могут идентифицировать человека. Поймите это различие правильно, и большинство вопросов о соответствии решатся сами собой; ошибитесь, и вы унаследуете ту уязвимость, которую недавние меры ЕС сделали очень конкретной. Это руководство для инженеров, а не лекция: когда GDPR действительно применяется к скрейпингу, почему законный интерес — это реалистично ваша единственная законная основа, правила минимизации данных и уведомления, за игнорирование которых регуляторы продолжают наказывать, и контрольный список, который вы можете запустить перед началом работы. Это информативное руководство, а не юридическая консультация — для конкретного проекта привлекайте юриста по защите данных.

Единственный вопрос, который имеет значение в первую очередь: это персональные данные?

GDPR определяет персональные данные как любую информацию, относящуюся к идентифицированному или идентифицируемому человеку, и он применяется к данным резидентов ЕС, независимо от того, где находятся ваши серверы. Практическая граница для скрейперов ясна. Скрейпинг неперсональных данных обычно полностью находится вне GDPR: цены на продукты и спецификации, фондовые и рыночные показатели, новости и контент блогов, списки недвижимости, государственная статистика. Как только ваш набор данных содержит имена, адреса электронной почты, номера телефонов, фотографии, профили — или менее очевидные идентификаторы, такие как IP-адреса, идентификаторы cookie и отпечатки устройств — вы обрабатываете персональные данные, и на вас распространяется полная сила регулирования. Данные о здоровье, биометрические и аналогичные «специальные категории» данных поднимают планку еще выше, обычно требуя явного согласия. Если ваша цель — цены и данные каталогов, вы в основном в безопасности; более широкая правовая картина за пределами GDPR находится в является ли веб-скрейпинг законным в 2026 году.

Почему законный интерес — это ваша единственная реалистичная основа

Статья 6 GDPR перечисляет шесть законных оснований, но только одно подходит для крупномасштабного скрейпинга. Согласие непрактично — вы не можете получить информированное согласие от миллионов людей, чьи данные вы еще не собрали. Договорная необходимость не подходит, потому что у вас нет отношений с субъектами данных. Остается законный интерес, и Рабочая группа ChatGPT EDPB и французская CNIL оба подтверждают его как стандартное основание — с условиями. Он требует документированного трехчастного теста: интерес действительно законный, обработка необходима и не чрезмерна, и она не перевешивает права и разумные ожидания людей, чьи данные вы собираете. Запишите эту Оценку Законного Интереса до того, как начнете скрейпинг; «если вы не можете доказать соответствие, вы не соответствуете» — это принцип, который применяют регуляторы.

Контрольный список, показывающий, какие данные, собранные скрейпингом, находятся вне GDPR, такие как цены и новости, по сравнению с данными, которые запускают GDPR, такие как имена, электронные адреса, IP-адреса и профили — Триггер — это персональные данные резидентов ЕС и ничего больше. Цены, акции и новости обычно ясны; все, что идентифицирует человека, влечет за собой все регулирование.

За что на самом деле наказывали недавние штрафы

Применение за последние два года точно показывает, где сосредоточен риск. Голландская DPA оштрафовала Clearview AI на 30,5 миллиона евро в 2024 году за создание базы данных распознавания лиц из скрейпинга публичных изображений без информирования людей или предоставления доступа и удаления — итальянский регулятор уже наложил штраф в 20 миллионов евро за ту же модель. Французская CNIL оштрафовала KASPR на 240 000 евро в декабре 2024 года за скрейпинг контактных данных LinkedIn, включая пользователей, которые ограничили их видимость, в базе данных примерно из 160 миллионов контактов. Польская DPA наложила штраф в 220 000 евро на брокера данных, который скрейпил публичные бизнес-регистры, охватывающие миллионы людей, а затем утверждал, что уведомление их было «непропорциональным усилием» — регулятор это категорически отверг. Потолок всего этого — максимальный штраф GDPR в размере 20 миллионов евро или 4% от мирового годового дохода, в зависимости от того, что больше.

Изучите эти случаи, и картина будет последовательной: нарушения заключались в том, что люди не были информированы, их права игнорировались, собирались ограниченные или чрезмерные персональные данные, и продолжалось после того, как было сказано остановиться. Ни одно из них не основывалось на «скрейпинг незаконен» — они основывались на том, как обрабатывались персональные данные.

Контрольный список инженера

Переведите принципы в шаги, которые вы выполняете, а не в политику, которую вы оформляете. До и во время любой работы, касающейся персональных данных:

Минимизируйте на этапе сбора. Храните только те поля, которые вам действительно нужны для вашей документированной цели. Если вам нужен текст комментария, не храните имя и псевдоним комментатора вместе с ним.
Ограничьтесь свободно доступными данными. Руководство CNIL говорит оставаться на публичных страницах, которые не требуют входа — не скрейпьте за аутентификацией или за настройками ограниченной видимости.
Уважайте технические возражения. robots.txt и CAPTCHA — это сигналы, что сайт не хочет автоматического сбора; игнорирование их ослабляет вашу юридическую позицию. Подробности в robots.txt на практике.
Установите ограничения на хранение. Удаляйте персональные данные, как только они выполнили свою цель; бессрочное хранение — это нарушение ограничения на хранение.
Планируйте для Статьи 14 и DSAR. Будьте готовы информировать субъектов данных и обрабатывать запросы на доступ и удаление — это неудача, которая погубила случаи Clearview и Польши.
Проведите DPIA для крупномасштабного или более рискованного сбора и храните документацию.

Два из этих шагов буквально код. Минимизация — это фильтр, который отбрасывает PII, которые вы не собирались собирать:

KEEP = {"product", "price", "currency", "rating", "review_text"}
PII  = {"reviewer_name", "email", "user_id", "ip"}

def minimize(record):
    # keep only declared fields; never persist PII you did not need
    return {k: v for k, v in record.items() if k in KEEP and k not in PII}

А уважение к заявленным пожеланиям сайта — это проверка, которую вы делаете перед первым запросом, используя стандартную библиотеку:

import urllib.robotparser as rp

def allowed(url, ua="MyResearchBot"):
    r = rp.RobotFileParser()
    r.set_url(url.rstrip("/").split("/", 3)[0] + "//" +
              url.split("/")[2] + "/robots.txt")
    r.read()
    return r.can_fetch(ua, url)

Статистическая панель недавних штрафов ЕС по GDPR за веб-скрейпинг персональных данных: Clearview AI, KASPR LinkedIn скрейпинг, случай с польским регистром и ограничение в 4 процента от дохода — Штрафы наказывали за обработку, а не за сам скрейпинг: отсутствие уведомления, игнорирование прав, чрезмерные или ограниченные данные и продолжение после того, как было сказано остановиться.

Где прокси подходят — и где нет

Прокси — это инфраструктура для надежного доступа к публичным данным из нужной географии; они не являются обходным путем для соответствия. Маршрутизация скрейпинга через scraper API или резидентные IP не изменяет того, есть ли у вас законная основа, и не «отмывает» персональные данные, которые вы не должны собирать. Где они действительно помогают — это удерживать вас на пути соответствия: собирать только публичные, неперсональные данные в больших масштабах — цены, каталоги, рыночные сигналы — что именно является низкорисковой работой, в которой на самом деле нуждаются большинство команд. Если ваш проект действительно касается данных людей, таких как исследование B2B-контактов, рассматривайте соответствие как ограничение дизайна с самого начала, как мы формулируем в LinkedIn публичные данные и соответствие.

Часто задаваемые вопросы

Является ли веб-скрейпинг законным в соответствии с GDPR?

Скрейпинг не запрещен GDPR, но обработка персональных данных резидентов ЕС требует законной основы и соблюдения принципов регулирования. Если вы скрейпите только неперсональные данные — цены, уровни запасов, новости — GDPR, как правило, не применяется. Если ваши данные идентифицируют людей, вам нужна документированная основа (обычно законный интерес), минимизация данных, ограничения на хранение и способ уважать права субъектов данных.

Какие персональные данные я могу скрейпить, не нарушая GDPR?

Самая безопасная позиция — избегать персональных данных вообще: данные о продуктах, ценах, запасах, рынке, новостях и публичной статистике обычно находятся вне GDPR. Когда вам необходимо обрабатывать персональные данные, ограничьте их свободно доступной публичной информацией, собирайте только то, что требует ваша документированная цель, и будьте готовы информировать людей и обрабатывать запросы на удаление. Избегайте данных специальной категории, таких как информация о здоровье, если у вас нет явного согласия.

Применяется ли GDPR, если моя компания находится за пределами ЕС?

Да. GDPR применяется на основе того, чьи данные вы обрабатываете, а не где вы находитесь. Если вы скрейпите персональные данные лиц в ЕС или ЕЭЗ, регулирование применяется независимо от страны вашей компании. Скрейпинг данных, касающихся только лиц, не входящих в ЕС, подпадает под законы этих юрисдикций, но случаи ЕС показывают, что регуляторы будут преследовать иностранных операторов, обрабатывающих данные резидентов ЕС.

Каков максимальный штраф GDPR за скрейпинг?

Потолок GDPR составляет 20 миллионов евро или 4% от мирового годового дохода, в зависимости от того, что больше. Реальные штрафы за скрейпинг варьировались от шести цифр — 220 000 евро за скрейпинг регистра, 240 000 евро за скрейпинг контактов LinkedIn — до 30,5 миллиона евро против Clearview AI. Общая нить — это неправильное обращение с персональными данными: отсутствие уведомления, игнорирование прав и чрезмерный сбор.

Путь к соответствию уже, чем «скрейпить все, что публично», и гораздо шире, чем «скрейпинг незаконен». Оставайтесь на неперсональных данных, где можете, документируйте законный интерес и минимизируйте, где не можете, уважайте сигналы, которые дают вам сайты, и сохраняйте доказательства. Делайте это, и GDPR станет ограничением дизайна, а не угрозой.

Собирайте публичные, неперсональные данные с помощью Scraper API