# GDPR и веб-скрейпинг: персональные данные, штрафы и контрольный список

GDPR не запрещает скрейпинг — он регулирует персональные данные. Вот когда он применяется, почему законный интерес — это ваша единственная реалистичная основа, за что наказывали недавние штрафы ЕС и контрольный список, который инженеры действительно могут использовать.

GDPR не запрещает веб-скрейпинг. Он регулирует обработку персональных данных, и скрейпинг сталкивается с ним только тогда, когда собираемые вами данные могут идентифицировать человека. Поймите это различие правильно, и большинство вопросов о соответствии решатся сами собой; ошибитесь, и вы унаследуете ту уязвимость, которую недавние меры ЕС сделали очень конкретной. Это руководство для инженеров, а не лекция: когда GDPR действительно применяется к скрейпингу, почему законный интерес — это реалистично ваша единственная законная основа, правила минимизации данных и уведомления, за игнорирование которых регуляторы продолжают наказывать, и контрольный список, который вы можете запустить перед началом работы. Это информативное руководство, а не юридическая консультация — для конкретного проекта привлекайте юриста по защите данных.

## Единственный вопрос, который имеет значение в первую очередь: это персональные данные?

GDPR определяет персональные данные как любую информацию, относящуюся к идентифицированному или идентифицируемому человеку, и он применяется к данным резидентов ЕС, независимо от того, где находятся ваши серверы. Практическая граница для скрейперов ясна. Скрейпинг неперсональных данных обычно полностью находится вне GDPR: цены на продукты и спецификации, фондовые и рыночные показатели, новости и контент блогов, списки недвижимости, государственная статистика. Как только ваш набор данных содержит имена, адреса электронной почты, номера телефонов, фотографии, профили — или менее очевидные идентификаторы, такие как IP-адреса, идентификаторы cookie и отпечатки устройств — вы обрабатываете персональные данные, и на вас распространяется полная сила регулирования. Данные о здоровье, биометрические и аналогичные «специальные категории» данных поднимают планку еще выше, обычно требуя явного согласия. Если ваша цель — цены и данные каталогов, вы в основном в безопасности; более широкая правовая картина за пределами GDPR находится в [является ли веб-скрейпинг законным в 2026 году](https://quantumproxies.io/blog/is-web-scraping-legal-2026).

## Почему законный интерес — это ваша единственная реалистичная основа

Статья 6 GDPR перечисляет шесть законных оснований, но только одно подходит для крупномасштабного скрейпинга. Согласие непрактично — вы не можете получить информированное согласие от миллионов людей, чьи данные вы еще не собрали. Договорная необходимость не подходит, потому что у вас нет отношений с субъектами данных. Остается **законный интерес**, и Рабочая группа ChatGPT EDPB и французская CNIL оба подтверждают его как стандартное основание — с условиями. Он требует документированного трехчастного теста: интерес действительно законный, обработка необходима и не чрезмерна, и она не перевешивает права и разумные ожидания людей, чьи данные вы собираете. Запишите эту Оценку Законного Интереса до того, как начнете скрейпинг; «если вы не можете доказать соответствие, вы не соответствуете» — это принцип, который применяют регуляторы.

![Собранная скрейпингом страница товара, разделенная по типам данных: цена, наличие, характеристики и текст листинга зеленым, имя автора отзыва, email и IP янтарным; карточка показывает, что цены, наличие и новости обычно находятся вне GDPR, тогда как имена, email, телефоны, IP и идентификаторы cookie являются персональными данными, а данные о здоровье или биометрия требуют явного согласия.](https://res.cloudinary.com/dmqliab0t/image/upload/f_auto,q_auto,w_1200/v1785335203/blog/generated/qp-b9-073-diag1.png)
*Триггер — это персональные данные резидентов ЕС и ничего больше. Цены, акции и новости обычно ясны; все, что идентифицирует человека, влечет за собой все регулирование.*

## За что на самом деле наказывали недавние штрафы

Применение за последние два года точно показывает, где сосредоточен риск. Голландская DPA оштрафовала Clearview AI на 30,5 миллиона евро в 2024 году за создание базы данных распознавания лиц из скрейпинга публичных изображений без информирования людей или предоставления доступа и удаления — итальянский регулятор уже наложил штраф в 20 миллионов евро за ту же модель. Французская CNIL оштрафовала KASPR на 240 000 евро в декабре 2024 года за скрейпинг контактных данных LinkedIn, включая пользователей, которые ограничили их видимость, в базе данных примерно из 160 миллионов контактов. Польская DPA наложила штраф в 220 000 евро на брокера данных, который скрейпил публичные бизнес-регистры, охватывающие миллионы людей, а затем утверждал, что уведомление их было «непропорциональным усилием» — регулятор это категорически отверг. Потолок всего этого — максимальный штраф GDPR в размере 20 миллионов евро или 4% от мирового годового дохода, в зависимости от того, что больше.

Изучите эти случаи, и картина будет последовательной: нарушения заключались в том, что люди не были информированы, их права игнорировались, собирались ограниченные или чрезмерные персональные данные, и продолжалось после того, как было сказано остановиться. Ни одно из них не основывалось на «скрейпинг незаконен» — они основывались на том, как обрабатывались персональные данные.

## Контрольный список инженера

Переведите принципы в шаги, которые вы выполняете, а не в политику, которую вы оформляете. До и во время любой работы, касающейся персональных данных:

- **Минимизируйте на этапе сбора.** Храните только те поля, которые вам действительно нужны для вашей документированной цели. Если вам нужен текст комментария, не храните имя и псевдоним комментатора вместе с ним.
- **Ограничьтесь свободно доступными данными.** Руководство CNIL говорит оставаться на публичных страницах, которые не требуют входа — не скрейпьте за аутентификацией или за настройками ограниченной видимости.
- **Уважайте технические возражения.** robots.txt и CAPTCHA — это сигналы, что сайт не хочет автоматического сбора; игнорирование их ослабляет вашу юридическую позицию. Подробности в [robots.txt на практике](https://quantumproxies.io/blog/robots-txt-web-scraping-ethics).
- **Установите ограничения на хранение.** Удаляйте персональные данные, как только они выполнили свою цель; бессрочное хранение — это нарушение ограничения на хранение.
- **Планируйте для Статьи 14 и DSAR.** Будьте готовы информировать субъектов данных и обрабатывать запросы на доступ и удаление — это неудача, которая погубила случаи Clearview и Польши.
- **Проведите DPIA** для крупномасштабного или более рискованного сбора и храните документацию.

Два из этих шагов буквально код. Минимизация — это фильтр, который отбрасывает PII, которые вы не собирались собирать:

```python
KEEP = {"product", "price", "currency", "rating", "review_text"}
PII  = {"reviewer_name", "email", "user_id", "ip"}

def minimize(record):
    # keep only declared fields; never persist PII you did not need
    return {k: v for k, v in record.items() if k in KEEP and k not in PII}
```

А уважение к заявленным пожеланиям сайта — это проверка, которую вы делаете перед первым запросом, используя стандартную библиотеку:

```python
import urllib.robotparser as rp

def allowed(url, ua="MyResearchBot"):
    r = rp.RobotFileParser()
    r.set_url(url.rstrip("/").split("/", 3)[0] + "//" +
              url.split("/")[2] + "/robots.txt")
    r.read()
    return r.can_fetch(ua, url)
```

![Четыре штрафа ЕС за скрейпинг персональных данных: 30,5 млн евро от нидерландского DPA в 2024 году, 20 млн евро от итальянского регулятора, 240 000 евро от CNIL в декабре 2024 года и 220 000 евро от польского DPA; карточка показывает потолок в 4% глобальной выручки или 20 млн евро и то, за что наказывали: отсутствие уведомления, игнорирование прав.](https://res.cloudinary.com/dmqliab0t/image/upload/f_auto,q_auto,w_1200/v1785335203/blog/generated/qp-b9-073-diag2.png)
*Штрафы наказывали за обработку, а не за сам скрейпинг: отсутствие уведомления, игнорирование прав, чрезмерные или ограниченные данные и продолжение после того, как было сказано остановиться.*

## Где прокси подходят — и где нет

Прокси — это инфраструктура для надежного доступа к публичным данным из нужной географии; они не являются обходным путем для соответствия. Маршрутизация скрейпинга через [scraper API](https://quantumproxies.io/scraper-api) или резидентные IP не изменяет того, есть ли у вас законная основа, и не «отмывает» персональные данные, которые вы не должны собирать. Где они действительно помогают — это удерживать вас на пути соответствия: собирать только публичные, неперсональные данные в больших масштабах — цены, каталоги, рыночные сигналы — что именно является низкорисковой работой, в которой на самом деле нуждаются большинство команд. Если ваш проект действительно касается данных людей, таких как исследование B2B-контактов, рассматривайте соответствие как ограничение дизайна с самого начала, как мы формулируем в [LinkedIn публичные данные и соответствие](https://quantumproxies.io/blog/linkedin-public-data-scraping-compliance).

## Часто задаваемые вопросы

### Является ли веб-скрейпинг законным в соответствии с GDPR?

Скрейпинг не запрещен GDPR, но обработка персональных данных резидентов ЕС требует законной основы и соблюдения принципов регулирования. Если вы скрейпите только неперсональные данные — цены, уровни запасов, новости — GDPR, как правило, не применяется. Если ваши данные идентифицируют людей, вам нужна документированная основа (обычно законный интерес), минимизация данных, ограничения на хранение и способ уважать права субъектов данных.

### Какие персональные данные я могу скрейпить, не нарушая GDPR?

Самая безопасная позиция — избегать персональных данных вообще: данные о продуктах, ценах, запасах, рынке, новостях и публичной статистике обычно находятся вне GDPR. Когда вам необходимо обрабатывать персональные данные, ограничьте их свободно доступной публичной информацией, собирайте только то, что требует ваша документированная цель, и будьте готовы информировать людей и обрабатывать запросы на удаление. Избегайте данных специальной категории, таких как информация о здоровье, если у вас нет явного согласия.

### Применяется ли GDPR, если моя компания находится за пределами ЕС?

Да. GDPR применяется на основе того, чьи данные вы обрабатываете, а не где вы находитесь. Если вы скрейпите персональные данные лиц в ЕС или ЕЭЗ, регулирование применяется независимо от страны вашей компании. Скрейпинг данных, касающихся только лиц, не входящих в ЕС, подпадает под законы этих юрисдикций, но случаи ЕС показывают, что регуляторы будут преследовать иностранных операторов, обрабатывающих данные резидентов ЕС.

### Каков максимальный штраф GDPR за скрейпинг?

Потолок GDPR составляет 20 миллионов евро или 4% от мирового годового дохода, в зависимости от того, что больше. Реальные штрафы за скрейпинг варьировались от шести цифр — 220 000 евро за скрейпинг регистра, 240 000 евро за скрейпинг контактов LinkedIn — до 30,5 миллиона евро против Clearview AI. Общая нить — это неправильное обращение с персональными данными: отсутствие уведомления, игнорирование прав и чрезмерный сбор.

Путь к соответствию уже, чем «скрейпить все, что публично», и гораздо шире, чем «скрейпинг незаконен». Оставайтесь на неперсональных данных, где можете, документируйте законный интерес и минимизируйте, где не можете, уважайте сигналы, которые дают вам сайты, и сохраняйте доказательства. Делайте это, и GDPR станет ограничением дизайна, а не угрозой.

[Собирайте публичные, неперсональные данные с помощью Scraper API](https://quantumproxies.io/scraper-api)