2026년 실제로 SERP 스크래핑이 작동하는 방식 (Google이 num=100을 제거하고 JavaScript를 요구한 후)
두 가지 조용한 변화 — 필수 JavaScript와 num=100 매개변수의 종료 —가 검색 스크래핑의 경제를 다시 썼습니다. 실제로 무엇이 변경되었는지, 왜 순위 추적기가 고장났는지, 그리고 2026년에 어떻게 SERP 데이터를 신뢰할 수 있게 수집할 수 있는지에 대한 내용입니다.
2025년 말에 갑자기 순위 추적기가 조용해졌거나 자체 개발한 Google 스크래퍼가 빈 페이지를 반환하기 시작했다면, 상상한 것이 아닙니다. 9개월 동안 Google은 개별적으로는 사소한 유지보수처럼 보이는 두 가지 변화를 일으켰으며, 함께 검색 스크래핑의 경제를 조용히 다시 썼습니다. 실제로 무엇이 변경되었는지, 왜 한 번에 많은 도구가 고장났는지, 그리고 2026년에 인프라나 IP를 소모하지 않고 SERP 데이터를 신뢰할 수 있게 수집하는 방법에 대한 실용적인 가이드입니다.
변화 하나: Google이 JavaScript를 필수로 만듦
2025년 1월 17일, Google은 Google 검색을 사용하기 위해 JavaScript를 요구하기 시작했습니다. 이를 끄면 결과 대신 "검색을 계속하려면 JavaScript를 켜십시오"라는 짧은 메시지가 표시됩니다. 회사 대변인은 TechCrunch에 "봇과 진화하는 형태의 남용 및 스팸으로부터 우리의 서비스와 사용자를 더 잘 보호하기 위해"라는 목표를 설명하며, JavaScript가 비활성화된 사용자가 0.1% 미만임을 확인했습니다.
그 0.1% 수치는 단서입니다. 하루에 약 85억 건의 검색 중 0.1%는 여전히 수백만 건의 요청이며, 그 중 상당 부분은 인간이 전혀 아니었습니다. 그것들은 순위 추적기, SEO 크롤러, 그리고 가벼운, JavaScript 없는 결과 페이지를 치는 저렴한 스크래퍼였습니다. Search Engine Journal은 이를 직접 확인했습니다: Google은 SEO 도구를 포함한 봇과 스크래퍼를 차단하기 위해 JavaScript를 요구하고 있습니다.
JavaScript를 활성화하면 봇과 진화하는 형태의 남용 및 스팸으로부터 우리의 서비스와 사용자를 더 잘 보호하고, 가장 관련성 있고 최신 정보를 제공할 수 있습니다.
실질적인 결과: URL을 가져와 정적 HTML에 정규식을 실행하여 Google을 파싱하는 시대는 끝났습니다. 결과는 이제 클라이언트 측에서 조립됩니다. 스크래퍼가 JavaScript를 실행할 수 없다면, 열화된 페이지를 보는 것이 아니라 페이지를 전혀 보지 못합니다.
변화 둘: num=100의 종료
두 번째 변화는 외관상으로는 작았지만 영향은 컸습니다. 2025년 9월 11일 경, Google은 &num=100 URL 매개변수를 비활성화했습니다 — 이는 검색에서 한 페이지에 100개의 결과를 반환하도록 지시하는 작은 플래그였습니다. 10년 동안 이는 심층 순위 추적의 중추였습니다: 한 번의 요청으로 100개의 위치를 확인할 수 있었습니다.
그것이 사라지자, 수학이 하룻밤 사이에 뒤집혔습니다. 상위 100개의 결과를 보려면 이제 한 번의 요청 대신 최대 10개의 페이지네이션된 요청이 필요합니다. Keyword Insights는 그 비용을 사건이 발생한 날에 간단히 설명했습니다.
Google이 n=100 SERP 매개변수를 제거했습니다. 이제 100개의 SERP 결과를 얻으려면 1번의 요청 대신 10번의 요청이 필요합니다 (비용이 10배 증가). 이는 우리의 순위 모듈에 영향을 미칩니다. 우리는 옵션을 검토 중이며 플랫폼을 곧 업데이트할 것입니다.
이 파장은 Google Search Console에도 영향을 미쳤습니다. 9월 10일 경부터 SEO 팀은 데스크톱 노출이 급격히 감소하고 평균 위치가 개선된 것으로 나타났습니다. 애널리스트 Brodie Clark의 이론 — 널리 논의되었지만 Google에 의해 확인되지 않은 — 은 이전의 많은 노출이 실제로 인간이 아니었음을 시사합니다: 그것들은 num=100을 통해 100개의 결과 페이지를 로드하는 봇이었으며, 각 페이지는 일반 페이지보다 10배 많은 노출을 기록했습니다. 매개변수를 제거하면 유령 노출도 함께 사라집니다. 이는 공식적인 설명은 아니지만, 시기적으로 정확히 맞아떨어집니다.
왜 이렇게 많은 도구가 한꺼번에 고장났는가
대부분의 SERP 도구는 수년 동안 모두 사실이었던 두 가지 가정에 기반하여 구축되었습니다: Google이 JavaScript 없이도 사용 가능한 HTML을 제공할 것이라는 것과, 요청당 100개의 결과를 가져올 수 있다는 것입니다. 같은 해에 두 가지 모두 제거되면 실패 모드가 겹칩니다:
- 정적 페처는 결과 대신 빈 페이지나 도전 페이지를 반환합니다.
- 페이지네이션 기반 수집기는 동일한 범위를 위해 10배의 요청 볼륨이 필요하며, 이는 10배의 프록시 대역폭과 10배의 차단 표면을 의미합니다.
- 동일한 IP 범위에서 더 많은 요청이 봇 방지 시스템을 더 빨리 작동시키므로, 성공률은 볼륨이 증가해야 할 때 정확히 떨어집니다.
- Search Console 기준선이 이동하여, 과거 대시보드는 더 이상 동일하게 비교되지 않습니다.
SEO 엔지니어 Ryan Jones가 설명한 대로, 공격적인 스크래핑 물결 — 이제 대부분 AI 제품에 공급되는 — 이 Google이 대응하게 만든 직접적인 원인이며, 그로 인해 순위 검사기와 SERP 스크래퍼가 부수적으로 고장났습니다. 도구가 잘못 작성되었기 때문에 실패한 것이 아닙니다. 그것은 기반이 움직였기 때문에 실패한 것입니다.
2026년에 신뢰할 수 있는 SERP 스크래핑의 모습
새로운 기준선에는 세 가지 필수 요소가 있습니다. 하나라도 놓치면 부하가 걸릴 때 성공률이 급락합니다.
1. JavaScript를 실행하라 — 하지만 꼭 필요할 때만
결과는 클라이언트 측에서 조립되므로, JavaScript를 실행하는 클라이언트가 필요합니다. 그러나 모든 요청에 대해 헤드리스 브라우저를 시작하는 것은 느리고 비용이 많이 듭니다. 효율적인 패턴은 먼저 가벼운, 실제 TLS 지문 페치를 시도하고, 페이지가 실제로 도전할 때만 전체 브라우저 렌더링으로 확장하는 것입니다. 대부분의 요청은 브라우저를 필요로 하지 않으며, 필요한 경우 자동으로 브라우저를 사용합니다.
2. 실제 브라우저 지문으로 주거용 출구를 회전하라
데이터센터 IP와 기본 HTTP 클라이언트 지문은 CAPTCHA로 가는 가장 빠른 길입니다. 요청은 주거용 IP에서 도착해야 하며, Chrome과 같은 진짜 브라우저의 TLS 및 헤더 지문을 가지고 있어야 합니다. 하나의 출구가 플래그되면, 새로운 출구로 회전하면 요청 자체에 대한 변경 없이 차단이 해제되는 경우가 많습니다 — 이는 "비정상적인 트래픽" 페이지에서 죽지 않고 회복하는 회복력 있는 수집기의 정확한 방법입니다.
3. 구조화된 데이터로 파싱하라, 원시 HTML이 아닌
Google의 마크업은 끊임없이 변화하며, num=100 이후 레이아웃은 덜 조각화된 것이 아니라 더 조각화되었습니다. 움직이는 목표에 대해 자신의 선택기를 유지하는 것은 전일제 작업입니다. 깨끗한 JSON을 반환하는 구조화된 SERP 엔드포인트 — 유기적 결과, 광고, 쇼핑, 지식 패널, People Also Ask, AI 개요 — 는 Google 측의 모든 미용적 변화를 파이프라인에서 격리합니다.
실제 패턴
브라우저, 프록시 풀, 파서를 직접 유지하는 대신, 쿼리를 엔드포인트에 전달하면 세 가지 모두를 처리하고 깨끗한 구조화된 결과를 반환합니다. QuantumProxies SERP API를 사용하면 단일 인증된 요청이 JavaScript 실행, 주거용 회전, 파싱을 처리합니다:
curl --location --request GET \
"https://app.quantumproxies.io/api/v1/serp/google/search?q=best+running+shoes&cc=us" \
--header "Authorization: Bearer YOUR_API_KEY"응답은 JSON이며, HTML이 아닙니다 — 위치가 있는 유기적 결과, 광고, 쇼핑 유닛, 지식 그래프, People Also Ask, AI 개요가 포함됩니다. 관리할 헤드리스 브라우저가 없고, Google이 페이지를 재구성할 때 수리할 선택기가 없으며, num=100이 무료로 제공하던 페이지네이션이 처리됩니다. 하나의 출구가 봇 방지 페이지에 걸리면, 서비스는 자동으로 새로운 주거용 IP로 재시도합니다 — 실제 부하에서 파이프라인을 유지하는 회복력 있는 회전-복구 동작입니다.
코드를 작성하기 전에 전체 요청 및 응답 형태를 보고 싶다면, https://quantumproxies.io/serp-api/docs의 인터랙티브 SERP API 문서를 통해 라이브 쿼리를 실행하고 cURL, Python, JavaScript, PHP, Go, Ruby에 대한 준비된 스니펫을 복사할 수 있습니다.
결론
SERP 스크래핑은 모호하고 점진적으로 더 어려워진 것이 아닙니다 — 1년 동안 두 번 형태가 바뀌었습니다. JavaScript는 이제 필수이므로 실제 클라이언트가 필요합니다. num=100은 사라졌으며, 심층 커버리지는 요청에서 한 차원 더 많은 비용이 들기 때문에 프록시 계층의 품질과 확장 논리의 지능이 이제는 원시 요청 볼륨보다 더 중요합니다. 2026년에 대규모로 깨끗한 SERP 데이터를 수집하는 팀은 더 많은 요청을 보내는 팀이 아닙니다. 그들은 더 스마트한 요청을 보내는 팀입니다 — JavaScript를 실행할 수 있고, 주거용 지문을 가지고 있으며, 처음부터 구조화된 요청을 보내는 팀입니다.