대규모 뉴스 스크래핑: Google News, RSS 및 신선도
뉴스 모니터링은 세 가지 예측 가능한 지점에서 중단됩니다: JavaScript로 렌더링된 검색, 페이지네이션 제한, 그리고 IP당 속도 제한입니다. 여기 이 세 가지를 모두 극복하는 파이프라인이 있습니다 — Google News, RSS, 중복 제거 및 신선도 SLA.
뉴스 모니터링은 해결된 문제처럼 들리지만, 매 시간마다 천 개의 출판사를 대상으로 실행하려고 하면 같은 세 가지 벽이 나타납니다. 이는 몇 년 전 잘 알려진 Scrapy와 Selenium 워크스루가 부딪힌 문제입니다: 필요한 검색 결과가 JavaScript로 렌더링되어 일반 HTTP 요청에는 빈 화면으로 돌아오고, 페이지네이션이 제한되어 있어 쿼리당 첫 백여 개의 결과만 가져올 수 있으며, 각 출판사는 IP별로 속도를 제한하여 단일 크롤러가 몇 백 개의 요청 후 멈춥니다. 대규모에서 생존하는 미디어 모니터링 파이프라인은 하나의 영리한 스크래퍼가 아니라 발견, 추출, 중복 제거 및 신선도의 계층화된 시스템입니다. 이 가이드는 Google News, RSS 및 깨끗한 기사 추출로 그 시스템을 구축하고 윤리선이 어디에 있는지 표시합니다.
발견: RSS와 Google News 수직
발견할 수 없는 것은 모니터링할 수 없으며, 모든 출판사의 홈페이지를 크롤링하는 것은 낭비입니다. 두 가지 발견 채널이 무거운 작업을 수행합니다. RSS 피드는 가장 저렴하고 깨끗하며 — 출판사가 승인한, 이미 구조화된, 그리고 간단히 폴링할 수 있는 — 하지만 커버리지는 불완전하고 역사는 얕습니다. Google News 수직은 이러한 간격을 메워줍니다: 주제와 국가별로 이야기를 표면화하며, 소스, 타임스탬프 및 스니펫이 이미 구문 분석되어 있습니다. News 인터페이스를 직접 스크래핑하는 대신, SERP API를 통해 쿼리하여 HTML 구문 분석 없이 JSON으로 수직을 반환받고, 차단 처리를 하지 않아도 됩니다:
curl -G "https://api.quantumproxies.io/serp" \
--data-urlencode "engine=google_news" \
--data-urlencode "q=semiconductor export controls" \
--data-urlencode "gl=us" \
--data-urlencode "hl=en" \
-H "Authorization: Bearer YOUR_API_KEY"같은 쿼리를 다른 gl 국가 코드로 실행하는 것은 하나의 이야기에 대한 지역적 커버리지를 포착하는 방법입니다 — 이는 같은 사건이 시장에 따라 다르게 프레임되기 때문에 중요합니다. News 및 다른 수직이 순진한 스크래핑을 저항하는 메커니즘에 대해서는 2026년의 SERP 스크래핑 작동 방식을 참조하십시오.
추출: 기사가 반격할 때
발견은 URL을 제공하고, 추출은 기사를 제공합니다. 많은 뉴스 사이트는 여전히 깨끗한 서버 렌더링 HTML을 제공하며, 이러한 사이트의 경우 회전 IP를 통한 간단한 요청으로 충분합니다. 그러나 주요 매체는 점점 더 기사를 — 적어도 검색 및 아카이브 페이지를 — 클라이언트 측에서 렌더링하고 있어, 원시 가져오기는 빈 껍데기를 반환합니다. 이는 빈 페이지, 누락된 데이터에서 다루는 정확한 실패 모드입니다. 헤드리스 브라우저 플릿을 실행하는 대신, 페이지를 실행하고 인덱싱할 준비가 된 깨끗한 마크다운을 반환하는 Scraper API에 렌더링을 맡기십시오:
import requests
def fetch_article(url, api_key):
r = requests.get(
"https://api.quantumproxies.io/scrape",
params={"url": url, "render": "auto", "output": "markdown"},
headers={"Authorization": f"Bearer {api_key}"},
timeout=(5, 40),
)
r.raise_for_status()
return r.json() # { title, byline, published, markdown, canonical }단일 크롤러 설정을 멈추게 하는 IP당 제한은 여기서 사라집니다. 요청이 자동으로 회전하는 주거용 풀에 분산되기 때문입니다. 자체 크롤러를 실행할 때는 전역이 아닌 도메인별로 동시성을 예산하십시오 — 이유는 속도 제한 해명에 있습니다.
정규화 및 중복 제거
다중 소스 뉴스의 혼란스러운 현실은 같은 이야기가 여러 번 호환되지 않는 형태로 도착한다는 것입니다. 날짜는 같은 배치에서 2021년 3월 24일, 2시간 전 및 ISO 타임스탬프로 나타나며, 바이라인은 형식이 다양하고, Associated Press나 Reuters의 와이어 스토리는 수십 개의 사이트에 그대로 재게시됩니다. 두 가지 정규화 단계가 이를 제어합니다:
- 모든 날짜를 UTC로 구문 분석하십시오. '어제'나 '3일 전'과 같은 상대적 문자열은 가져오기 시간에 대해 해결되어야 하며, 그렇지 않으면 신선도 논리가 조용히 깨집니다.
- 정규 URL로 중복 제거한 후, 콘텐츠 해시로 중복 제거하십시오.
<link rel="canonical">태그는 하나의 URL의 추적 매개변수 변형을 축소하고, 정규화된 본문의 해시는 다른 URL에 존재하는 배포된 와이어 복사를 잡아냅니다. - 소스 맵을 유지하십시오. 중복을 버리는 대신 이야기를 다룬 매체를 저장하십시오 — '40개의 매체에서 다뤄졌다'는 자체적으로 미디어 모니터링의 신호입니다.
신선도 SLA 및 일정
미디어 모니터링은 지연 시간으로 평가됩니다: 6시간 늦게 발견된 언급은 평판이나 거래 사용에 무가치합니다. 모든 것을 하나의 시계로 크롤링하는 대신, 폴링을 계층화하십시오. 핫 토픽 및 속보 쿼리는 몇 분마다 다시 폴링하고, 일상적인 키워드의 긴 꼬리는 매시간 또는 매일 실행합니다. 각 계층을 신선도 SLA로 취급하고 소스가 이를 놓치면 경고하십시오 — 데모와 프로덕션의 차이는 바로 이 모니터링 계층이며, 이는 프로덕션 소프트웨어로서의 스크래퍼 실행에서 다룹니다.
유료 벽의 경계
가장 가치 있는 보도 중 일부는 구독 뒤에 있으며, 이는 모니터링이 윤리와 만나는 지점입니다. 헤드라인, 스니펫, 출판 날짜 및 공개 기사 본문을 수집하는 것은 일반적인 미디어 모니터링입니다. 유료 벽을 우회하여 지불하지 않은 기사의 전체 텍스트를 가져오는 것은 저작권 및 서비스 약관에 영향을 미치는 다른 행위입니다. 내구성 있는 접근 방식은 공개적으로 제공되는 것을 인덱싱하고 — 헤드라인, 데크, 스니펫, 메타데이터 — 전체 읽기를 위해 소스로 연결하거나 피드를 판매하는 출판사로부터 라이선스를 받는 것입니다. 이는 정보 제공을 위한 지침이지 법률 자문이 아니며, 대규모로 진행할 경우 법률 자문과 함께 접근 방식을 확인하십시오.
자주 묻는 질문
Google News를 대규모로 스크래핑하려면 어떻게 해야 하나요?
Google News 수직을 인터페이스를 직접 스크래핑하는 대신 SERP API를 통해 쿼리하십시오. 주제 쿼리와 국가 및 언어를 위한 gl 및 hl 매개변수를 전달하면 소스, 타임스탬프 및 스니펫이 JSON으로 반환됩니다. 이는 자작 News 스크래퍼를 망치는 JavaScript 렌더링 및 IP 차단을 피하고, 국가 코드를 통해 쿼리를 실행하여 같은 이야기의 지역적 커버리지를 포착합니다.
기사를 스크래핑하기 위한 무료 뉴스 API가 있나요?
RSS 피드는 무료이며 출판사가 승인한 뉴스 피드에 가장 가까운 것이며, 첫 번째 발견 채널로 사용해야 합니다. 구조화되어 있고 폴링하기 저렴하지만, 커버리지가 불완전하고 역사가 얕습니다. 수천 개의 매체에 걸쳐 광범위하고 현재의 커버리지를 위해 RSS를 SERP 기반 뉴스 검색 및 직접 기사 추출과 결합해야 합니다. 단일 무료 소스는 전체 미디어 지형을 커버하지 않습니다.
왜 내 뉴스 스크래퍼가 빈 페이지를 반환하나요?
사이트는 JavaScript로 콘텐츠를 렌더링합니다 — 종종 검색 및 아카이브 페이지가 특히 그렇습니다 — 그래서 일반 HTTP 요청은 스크립트가 실행되기 전에 빈 HTML 껍데기를 받습니다. 브라우저 기반 또는 렌더링 스크래퍼 API로 페이지를 렌더링하거나 페이지가 호출하는 기본 JSON 엔드포인트를 찾으십시오. 빈 결과는 거의 항상 클라이언트 측 렌더링을 의미하며 네트워크 실패가 아닙니다.
뉴스 기사를 어떻게 중복 제거하나요?
두 번의 패스로 중복 제거하십시오: 먼저 페이지의 정규 링크 태그를 사용하여 URL 변형을 축소하여 추적 매개변수 복사본을 제거한 다음, 정규화된 기사 본문의 해시를 사용하여 다른 URL에 재게시된 배포된 와이어 스토리를 잡아냅니다. 중복을 완전히 삭제하는 대신 각 이야기를 다룬 매체의 맵을 유지하십시오 — 미디어 모니터링에서 이야기가 매체에 걸쳐 퍼지는 것은 핵심 지표입니다.
대규모 뉴스는 스크래핑 문제가 아니라 파이프라인 문제입니다. 발견, 추출, 정규화 및 신선도를 분리된 단계로 나누고, 커버리지를 위해 Google News 수직 및 RSS에 의존하며, 회전 IP와 렌더링 API가 단일 크롤러 빌드를 침몰시키는 JavaScript 및 속도 제한을 흡수하게 하십시오. 그렇게 하면 하나의 레이아웃 변경이 전체 시스템을 무너뜨리지 않습니다.