웹에서 머신러닝 훈련 데이터를 수집하는 방법

모델은 쉬운 부분입니다. 오픈 웹에서 깨끗하고, 중복되지 않으며, 법적으로 문제가 없고, 갱신 가능한 훈련 세트를 소싱하는 것이 실제로 프로젝트가 지연되는 부분입니다. 여기 전체 수집 파이프라인이 있습니다.

모델 훈련은 종종 쉬운 부분입니다. 머신러닝 프로젝트를 지연시키는 단계는 상류에 있습니다: 오픈 웹에서 깨끗하고, 중복되지 않으며, 법적으로 문제가 없고, 갱신 가능한 훈련 세트를 조립하는 것입니다. 원시 페이지를 얻는 것은 저렴합니다 — 크롤러가 그 일을 합니다 — 하지만 그것들을 사용 가능한 행으로 변환하는 것이 진짜 작업이며, 이 가이드는 그것을 다룹니다: 소싱, 구조화된 텍스트로의 정리, 중복 제거, 샘플링, 라이선싱, 그리고 모델이 오래되지 않도록 유지하는 갱신 파이프라인.

스크래퍼가 아닌 신호로 시작하세요

수집 코드를 작성하기 전에, 모델이 배워야 할 정확한 내용을 정의하고 그 신호를 담고 있는 소스를 정의하세요. 데이터는 세 가지 형태로 제공되며 각각 다른 수집 비용이 있습니다: 구조화된 (테이블, 제품 피드 — 파싱하기 쉬움), 반구조화된 (JSON, CSV, XML 엔드포인트 — 종종 사이트가 노출하는 가장 깨끗한 것), 비구조화된 (기사 텍스트, 리뷰, 포럼 스레드). 비구조화된 콘텐츠는 전체 데이터의 80-90%를 차지하며, 그 중 약 0.5%만이 실제로 사용된다고 보고됩니다. 이는 잘 구축된 웹 데이터셋이 메우는 정확한 격차입니다. 확장하기 전에 어떤 형태를 원하는지 결정하세요.

원시 HTML이 아닌 깨끗한 텍스트로 크롤링하세요

원시 HTML을 훈련 파이프라인에 공급하는 것은 탐색, 광고, 쿠키 배너 및 스크립트 태그 — 데이터셋을 저하시키는 잡음을 공급하는 것입니다. 지속 가능한 방법은 깨끗하고 구조화된 텍스트로 직접 크롤링하는 것입니다. 마크다운을 반환하는 Scraper API는 보일러플레이트를 제거해 주므로, 수천 페이지의 크롤링이 태그 수프 대신 읽을 수 있는 콘텐츠로 도착합니다:

import requests

def fetch_clean(url):
    r = requests.get(
        "https://api.quantumproxies.io/scrape",
        params={"url": url, "format": "markdown"},
        headers={"Authorization": "Bearer YOUR_API_KEY"},
        timeout=60,
    )
    return r.json()["content"]  # boilerplate-stripped markdown

corpus = [fetch_clean(u) for u in seed_urls]

마크다운은 구조(제목, 목록, 테이블)를 유지하면서 프레젠테이션 레이어를 제거하기 때문에 좋은 목표입니다 — 이것이 RAG 파이프라인 및 LLM 훈련에 선호되는 입력인 이유입니다. 대규모 수집 실행이 중간에 전체 작업을 차단하지 않도록 회전하는 주거용 IP를 통해 크롤링을 라우팅하세요.

모델을 망치기 전에 중복 제거하세요

유사 중복 문서는 웹 데이터셋의 조용한 살인자입니다 — 열 개 사이트에 걸쳐 배포된 동일한 기사, 보일러플레이트 푸터, 재게시된 콘텐츠. 그것들로 훈련하면 반복되는 것을 과대평가하게 됩니다. 각 문서의 정규화된 콘텐츠를 해시하고 충돌을 제거하세요; 유사 중복의 경우, 시글 또는 MinHash 접근법이 정확한 해시가 놓친 것들을 잡아냅니다:

import hashlib

def content_hash(text):
    norm = " ".join(text.lower().split())  # normalise whitespace/case
    return hashlib.sha256(norm.encode()).hexdigest()

seen, unique = set(), []
for doc in corpus:
    h = content_hash(doc)
    if h not in seen:
        seen.add(h)
        unique.append(doc)
print(f"kept {len(unique)} of {len(corpus)} after dedup")

여기서 계산한 콘텐츠 해시는 이중 역할을 합니다 — 다음 크롤에서 변경 사항을 감지하는 방법이기도 하므로 유지하세요.

의도적으로 샘플링하고, 정직하게 라이선스하세요

더 많은 데이터가 자동으로 더 나은 데이터는 아닙니다. 대표적인 샘플이 편향된 더미보다 낫습니다 — 크롤의 90%가 하나의 사이트 또는 하나의 언어라면, 모델은 그 편향을 학습합니다. 소스와 클래스 전반에 걸쳐 계층화된 샘플을 사용하여 세트가 실제로 모델링하고자 하는 분포를 반영하도록 하세요. 라이선싱에 관해서는: 웹 데이터가 자동으로 훈련에 무료로 사용할 수 있는 것은 아닙니다. 소스 조건에 따라 필터링하고, 적용되는 곳에서는 로봇 지시를 존중하며, 각 행과 함께 출처(소스 URL 및 가져온 날짜)를 유지하여 각 예제가 어디에서 왔는지 증명할 수 있도록 하세요. 2026년 스크래핑 합법성에 대한 우리의 노트는 개인 데이터 및 라이선싱 경계를 다룹니다 (정보 제공용, 법률 자문 아님).

기준 진실: 웹이 제공하지 않는 부분

지도 학습을 위해서는 레이블이 필요하며, 오픈 웹은 이를 거의 제공하지 않습니다. 일부 데이터셋은 본질적으로 레이블이 붙어 있습니다 (리뷰 옆의 평점, 문장의 다음 단어), 이는 대규모로 수집하기에 저렴한 이유입니다. 나머지는 기준 진실 단계가 필요합니다: 도메인 전문가에 의한 레이블링, 또는 마켓플레이스를 통한 크라우드소싱. 크라우드소싱을 할 경우, 알려진 답변 작업을 심고 그것들을 실패한 작업자를 거부하여 품질을 보호하세요 — 이는 잘 연구된 실패 모드입니다. 가능하다면 자연적으로 레이블이 붙은 웹 데이터를 선호하세요; 이는 일주일 만에 구축할 수 있는 데이터셋과 레이블링 예산이 필요한 데이터셋의 차이입니다.

갱신하세요, 데이터는 오래되기 때문입니다

수집은 한 번으로 끝나는 것이 아닙니다. 가격이 변하고, 페이지가 다시 작성되며, 새로운 콘텐츠가 나타납니다 — 고정된 스냅샷으로 훈련된 모델은 예측하려는 세계에서 멀어집니다. 첫날부터 갱신을 구축하세요: 일정에 따라 다시 크롤링하고, 각 페이지의 콘텐츠 해시를 마지막 실행과 비교하여 실제로 변경된 것만 다시 처리하세요. 이는 갱신 비용을 모든 것을 다시 다운로드하는 대신 실제 변경에 비례하도록 유지합니다:

def refresh(url, last_hash):
    text = fetch_clean(url)
    h = content_hash(text)
    if h == last_hash:
        return None          # unchanged, skip re-processing
    return {"url": url, "text": text, "hash": h, "fetched": now()}

빠르게 움직이는 도메인이나 크롤을 직접 실행하는 대신 관리된 피드를 소비하고 싶을 때, LLM을 위한 웹 데이터는 파이프라인을 유지하지 않고도 깨끗하고 갱신된 콘텐츠를 제공합니다.

대규모로 깨끗한 마크다운을 얻기 위해 웹을 크롤링하세요

자주 묻는 질문

머신러닝 훈련 데이터를 어디에서 얻나요?

세 가지 주요 소스: 기존 공개 데이터셋 (Kaggle, Google Dataset Search, 학술 말뭉치), 내부 1차 데이터, 크롤링을 통한 오픈 웹. 웹은 가장 크고 신선한 소스이지만 가장 많은 작업이 필요합니다 — 정리, 중복 제거, 샘플링 및 라이선싱. 많은 현대 모델의 경우, 관련 사이트를 크롤링하여 깨끗한 마크다운을 얻는 것이 이미 존재하지 않는 도메인별 데이터셋을 얻는 가장 빠른 방법입니다.

얼마나 많은 훈련 데이터가 필요합니까?

작업과 모델에 따라 다르며, 정직한 답변은: 작게 시작하고 성능이 정체될 때까지 확장하세요. 대표적인 샘플로 훈련하고, 보류된 테스트 세트에서 정확도를 측정한 다음 (70/30 분할이 일반적인 시작점입니다), 더 많은 데이터를 추가하고 메트릭이 계속 개선되는지 확인하세요. 품질과 대표성이 보통 원시 볼륨보다 더 중요합니다.

ML 훈련을 위해 웹 데이터를 스크래핑하는 것이 합법인가요?

공개 데이터를 수집하는 것은 대체로 방어할 수 있지만, 훈련 사용은 라이선싱 및 개인 데이터가 관련된 경우 프라이버시 문제를 제기합니다. 소스 조건에 따라 필터링하고, 필요하지 않은 개인 데이터를 피하고, 각 예제에 대한 출처를 유지하며, 적용되는 곳에서는 로봇 지시를 존중하세요. 이는 일반 정보이며 법률 자문이 아닙니다 — 대규모 상업 데이터셋의 경우 상담을 받으세요.

훈련 데이터셋을 신선하게 유지하려면 어떻게 해야 하나요?

재크롤링을 일정에 따라 계획하고, 변경 사항을 감지하기 위해 콘텐츠 해시를 사용하여 실제로 이동한 페이지만 다시 처리하세요. 데이터셋을 버전 관리하여 어떤 스냅샷이 어떤 모델을 훈련시켰는지 재현할 수 있도록 하고, 각 행에 가져온 날짜를 유지하세요. 변경 감지된 갱신은 모든 주기마다 전체 말뭉치를 다시 다운로드하는 대신 실제 변경에 비례하여 비용을 유지합니다.

모델이 주목을 받지만 데이터셋이 결과를 결정합니다. 올바른 신호를 소싱하고, 깨끗한 마크다운으로 크롤링하고, 중복을 철저히 제거하고, 정직하게 샘플링하고, 출처를 유지하며, 처음부터 갱신을 구축하세요. 수집 파이프라인을 올바르게 설정하면 그 이후의 모든 것이 쉬워집니다. 특히 미세 조정을 목표로 하고 있다면, 웹에서 미세 조정 데이터셋 구축에 대한 우리의 가이드가 여기서부터 이어집니다.

모델을 위한 갱신된 웹 데이터를 얻으세요