学術研究のためのウェブスクレイピング: 倫理、出所、再現性
再現できないスクレイピングデータセットは貢献ではなく負担です。IRB、ピアレビュー、プラットフォームがAPIを変更した日を乗り越えるための研究用ウェブデータの収集方法をご紹介します。
学術研究のためのウェブスクレイピングは商業スクレイピングとは異なる基準があります。競合他社の価格をスクレイピングする小売業者は今日の数字が正確である必要がありますが、研究者はそれが何年も防御可能である必要があります - レビューアによって再現可能であり、倫理委員会によって承認され、出所に遡ることができる必要があります。プラットフォームがかつて簡単だった扉を閉じ始めたため、より多くの研究者が直接スクレイピングを行い、自分の研究を静かに破壊する方法で行っています。このガイドは、IRB、ピアレビュー、サイトが変更された日を乗り越えるための研究用ウェブデータの収集をカバーしています。これは実践的なガイダンスであり、法的アドバイスではありません。
なぜ研究者は再びスクレイピングをしているのか
長年、公式APIは礼儀正しい正面玄関でした。その扉は狭くなりました。Twitter/Xが2023年に無料の学術アクセスを終了したとき、代替プランは約月額100ドルで約10,000件の投稿から、月額数万ドルの企業アクセスまであり、ほとんどの研究予算を超えていました。Metaは2024年8月にCrowdTangleを閉鎖し、研究者が研究したかった米国の主要な選挙の数か月前でした。2024年のarXiv論文「研究のためのウェブスクレイピング: 法的、倫理的、制度的、科学的考慮事項」（Brown et al.）はこの変化を直接マッピングしています: APIが消えるか価格が上がると、慎重なスクレイピングが再現可能な研究の最後の手段になります。それが定義する方法 - 伝統的なHTML解析、未公開の内部APIからの収集、ブラウザプラグインの収集 - はそれぞれ異なる法的および倫理的重みを持ちます。
倫理とIRBは最初のリクエストの前に来る
データが人に触れる場合、倫理委員会がそうでないと言うまで、スクレイピングを人間対象研究として扱ってください。多くの機関は、収集の前にIRB相談とデータ管理計画を要求しており、「それは公開されていた」は包括的な免除ではありません。実践的なルール: 個人データを最小限に抑え、分析しないものを収集せず、安全に保管し、誰が識別される可能性があるかを文書化し、どのように保護するかを示します。公開の可視性はデータに到達できるかを決定しますが、それを収集し保持するべきかを決定するものではありません。EU居住者が関与する場合のプライバシー法の側面については、GDPRとスクレイピングされた個人データに関する私たちのノートを参照してください。
礼儀は方法であり、礼儀ではない
実行中にレート制限されたりブロックされたりするスクレイパーは、偏った再現不可能なサンプルを生成します - 研究にとって最悪の結果です。したがって、礼儀正しくすることは方法論的要件です。robots.txt（1994年に作成され、IETF RFC 9309として標準化された慣習）を尊重し、オフピーク時間にクロールし、二度と同じページを取得しないように積極的にキャッシュし、サイトを劣化させないように並行性を低く保ちます。安定した、よく分散されたリクエストは、サンプルを一貫して保つこともできます: 一部のページがブロックされ、他のページがブロックされない場合、データセットには説明できない穴があります。私たちの礼儀正しいスクレイピングガイドは適応的なペーシングを詳述しています。
特に学術的なソース - Google Scholar、引用数、構造化された検索結果 - に対しては、SERP APIを使用すると、学者向けの垂直検索でクリーンで解析済みの結果が返され、脆弱なクローラーをアンチボットウォールに対抗して維持する必要がありません。それにより、コレクションが再現可能になります: 同じクエリが毎回同じ構造化された形で返されます。
出所と再現性が成果物
引用可能なデータセットと逸話を分ける唯一の習慣: 解析前に生のレスポンスをタイムスタンプ付きでアーカイブすることです。サイトは変化します; 3月にスクレイピングしたページが6月にはなくなっているかもしれませんし、あなたが見たものを確認できないレビューアは結果を検証できません。生のHTMLまたはJSONを保持し、正確なクエリパラメータとツールのバージョンを記録し、データがどのように、いつ、どこから収集されたかを説明する短いデータセットカードを公開します。そして、出口地点を文書化してください。地理が結果を変えるからです - 価格、ランキング、可用性は国によって異なるので、「2026-03-01に米国の住宅出口を介して収集された」は方法の一部であり、詳細ではありません。Scraper APIがソースURLとコンテンツハッシュを含むmarkdownまたはJSONを返すことで、出所のトレイルを無料で提供します。
研究が論文の表ではなくモデルを供給する場合でも、同じ規律がトレーニングデータに適用されます - サンプリング、重複排除、ライセンスについては、ウェブからのMLデータセットの構築に関するガイドを参照してください。
研究者が日常的に忘れる出所の詳細の一つ: 成功だけでなく、収集の失敗も記録することです。サンプルの一部がエラーを返したり、レート制限されたり、ブロックされた場合、それはレビューアが正当に尋ねるバイアスの原因です - そして唯一の正直な答えは、どのURLが失敗したか、いつ、なぜを示すログです。意図したターゲットとその結果をペアリングするマニフェストを保持し、報告されたサンプルサイズが実際のものであり、ギャップが黙って削除されるのではなく文書化されるようにします。再現性は「誰かがこれを再実行できるか」だけではなく、「データセットが方法が主張するものを表しているか」であり、失敗のログはそれを証明する方法です。
法的枠組み、簡単に
研究のためのスクレイピングは、契約（サイトの利用規約）、CFAAのようなコンピュータアクセス法、動産侵害の請求、著作権、プライバシー/データ保護法など、いくつかの法律領域にまたがっています。確立された判例はほとんどなく、hiQ対LinkedIn - 数少ない控訴裁判決の一つ - は、公開データがCFAAの下で「無許可アクセス」ではないとしながら、契約とプライバシーの問題を未解決のままにしました。研究者のための安全な姿勢: 公開データを収集し、利用規約とrobotsを尊重し、個人データを最小限に抑え、機関の承認を得ることです。繰り返しますが、これは一般的な情報であり、法的アドバイスではありません - 機関の法律顧問と倫理委員会を巻き込んでください。
よくある質問
学術研究のためのウェブスクレイピングは合法ですか？
研究のために公開ウェブデータをスクレイピングすることは、多くの法域で一般的に合法です。hiQ対LinkedInは、公開データがCFAAの下で「無許可アクセス」ではないとしました。しかし、契約条件、著作権、プライバシー法は依然として適用され、判例は薄いです。公開データを収集し、サイトの利用規約とrobotsを尊重し、個人データを最小限に抑え、倫理委員会で承認を得てください。これは一般的な情報であり、法的アドバイスではありません。
データをスクレイピングするのにIRBの承認が必要ですか？
データが人を含む場合、おそらく必要です - 多くの機関は、収集が始まる前にIRBまたは倫理相談とデータ管理計画を要求します。公開の可用性は人間対象研究を自動的に免除しません。早めに委員会に相談してください; 研究の途中でデータセットが使用または公開できないことを発見するよりもはるかに安価です。
スクレイピングされたデータを再現可能にするにはどうすればよいですか？
解析前にタイムスタンプ付きで生のレスポンスをアーカイブし、正確なクエリ、ツールのバージョン、出口地点を記録し、収集方法を説明するデータセットカードを公開します。サイトは変化するため、生のアーカイブが後でレビューアがあなたの数値を確認することを可能にします。再現性は収集時の選択であり、後から追加できるものではありません。
APIを使用するべきですか、それとも直接スクレイピングするべきですか？
カバレッジとコストが合う場合は公式APIを使用してください - それが最も安定した再現可能なソースです。多くの研究に関連するAPIが閉鎖されたり価格が上がったりしているため、慎重なスクレイピングが復活しています。商業用ScraperまたはSERP APIはその中間に位置し、脆弱なクローラーを維持することなく再現可能な構造化出力を提供し、引用できる出所フィールドを提供します。
研究グレードのスクレイピングは巧妙なセレクタではなく、規律に関するものです。まず倫理を明確にし、サンプルが完全に保たれるように丁寧に収集し、タイムスタンプと出口地理を含む生データをアーカイブし、他の人が再構築できるように出所を文書化します。そうすれば、データセットはレビューアが信頼できる貢献となり、信頼に頼るブラックボックスではなくなります。