AIエージェントプロキシの帯域幅コスト:タスクごとの実際の数字

ブラウザエージェントは、ステップごとにすべての画像、フォント、トラッカーをダウンロードします。1タスクで8回のナビゲーションを行うと24 MB、1日1000タスクで月に約700 GBになります。ここでその内訳と削減方法を紹介します。

誰も予算に組み込まないAIエージェントプロキシの帯域幅コストは、ブラウザと共にやってきます。HTTPスクレーパーは解析するHTMLを取得して停止しますが、エージェントは実際のChromiumを駆動します:ビジョンステップが画像を見るために画像をダウンロードし、レイアウトが安定するためにウェブフォントをダウンロードし、誰もそれを止めなかったためにアナリティクスビーコンをダウンロードします。そしてそれをすべてのナビゲーション、すべての再試行、すべてのタスクで繰り返します。この投稿では計算を公開し、私たちの数字を信頼するのではなく自分の数字を測定する方法を示し、住宅用ギガバイトの請求を約10倍に削減するレバーをリストアップします。

計算:ページの重さ×ステップ×タスク

以前に公開した測定値から始めましょう:現代のページのフルブラウザレンダリングは、画像、メディア、フォント、サードパーティスクリプトが着地すると2-5 MB移動し、資産がブロックされた同じページはしばしば150 KB以下のHTMLです。新しいページロードの作業平均として3 MBを取ります。次にステップではなくナビゲーションを数えます - 1ページ内をクリックするエージェントはほとんど再ダウンロードしませんが、新しいURLはすべて新しいページです。現実的な研究または価格チェックタスクは約8つに触れます:

1タスクあたり7セントは些細に思えるかもしれませんが、それがエージェントの単位経済学で最大の項目になるまでです。トークンとは異なり、タスクの難しさではなくターゲットの重さに応じてスケールします:画像が多いマーケットプレイスでの些細なタスクは、テキストサイトでの複雑なタスクよりもコストがかかります。1 GBあたりの価格設定が初めての場合、住宅用ギガバイトが実際に何を購入するかの内訳が同じ方程式のページあたりのGB側をカバーしています。

自分のAIエージェントプロキシの帯域幅コストを測定する

私たちのものは平均です;あなたのものは完全にターゲットに依存します。Chromiumは行ったすべてのリクエストのHARファイルを書き出すことができ、ブラウザ使用はrecord_har_pathを通じてそれを公開します。record_har_mode="full"を使用してサイズフィールドを埋め、record_har_content="omit"を使用してすべてのレスポンスボディをファイルに埋め込むことなくバイト数を取得します:

from browser_use import Browser

browser = Browser(
    proxy={
        "server": "http://gate.quantumproxies.io:8000",
        "username": "USER",
        "password": "PASS",
    },
    record_har_path="./runs/task-01.har",
    record_har_mode="full",     # 'minimal' drops the size fields you need
    record_har_content="omit",  # sizes yes, response bodies no
)

次にそれを合計します。プロキシは両方向を請求するため、リクエストヘッダーもカウントされ、HARはサイズが不明な場合に-1を書き込みます - それらをゼロにクランプして静かに減算させないようにします:

import json, sys

har = json.load(open(sys.argv[1]))
entries = har["log"]["entries"]

def size(d, *keys):
    return sum(max(0, d.get(k, 0) or 0) for k in keys)

total = 0
by_type = {}
for e in entries:
    up = size(e["request"], "headersSize", "bodySize")
    down = size(e["response"], "headersSize", "bodySize")
    total += up + down
    mime = e["response"].get("content", {}).get("mimeType", "?").split(";")[0]
    by_type[mime] = by_type.get(mime, 0) + up + down

print(f"{len(entries)} requests, {total/1_048_576:.2f} MB billed")
for mime, n in sorted(by_type.items(), key=lambda kv: -kv[1])[:8]:
    print(f"  {n/1024:8.0f} KB  {mime}")

それを3つの代表的なタスクで実行すると、1タスクあたりの実際のコストがわかります。MIMEごとの内訳が有用な部分です:ほとんどの消費者サイトでは、上位の行は画像、ビデオ、フォント、アナリティクスであり、それらのどれもエージェントの推論を支えていません。

AIエージェントの帯域幅の統計:新しいページあたり3 MB、1タスクあたり24 MB、1日1000タスクで月に約700 GB、資産をブロックすると10倍の削減
3 MBずつの8ナビゲーションは1タスクあたり24 MBです。1日あたりのボリュームを掛けてから1 GBあたりのプランを選びます。

レバー1:エージェントが決して読まないもののダウンロードを停止する

これは大きなものであり、それ自体で5-10倍の価値があります。PlaywrightまたはPuppeteerでは、リクエストをインターセプトしてリソースタイプで中止します - レシピはプロキシGB請求を削減するガイドにあります。ブラウザ使用では、Chromiumの起動フラグをargsを通じて使用し、uBlock Origin、クッキー処理、URLクリーニングを含むデフォルトの拡張セットを出荷し、enable_default_extensionsで有効にするという2つの鈍いが効果的なツールがあります。それをオンにしておいてください - それが殺すすべての広告とトラッカーコールは、あなたが請求されないコールです。

browser = Browser(
    proxy=PROXY,
    enable_default_extensions=True,   # uBlock Origin: fewer tracker requests
    args=[
        "--blink-settings=imagesEnabled=false",   # no image bytes at all
        "--disable-remote-fonts",                 # no web font downloads
        "--autoplay-policy=user-gesture-required",# no video streaming itself
        "--mute-audio",
    ],
)

正直な注意点:画像を殺すことはビジョン駆動のエージェントを盲目にします。エージェントがスクリーンショットを基に推論する場合、出荷前に画像オフでテストしてください - 多くのタスクはDOMがまだテキストと構造を保持しているために生き残りますが、写真で製品を識別するタスクはそうではありません。それが壊れた場合、imagesEnabled=falseを削除し、フォント、メディア、トラッカーの節約を維持してください、それはまだ勝利の大部分です。

レバー2:エージェントを囲い込む

迷子になるエージェントは、計測された住宅ゲートウェイを通じてビデオをストリーミングするエージェントです。ブラウザ使用には、allowed_domainsprohibited_domainsがあり、両方を設定するとallowed_domainsが優先されます。*.example.comのようなパターンはサブドメインをカバーします;TLD位置のワイルドカードは意図的に拒否され、100エントリを超えるリストはセットに最適化されます。すべてのプロダクションエージェントに設定してください - それは安全性制御の前にコスト制御です。

レバー3:プロファイルを再利用し、再試行を制限する

実行ごとに新しいシークレットプロファイルを使用すると、HTTPキャッシュが空になるため、エージェントは同じサイトに対して同じロゴ、スタイルシート、フレームワークバンドルをすべてのタスクで再ダウンロードします。user_data_dirを永続的なディレクトリに向けることで、キャッシュが実行間でその役割を果たせます。トレードオフはアイデンティティです:キャッシュされたクッキーを持つプロファイルは安定したフィンガープリントであるため、プール全体を移動させるのではなく、1つのプロファイルを1つのスティッキーな出口IPに固定します - ペアリングはブラウザ使用プロキシ設定ガイドでカバーされています。

再試行は他の静かな乗数です。3 MBのページで3回の試行は、1回の失敗したナビゲーションを9 MBに変え、エージェントはモデルが「再試行する」と決定し続けるため、スクレーパーよりも多く再試行します。再試行を1回に制限し、再試行スイッチを同じブロックされたアドレスを通じて同じリクエストを繰り返すのではなく、出口IPを切り替えます。2つのIPを通じて2回の試行は、1つを通じて5回の試行よりも40%のバイトで優れています。

1 GBあたりの住宅用プロキシのコストを確認する

AIエージェントの帯域幅を削減するレバー - 資産のブロック、広告ブロック、ドメインフェンシング、プロファイル再利用、再試行制限 - を消費する習慣と比較するチェックリスト
4つのレバーを積み重ねると、ブラウジングエージェントは1タスクあたり24 MBから約2.4 MBに変わります。

レバー4:必要のないエージェントを使用しない

これは率直な部分です。パスが不明なとき、エージェントはそのコストを稼ぎます - データのURLを事前に書き留めることができなかったときに、検索し、読み、決定し、ナビゲートする必要があります。URLとフィールドが既にわかっている場合、それらを取得するためにブラウザを駆動するのは最も高価な方法です。Scraper APIは、抽出されたテキストの約30-60 KBとして同じページを提供します。なぜなら、資産のストリッピングと解析はエッジで行われ、結果に対して課金されるからです。市場全体で通常

-3/1000の成功リクエストで実行されるリクエストごとの価格設定では、8ページは数セントのコストです。

生産で勝つパターンはハイブリッドです:エージェントに探索と決定をさせ、反復可能な部分をAPIパスに渡します。価格が特定のURLの特定のフィールドにあることを発見したら、そのルックアップは再びブラウザを通じて行われるべきではありません。ヘッドレスブラウザ対HTTPリクエストのコストに関する私たちのメモは、古典的なスクレイピングのための同じトレードオフを定量化し、より広いエージェントスタックはAIエージェントのためのウェブインフラストラクチャにあります。

最適化された請求書の見え方

レバーを積み重ねて計算を再実行します。資産をブロックすると、新しいページの平均が3 MBから約300 KBに変わるため、8つのナビゲーションは24 MBではなく2.4 MBになります。1日1000タスクはその後約2.3 GB/日、70 GB/月 - 市場価格で$70-420、以前は$700-4,200でした。エージェントの能力には何も変わりませんでした;ただ見たことのない写真をダウンロードするのをやめただけです。

よくある質問

AIエージェントはどれくらいの帯域幅を使用しますか?

資産がオンの状態で新しいページロードあたり約3 MBを予算に入れ、8つのURLに触れるタスクで約24 MBです。ビデオが豊富なページは数倍高く、テキスト優先のサイトは低くなります。HAR記録で測定するのが良いです - ターゲットサイト間の広がりはエージェントフレームワーク間の広がりよりも大きいです。

なぜエージェントはスクレーパーよりも多くの帯域幅を消費するのですか?

スクレーパーは1つのドキュメントを取得して解析します。エージェントはページを完全にレンダリングします - 画像、フォント、メディア、アナリティクス - なぜならページをページのように振る舞わせる必要があるからであり、それをすべてのナビゲーションとすべての再試行で繰り返します。また、探索も行います:スクレーパーが決してリクエストしないページを訪問します、なぜならどのページが答えを持っているか事前に知らないからです。

LLM APIコールはプロキシを通りますか?

通るべきではありません。プロキシをブラウザセッションのみに設定してください。HTTP_PROXYまたはHTTPS_PROXYを環境変数として設定して徹底する場合、すべてのモデルリクエストが計測された住宅ゲートウェイを通じて移動します - プロンプトとレスポンスがすべてのステップで。これは純粋な無駄であり、既存のエージェントで見つけるのが最も簡単な大きな節約の1つです。

スクレイピングAPIはエージェントよりも安価ですか?

既知のURLと既知のフィールドに対しては、ほぼ常にそうです。数十キロバイトで測定される解析済みのMarkdownまたはJSONを受け取り、マルチメガバイトのレンダリングではありません。市場全体でのリクエストごとの価格設定は、通常

-3/1000の成功コールです。パスを発見する必要があるときにエージェントはそのコストに見合う価値があります - 探索に使用し、反復可能なルックアップをAPIに渡します。

エージェントはお金を節約するためにデータセンタープロキシを使用するべきですか?

ターゲットがそれを許容する場合、はい - データセンターバンド幅は1ギガバイトあたり数倍安く、速度も良いです。問題は、エージェントのトラフィックがすでに非人間的に見えるため、保護されたサイトでのデータセンターIPは失敗しがちで、失敗したタスクはそのバイトを2倍消費します。保護されていないターゲットにはデフォルトでデータセンターを使用し、IP評価でフィルタリングするサイトには住宅を予約します。

帯域幅はエージェント経済学における静かな項目であり、退屈なエンジニアリングに反応します:HARで測定し、エージェントが決して読まないものをブロックし、ドメインを囲い込み、キャッシュを再利用し、再試行を制限し、既に知っているURLのページのレンダリングを拒否します。すべてを行うと、700 GBの月が70 GBの月になり、能力の損失はありません。

1 GBあたりの料金で住宅用プロキシでエージェントを実行する