Raccolta Prezzi Alimentari: Dati a Livello di Negozio e CAP su Larga Scala

I prezzi dei generi alimentari sono iper-locali: lo stesso articolo costa importi diversi a seconda del negozio e del CAP. Catturare ciò significa richieste geo-mirate e corrispondenza UPC. Ecco come costruire un dataset di prezzi a livello di negozio che regge.

La determinazione dei prezzi alimentari è uno dei dataset più iper-locali sul web. La stessa scatola di cereali può costare $4,29 in una catena e $5,19 in un'altra a pochi chilometri di distanza, e le piattaforme di consegna offrono prezzi diversi a seconda del negozio e del codice postale impostato. Questa variabilità è esattamente il motivo per cui i dati sono preziosi — per i marchi CPG che monitorano l'esecuzione al dettaglio, per gli strumenti di confronto, per chiunque misuri l'inflazione sugli scaffali. Ma significa anche che non puoi semplicemente raccogliere un prezzo nazionale; devi catturare i prezzi per negozio e per CAP, il che è un problema di geo-targeting e corrispondenza dei prodotti. Questa guida copre come raccogliere i prezzi dei generi alimentari a livello di negozio, abbinare i prodotti tramite UPC e costruire un indice di carrello che regge. È un'informazione generale, non un consiglio legale — rispetta i termini di ciascun sito.

Perché la differenza è l'opportunità

I numeri fanno il caso. Quando Consumer Reports ha commissionato un confronto di carrelli tra catene in sei città rappresentative degli Stati Uniti, il divario tra il negozio mainstream più economico e quello più caro in ciascuna città ha superato il 33% — ed è cresciuto ulteriormente includendo club di magazzino e negozi specializzati. I prezzi alimentari sono aumentati del 25,5% tra dicembre 2020 e dicembre 2024 secondo i dati del Bureau of Labor Statistics analizzati dalla Fed di St. Louis, con il caffè da solo in aumento di circa il 20% anno su anno. Gli indici settimanali che tracciano questo provengono da oltre 150.000 negozi. Un dataset che cattura chi è il più economico, dove, e come cambia di settimana in settimana è davvero difficile da assemblare a mano — ed è ciò che lo rende difendibile una volta automatizzato.

La posizione controlla il prezzo, quindi controlla la richiesta

La tecnica principale: per vedere i prezzi locali di un negozio devi presentarti come un acquirente nell'area di quel negozio. Su molti siti di generi alimentari e consegne, i prezzi si risolvono solo una volta impostato un CAP di consegna o scelto un negozio specifico, e il sito lo collega alla tua sessione e spesso alla posizione del tuo IP. Quindi la richiesta ha due parti mobili — il negozio/CAP impostato nel payload, e un IP di uscita che si trova nella stessa regione in modo che il sito si fidi della posizione. Un IP residenziale nella metropoli target è ciò che sblocca il corretto prezzo locale; un IP di datacenter in un altro stato può darti una vista predefinita o bloccata.

import httpx

# A residential exit in the target region unlocks that region's prices
def region_proxy(state):
    return f"http://USER:PASS-country-us-region-{state}@gate.quantumproxies.io:8000"

HEADERS = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36",
    "accept": "application/json",
}

def fetch_store_price(store_api_url, zip_code, state):
    # Many stores accept the ZIP as a cookie/param that scopes pricing
    r = httpx.get(
        store_api_url,
        params={"zipCode": zip_code},
        headers={**HEADERS, "cookie": f"store_zip={zip_code}"},
        proxy=region_proxy(state),
        timeout=30,
    )
    return r.json()

Leggi il JSON di idratazione, non il prezzo reso

I siti moderni di generi alimentari sono pesantemente resi lato client e — come la maggior parte delle grandi app di e-commerce — incorporano i dati dei prodotti come JSON nella pagina piuttosto che solo dipingerli sullo schermo. Cerca un payload di idratazione (spesso in un tag <script> come __NEXT_DATA__ o un oggetto di stato specifico del negozio) che trasporta il prezzo, lo stato delle scorte e, soprattutto, l'UPC o GTIN. Leggere quel JSON è molto più robusto che raccogliere un elemento di prezzo reso, e ti dà il codice a barre necessario per la corrispondenza. La nostra nota su perché uno scraper restituisce una pagina vuota copre come trovare questi payload quando l'HTML visibile sembra vuoto.

import re, json

def extract_hydration(html: str) -> dict:
    m = re.search(r'<script id="__NEXT_DATA__"[^>]*>(\{.+?\})</script>',
                  html, re.DOTALL)
    if not m:
        raise ValueError("hydration payload not found")
    return json.loads(m.group(1))

def parse_product(state_json: dict) -> dict:
    p = state_json["props"]["pageProps"]["product"]
    return {
        "upc": p.get("upc") or p.get("gtin"),
        "name": p.get("name"),
        "price": p["price"]["current"],
        "in_stock": p.get("availabilityStatus") == "IN_STOCK",
    }

Abbina tramite UPC, mai tramite nome

L'errore più grande nei dati sui prezzi alimentari è abbinare i prodotti tramite nome. "Cheerios Family Size," "Cheerios Family Size 18oz" e "General Mills Cheerios (Family Size)" sono lo stesso articolo con tre etichette in tre negozi diversi — abbina sul nome e il tuo confronto è rumore. Abbina invece sul codice a barre UPC/GTIN, che è lo stesso indipendentemente da come ciascun negozio intitola il prodotto. Ogni serio strumento di confronto alimentare fa questo; è ciò che rende significativo un carrello trasversale ai negozi.

from collections import defaultdict

# Group scraped rows by barcode so each item lines up across stores
def compare_by_upc(rows: list[dict]) -> dict:
    by_upc = defaultdict(dict)
    for r in rows:                      # r = {store, upc, price, ...}
        if r.get("upc"):
            by_upc[r["upc"]][r["store"]] = r["price"]
    # cheapest store per item
    return {upc: min(prices, key=prices.get) for upc, prices in by_upc.items()}

Dalle righe abbinate tramite codice a barre puoi costruire la metrica che conta: un indice di carrello. Definisci un carrello fisso di articoli comuni, prezzalo in ogni negozio per CAP, e totalizzalo — quel singolo numero, tracciato nel tempo, è ciò che rivela le differenze del 33% e l'inflazione di settimana in settimana. Poiché stai eseguendo la stessa raccolta in molte località e negozi, la rotazione per richiesta attraverso un pool di proxy residenziali mantiene qualsiasi uscita dall'apparire anormale pur preservando il geo impostato.

Raccogli i prezzi locali dei generi alimentari su IP geo-mirati

Scalare a un dataset reale

Un feed di prezzi alimentari in produzione è una matrice: negozi × CAP × prodotti × tempo. Sono molte richieste, ed è qui che il fai-da-te diventa pesante — stai gestendo sessioni legate al geo, payload di idratazione che cambiano tra i deploy, e livelli anti-bot sulle catene più grandi. Un Scraper API che rende quando necessario, ruota IP geo-mirati e restituisce JSON pulito collassa la maggior parte di ciò in una chiamata, così puoi concentrare i tuoi sforzi sulla logica del carrello invece che sull'impianto idraulico. Per il lato della strategia di prezzo degli stessi dati, vedi le nostre guide su monitoraggio dei prezzi dei concorrenti e costruzione di un livello di dati di confronto prezzi.

Domande frequenti

Come faccio a raccogliere i prezzi dei generi alimentari per località?

Imposta il negozio o il CAP di consegna nella richiesta (di solito un parametro o un cookie) e instrada tramite un proxy residenziale il cui IP di uscita si trova in quella regione, in modo che il sito si fidi della posizione e restituisca i prezzi locali. Poi leggi il prezzo e l'UPC dal JSON di idratazione della pagina piuttosto che dall'elemento reso. Ripeti per CAP per costruire una matrice geografica.

Perché abbinare i prodotti alimentari tramite UPC invece che tramite nome?

Perché i negozi intitolano lo stesso articolo in modo diverso — dimensioni, ordine dei marchi e abbreviazioni variano — quindi l'abbinamento tramite nome produce false discrepanze e confronti rumorosi. Il codice a barre UPC o GTIN è identico tra i rivenditori per lo stesso prodotto, quindi abbinarlo ti consente di allineare i prezzi per lo stesso articolo in ogni negozio che raccogli.

I prezzi di consegna dei generi alimentari differiscono davvero per CAP?

Sì. Le piattaforme di generi alimentari e consegne limitano i prezzi, le promozioni e la disponibilità a un negozio, e i negozi sono legati al tuo CAP di consegna, quindi lo stesso prodotto può mostrare prezzi diversi in aree vicine. Consumer Reports ha trovato differenze di carrello superiori al 33% tra le catene più economiche e più care in una singola città, motivo per cui la raccolta specifica per località è importante.

È legale raccogliere i prezzi dei generi alimentari?

Raccogliere prezzi visibili pubblicamente è comune — i mezzi di informazione e gli indici di prezzo lo fanno settimanalmente — ma dipende dai termini del sito e dalla tua giurisdizione. Attieniti alle pagine dei prodotti pubbliche, evita i dati personali e le aree con accesso riservato, dosa le tue richieste e ottieni consulenza legale per uso commerciale. Questa è un'informazione generale, non un consiglio legale.

I dati sui prezzi alimentari vivono e muoiono sulla localizzazione e l'identità. Imposta il negozio e il CAP, presentati da un IP residenziale nella regione, leggi il JSON di idratazione e abbina tramite UPC — poi totalizza il carrello e traccialo nel tempo. Fai questo su abbastanza negozi e CAP e possiedi un dataset che un confronto manuale non potrebbe mai tenere il passo.

Costruisci il tuo feed di prezzi alimentari con lo Scraper API