Per i gestori dei siti
FarmetricaBot
Come riconoscerlo
Si presenta sempre con lo stesso nome.
Ogni richiesta porta questo User-Agent:
FarmetricaBot/0.1 (+https://farmetrica.net/bot; info@farmetrica.net)Il nome da usare nelle regole di robots.txt è FarmetricaBot.
Le richieste partono sempre da questo indirizzo IP, che puoi autorizzare nel firewall o nel servizio di protezione del sito:
63.182.235.105FarmetricaBot ha una chiave Web Bot Auth (firme dei messaggi HTTP, RFC 9421) per firmare le richieste: le intestazioni Signature-Agent, Signature-Input e Signature dimostrano che una richiesta arriva davvero da FarmetricaBot, anche se qualcun altro usa il nostro User-Agent. La firma si attiva quando la chiave è stata verificata dalle reti di distribuzione dei siti. La chiave pubblica è qui:
https://farmetrica.net/.well-known/http-message-signatures-directoryCosa fa
Regole fisse, uguali per ogni sito.
- Legge robots.txt prima di visitare un sito e ne rispetta le regole.
- Invia al massimo una richiesta ogni tre secondi allo stesso sito, o rispetta l'intervallo Crawl-delay se è più lungo.
- Esegue una sola rilevazione completa al giorno per sito.
- Visita solo pagine pubbliche: nessun accesso con credenziali, nessun carrello, nessun modulo, nessun aggiramento di CAPTCHA o blocchi.
- Registra solo codici, nome e formato del prodotto, prezzo, promozione, disponibilità, spese di spedizione e indirizzo della pagina.
- Non raccoglie dati personali, recensioni, descrizioni o immagini.
Come trova le pagine
Dalle sitemap, dal catalogo pubblico e dai menu.
FarmetricaBot legge solo le pagine prodotto dei marchi che segue. Per trovarle usa, in quest'ordine:
- Le sitemap del sito: quelle dichiarate in robots.txt o, se non ce ne sono, quelle agli indirizzi abituali della piattaforma.
- Il catalogo pubblico della piattaforma, se c'è: per esempio l'elenco dei prodotti di WooCommerce (/wp-json/wc/store/) o di Magento (/graphql), letto con richieste GET come una pagina, senza credenziali.
- Le pagine dei marchi e delle categorie raggiungibili dai menu del sito.
- Mai la ricerca interna del sito né altri moduli.
Per cercare nuove pagine usa al massimo 200 richieste in più per notte e per sito, con le stesse regole di sempre, e solo quando serve: le sitemap e il catalogo una volta alla settimana, le pagine dei marchi e delle categorie ogni quattro settimane. Dal catalogo conserva solo nome e indirizzo delle pagine dei marchi seguiti.
Come limitarlo o escluderlo
Con robots.txt, oppure scrivendoci.
Escludere tutto il sito
User-agent: FarmetricaBot
Disallow: /Rallentare le visite
User-agent: FarmetricaBot
Crawl-delay: 10Escludere solo il catalogo
User-agent: FarmetricaBot
Disallow: /wp-json/
Disallow: /graphqlLe regole di robots.txt vengono lette all'inizio di ogni rilevazione, quindi una modifica ha effetto dalla visita successiva.
In alternativa puoi scriverci a info@farmetrica.net indicando il dominio: disattiviamo la raccolta su quel sito. Per qualunque segnalazione sul comportamento di FarmetricaBot usa lo stesso indirizzo.
Come raccogliamo i dati e come teniamo conto delle norme è spiegato anche nelle domande frequenti su conformità e raccolta dei dati (PDF).
Chi siamo
Un servizio di analisi di mercato.
Farmetrica è un servizio di Prescient Ventures SA, Via Cantonale 110, 6818 Melano (TI), Svizzera. I dati rilevati servono a produrre analisi di mercato aggregate sui prezzi online del consumer health.