Vai al contenuto
Farmetrica

Per i gestori dei siti

FarmetricaBot

FarmetricaBot è il programma con cui Farmetrica rileva prezzi, promozioni e disponibilità dalle pagine prodotto pubbliche delle farmacie online autorizzate. Se lo vedi nei log del tuo sito, questa pagina spiega cosa fa e come limitarlo o escluderlo.
access.log

06:00:03GET /robots.txt200

06:00:06GET /prodotto-a200

06:00:09GET /prodotto-b200

06:00:12GET /prodotto-c200

FarmetricaBot/0.1 (+https://farmetrica.net/bot; info@farmetrica.net)

3 s tra una richiesta e l'altra

Come riconoscerlo

Si presenta sempre con lo stesso nome.

Ogni richiesta porta questo User-Agent:

FarmetricaBot/0.1 (+https://farmetrica.net/bot; info@farmetrica.net)

Il nome da usare nelle regole di robots.txt è FarmetricaBot.

Le richieste partono sempre da questo indirizzo IP, che puoi autorizzare nel firewall o nel servizio di protezione del sito:

63.182.235.105

FarmetricaBot ha una chiave Web Bot Auth (firme dei messaggi HTTP, RFC 9421) per firmare le richieste: le intestazioni Signature-Agent, Signature-Input e Signature dimostrano che una richiesta arriva davvero da FarmetricaBot, anche se qualcun altro usa il nostro User-Agent. La firma si attiva quando la chiave è stata verificata dalle reti di distribuzione dei siti. La chiave pubblica è qui:

https://farmetrica.net/.well-known/http-message-signatures-directory

Cosa fa

Regole fisse, uguali per ogni sito.

  • Legge robots.txt prima di visitare un sito e ne rispetta le regole.
  • Invia al massimo una richiesta ogni tre secondi allo stesso sito, o rispetta l'intervallo Crawl-delay se è più lungo.
  • Esegue una sola rilevazione completa al giorno per sito.
  • Visita solo pagine pubbliche: nessun accesso con credenziali, nessun carrello, nessun modulo, nessun aggiramento di CAPTCHA o blocchi.
  • Registra solo codici, nome e formato del prodotto, prezzo, promozione, disponibilità, spese di spedizione e indirizzo della pagina.
  • Non raccoglie dati personali, recensioni, descrizioni o immagini.

Come trova le pagine

Dalle sitemap, dal catalogo pubblico e dai menu.

FarmetricaBot legge solo le pagine prodotto dei marchi che segue. Per trovarle usa, in quest'ordine:

  • Le sitemap del sito: quelle dichiarate in robots.txt o, se non ce ne sono, quelle agli indirizzi abituali della piattaforma.
  • Il catalogo pubblico della piattaforma, se c'è: per esempio l'elenco dei prodotti di WooCommerce (/wp-json/wc/store/) o di Magento (/graphql), letto con richieste GET come una pagina, senza credenziali.
  • Le pagine dei marchi e delle categorie raggiungibili dai menu del sito.
  • Mai la ricerca interna del sito né altri moduli.

Per cercare nuove pagine usa al massimo 200 richieste in più per notte e per sito, con le stesse regole di sempre, e solo quando serve: le sitemap e il catalogo una volta alla settimana, le pagine dei marchi e delle categorie ogni quattro settimane. Dal catalogo conserva solo nome e indirizzo delle pagine dei marchi seguiti.

Come limitarlo o escluderlo

Con robots.txt, oppure scrivendoci.

Escludere tutto il sito

User-agent: FarmetricaBot
Disallow: /

Rallentare le visite

User-agent: FarmetricaBot
Crawl-delay: 10

Escludere solo il catalogo

User-agent: FarmetricaBot
Disallow: /wp-json/
Disallow: /graphql

Le regole di robots.txt vengono lette all'inizio di ogni rilevazione, quindi una modifica ha effetto dalla visita successiva.

In alternativa puoi scriverci a info@farmetrica.net indicando il dominio: disattiviamo la raccolta su quel sito. Per qualunque segnalazione sul comportamento di FarmetricaBot usa lo stesso indirizzo.

Come raccogliamo i dati e come teniamo conto delle norme è spiegato anche nelle domande frequenti su conformità e raccolta dei dati (PDF).

Chi siamo

Un servizio di analisi di mercato.

Farmetrica è un servizio di Prescient Ventures SA, Via Cantonale 110, 6818 Melano (TI), Svizzera. I dati rilevati servono a produrre analisi di mercato aggregate sui prezzi online del consumer health.