UN scraper invia una Richiesta HTTP verso una pagina web, legge il codice HTML restituisce, estrae i dati desiderati e li memorizza. Il principio è lo stesso di un browser tradizionale, ma è completamente automatizzato e privo di interfaccia grafica.
Ecco come si svolge concretamente questo processo, passo dopo passo.
Fase 1: Invio della richiesta HTTP
Durante il scraping del web, lo scraper inizia con inviare una richiesta HTTP (spesso di tipo GET) all’URL della pagina da estrarre. Si tratta esattamente dello stesso meccanismo di un browser tradizionale, tranne per il fatto che tutto è automatizzato, senza finestre visibili né alcun clic da parte tua.
Per evitare di essere bloccato, lo scraper può aggiungere dei intestazioni HTTP. Ad esempio, un User-Agent che imita quello di Chrome Dove Firefox, o i cookie. In sintesi, si tratta di si spaccia per un browser normale agli occhi del server di destinazione.
Molti siti riescono comunque a rilevare queste richieste automatiche, tramite limite di velocità o qualche captchas, per contrastare il web scraping.
Fase 2: Ricezione e analisi del contenuto HTML
In risposta alla richiesta, il sito restituisce il codice HTML contenuto completo della pagina: titoli, testi, immagini, link, prezzo, recensioni dei clienti. Lo scraper non “vede” questi contenuti come te. Lavora direttamente sul codice grezzo, senza alcuna interfaccia grafica.
In pratica, lo scraper procederà a analizzare la struttura HTML per individuare le informazioni che gli interessano. Questa analisi si basa sui tag, sulle classi CSS o, a volte, del JavaScript.
Fase 3: Estrazione dei dati
Una volta analizzato il codice HTML, lo scraper individua gli elementi da estrarre : titoli degli articoli, prezzi dei prodotti, recensioni dei clienti. L’obiettivo è semplice: fare una cernita e conservare solo i dati utili.
Il metodo più diffuso utilizza sélecteurs CSS, che consentono di individuare elementi specifici in base alla loro classe, al loro identificatore o alla loro posizione nella gerarchia del sito. Prendiamo un esempio concreto con questo codice HTML:
<h1>Scarpe sportive</h1>
<span>79,99 €</span>Per recuperare queste informazioni, lo scraper utilizza i seguenti selettori:
- .product-title per il titolo del prodotto
- .price per il prezzo
Per strutture più complesse (basate sulla posizione di un elemento o sul suo testo), lo scraper può utilizzare il metodo XPath, che offre un controllo più preciso quando i selettori CSS non sono sufficienti.
Sul siti dinamici che caricano i propri contenuti tramite JavaScript, è necessario un software aggiuntivo: un browser in modalità headless. In questo modo si controlla un vero browser in background con Puppeteer (una biblioteca Node.js che controlla Chrome) oppure Playwright (un framework di automazione sviluppato da Microsoft). Il browser esegue il codice JavaScript, visualizza la pagina completa, dopodiché lo scraper legge tutti i dati.
Esistono quindi diversi tipi di scraper a seconda del processo in questione: uno scraper semplice per i siti statici, uno scraper headless per i siti dinamici e uno scraper che si avvale di un’API quando il sito ne offre una.
Fase 4: Archiviazione dei dati
Una volta estratti i dati, lo scraper li salvataggio in diversi formati. Questa è l'ultima fase del processo. A seconda delle tue esigenze, puoi scegliere tra queste opzioni:
- File CSV : sembra una tabella di Excel, perfetta per un uso semplice.
- JSON : un formato più flessibile, spesso preferito dagli sviluppatori.
- Banca dati : ideale quando il volume di informazioni è elevato.
Puoi quindi analizzare, ordinare o visualizzare questi dati come preferisci. In pratica, questa archiviazione trasforma i dati grezzi in un set di dati utilizzabile, pronto per uno studio di mercato o un'analisi della concorrenza.
Qual è il ruolo di uno scraper?
Il ruolo di uno scraper è quello di’estrarre e archiviare automaticamente i dati provenienti da pagine web, senza che tu debba copiare ogni informazione una per una. Si tratta di un software o di un bot che fa tutto il lavoro al posto tuo.
In pratica, lo scraper esplora un sito web, ne legge i contenuti e poi raccoglie le informazioni desiderate. Con potenti raschiatori, come quelli proposti da Dati luminosi, puoi trovare prezzi, articoli, dati aziendali e molte altre informazioni ancora.
Puoi anche estrarre i dati da un sito web direttamente dal tuo browser grazie a delle estensioni dedicate.
Ecco alcuni esempi di utilizzo concreto:
- Monitoraggio della concorrenza : raccogliere i prezzi dei prodotti dei tuoi concorrenti per adeguare la tua strategia, ad esempio tramite raschiare su Amazon.
- Analisi di mercato : raccogliere dati sulle tendenze e sulle nuove abitudini di acquisto.
- Aggregazione di contenuti : creare un feed di notizie attingendo da diversi siti.
- Prospezione commerciale : creare una banca dati di contatti, in particolare tramite scraping su Google Maps.
- Ricerca scientifica : raccogliere dati pubblici a fini di ricerca.
In pratica, lo scraper ti fa risparmiare un sacco di tempo quando devi elaborare rapidamente una grande quantità di dati.
Come eseguire lo scraping gratuitamente?
Hai un progetto di web scraping ma un budget limitato? Diversi software libero consentono di raccogliere dati senza alcun costo, che si tratti di strumenti pronti all’uso, estensioni del browser o librerie di codice.
Ecco tre opzioni affidabili in base al tuo profilo:
- Beautiful Soup : una biblioteca Pitone gratuita e open source. Legge il codice HTML di un sito e ti aiuta a estrarne le informazioni. Ideale per muovere i primi passi con pagine semplici.
- Scrapy : un framework Python gratuito e open source, gestito da Zyte. Gestisce progetti di web scraping più complessi e grandi volumi di dati su numerose pagine.
- Octoparse : un software no-code con un piano gratuito. La sua versione gratuita include fino a 10 compiti e 50.000 righe esportate ogni mese, l'ideale se non vuoi programmare.
Puoi anche utilizzare l'estensione Scraper istantaneo di dati direttamente nel tuo browser, senza alcuna installazione né una sola riga di codice.
Per approfondire l'argomento, illustriamo in dettaglio ogni opzione nel nostro articolo su web scraping gratuito.
Qual è la differenza tra API e scraper?
Entrambi servono a estrarre dati online, ma non funzionano allo stesso modo.
L'API
Una API è un'interfaccia che un sito web mette volontariamente a disposizione. Restituisce dei dati strutturati (spesso in JSON), direttamente utilizzabili. Si recuperano solo le informazioni autorizzate dal sito, entro i limiti da esso stesso definiti. È una soluzione pulita, stabile e perfettamente legale, ma si è limitati ai contenuti messi a disposizione dall'API.
Lo scraper
Uno scraper, invece, legge direttamente il codice HTML di un sito, proprio come farebbe un browser. Può quindi recuperare dati anche quando non esiste alcuna API. D'altra parte, rimani soggetto alle Condizioni generali d'uso del sito, al RGPD e ai meccanismi anti-bot. Il file robots.txt non è un obbligo giuridico, ma un accordo tecnico che gli scraper rispettosi seguono.
In pratica, si utilizza un’API quando è disponibile e soddisfa le proprie esigenze. Si passa al scraping del web quando i dati sono accessibili solo nelle pagine visibili del sito.
Se sei alle prime armi, puoi iniziare con scraper con Excel : è semplice e pratico, nonostante alcuni limiti. E tu? Conosci degli scraper che funzionano in modo diverso? Condividi la tua esperienza nei commenti.
Italiano