Web scraping ed estrazione dati
Il web scraping recupera in automatico le informazioni pubblicate sui siti web, invece di copiarle una per una per ore. Prezzi dei concorrenti, annunci o recensioni arrivano così in un file ordinato, pronto da usare. Su BeFreelancr affidi questo lavoro a un freelance che crea lo strumento di estrazione adatto alla tua esigenza e ti consegna i dati in CSV o in Excel. Un negozio online che tiene d’occhio i concorrenti o un ricercatore che costruisce un corpus risparmiano molto tempo. Indica i siti, le informazioni da estrarre e la frequenza desiderata. Verifica prima che questi dati possano essere riutilizzati, soprattutto se riguardano persone.
Sei uno sviluppatore freelance?
Iscriviti su BeFreelancr, crea il tuo profilo e i tuoi servizi e trova clienti. Che tu sia un freelance, un collettivo o un'agenzia, tutti i talenti sono benvenuti!
Hai bisogno di uno sviluppatore?
Descrivici di cosa hai bisogno e troveremo il freelance giusto per il tuo progetto. Per progetti più complessi, possiamo proporti anche collettivi o agenzie.
Web scraping ed estrazione dati: domande frequenti
Quanto costa un incarico di web scraping affidato a un freelance?
Da 50 a 1.000 € per un incarico tipico, consegnato in 2-7 giorni. Un elenco recuperato da un solo sito semplice, poi consegnato in CSV, si colloca nella parte bassa della forchetta. Il budget aumenta con il numero di fonti, le pagine caricate in JavaScript, il volume, la pulizia dei doppioni o l’invio verso un database.
Scraping, API o open data: cosa chiedere a uno sviluppatore?
Chiedigli prima se esiste una fonte ufficiale. Un’API o un dataset aperto resta più stabile di un’estrazione, e le condizioni d’uso sono scritte. In Italia, per esempio, il portale nazionale dati.gov.it raccoglie i dati aperti di molte pubbliche amministrazioni.
Lo scraping ha senso quando l’informazione non è disponibile altrove, come i prezzi o gli annunci mostrati su un sito. Un connettore verso un’API rientra spesso in un incarico di automazione dei workflow, più duraturo.
Il web scraping è legale in Italia?
Non è vietato in linea di principio, ma non è nemmeno libero. Si sommano diverse regole:
- Dati personali: un dato visibile online resta soggetto al GDPR. Serve una base giuridica, e le persone vanno informate.
- Banche dati: l’articolo 102-bis della legge sul diritto d’autore (legge 633/1941) permette a chi ha costituito una banca dati di vietare l’estrazione della totalità o di una parte sostanziale.
- Condizioni del sito: leggi le condizioni d’uso, che possono escludere qualsiasi raccolta automatizzata.
- File robots.txt: indica ciò che il sito accetta, senza costituire un’autorizzazione di accesso.
Questa risposta resta generale. Lo sviluppatore esegue l’estrazione, ma spetta a te verificare l’uso previsto, con un legale se sono in gioco dati personali o grandi volumi.
Si può fare scraping su LinkedIn o sugli elenchi online per prospezione via email?
È il caso più rischioso. Nel dicembre 2024 l’autorità francese per la privacy, la CNIL, ha inflitto una sanzione di 240.000 € a KASPR, che raccoglieva recapiti su LinkedIn: questi dati erano visibili solo ad alcuni contatti dei loro titolari, che non si aspettavano una raccolta del genere. Il GDPR si applica allo stesso modo in Italia.
Un elenco di contatti per la prospezione si costruisce quindi piuttosto a partire da fonti autorizzate. Anche un incarico di generazione di lead deve dirti da dove provengono i contatti.
Cosa preparare per ordinare un’estrazione di dati?
- Le fonti: gli URL esatti delle pagine da cui estrarre.
- Il file atteso: una colonna per ogni informazione, con un esempio compilato a mano.
- Il volume e la frequenza: mille righe una sola volta o ogni settimana non sono lo stesso incarico.
- Il formato: CSV o Excel per un uso semplice, JSON o database per un uso tecnico.
- L’uso previsto: stabilisce i campi utili, e ciò che è meglio non raccogliere.
Chiedi un campione prima della raccolta completa, poi controlla doppioni e valori vuoti. Per trarre conclusioni dal file, può subentrare un’analisi dei dati.
Estrazione una tantum o raccolta periodica: cosa ordinare?
Per uno studio o un file unico basta la consegna dei dati. Il monitoraggio dei prezzi di un concorrente o degli annunci richiede una raccolta che giri da sola, ed è un altro servizio.
Uno script smette di funzionare appena il sito cambia impaginazione. Prima di ordinare, fatti precisare dove gira, chi lo ripara, e se ti verranno consegnati il codice e la documentazione.
Si può fare scraping di un sito in JavaScript o protetto da un CAPTCHA?
Una pagina caricata in JavaScript si legge con un browser automatizzato, come Playwright o Selenium. È più lungo da costruire e da far girare, quindi più costoso.
Un CAPTCHA o un’area protetta da password sono un’altra questione: il sito mostra che rifiuta questo tipo di accesso. Nelle sue raccomandazioni sull’AI, la CNIL francese chiede di escludere i siti che si oppongono chiaramente alla raccolta, in particolare con questi mezzi. Non ordinare un aggiramento: chiedi piuttosto un accesso o una licenza a chi pubblica i dati.