Webscraping en data-extractie

Met webscraping haal je automatisch informatie op die op websites staat, in plaats van die urenlang een voor een over te nemen. Prijzen van concurrenten, advertenties, bedrijfsgegevens of klantreviews komen zo in een net bestand terecht, klaar voor gebruik. Op BeFreelancr geef je dit werk aan een freelancer die een extractietool bouwt die bij je behoefte past en de gegevens in CSV of Excel levert. Een webshop die zijn concurrenten volgt of een onderzoeker die een corpus samenstelt, wint er veel tijd mee. Bij elk aanbod staan de prijs en de levertijd erbij. Geef de websites, de gewenste gegevens en de frequentie door, en controleer eerst of je die gegevens mag hergebruiken.

Ben je freelance developer?

Meld je aan bij BeFreelancr, maak je profiel en je diensten aan en vind klanten. Of je nu zzp'er, collectief of bureau bent, alle talenten zijn welkom!

Een developer nodig?

Vertel ons wat je nodig hebt en wij vinden de juiste freelancer voor je project. Voor complexere opdrachten kunnen we je ook collectieven of bureaus voorstellen.

Webscraping en data-extractie: veelgestelde vragen

Wat kost een scrapingopdracht door een freelancer?

Tussen € 50 en € 1.000 voor een gangbare opdracht, geleverd in 2 tot 7 dagen. Een lijst van één eenvoudige website, geleverd als CSV, zit aan de onderkant. Het budget stijgt met het aantal bronnen, pagina's die met JavaScript laden, het volume, en het opschonen van dubbele records of het doorsturen naar een database.

Scraping, API of open data: wat vraag je een ontwikkelaar?

Vraag eerst of er een officiële bron bestaat. Een API of een open dataset is stabieler dan scraping, en de gebruiksvoorwaarden liggen vast. Voor Nederlandse bedrijven biedt KVK bijvoorbeeld API's op het Handelsregister, met een betaald abonnement.

Scraping is zinvol als de informatie nergens anders beschikbaar is, zoals prijzen of advertenties op een website. Een koppeling met een API valt vaak onder een automatiseringsopdracht, die duurzamer is.

Is webscraping legaal in Nederland?

Het is niet principieel verboden, maar ook niet vrij. Er gelden meerdere regels tegelijk:

  • Persoonsgegevens: een gegeven dat online zichtbaar is, valt nog steeds onder de AVG. Je hebt een grondslag nodig en moet de betrokkenen informeren. Volgens de handreiking van de Autoriteit Persoonsgegevens kunnen bedrijven zich waarschijnlijk alleen op een gerechtvaardigd belang beroepen, onder strenge voorwaarden.
  • Databanken: volgens artikel 2 van de Databankenwet mag de producent van een databank het opvragen of hergebruiken van een substantieel deel ervan verbieden.
  • Voorwaarden van de website: lees de gebruiksvoorwaarden, die elke geautomatiseerde verzameling kunnen uitsluiten.
  • Het robots.txt-bestand: dat geeft aan wat de website accepteert, zonder een toestemming voor toegang te zijn.

Dit antwoord blijft algemeen, en in andere landen kunnen andere regels gelden. De ontwikkelaar voert de extractie uit, maar jij controleert het geplande gebruik, met een jurist als er persoonsgegevens of grote volumes in het spel zijn.

Mag je LinkedIn of bedrijvengidsen scrapen voor acquisitie per e-mail?

Dat is het riskantste geval. Volgens de Autoriteit Persoonsgegevens kunnen vooral gerichte vormen van scraping door bedrijven rechtmatig zijn, en is het scrapen van besloten socialemedia-accounts waarschijnlijk nooit in lijn te brengen met de AVG. In Frankrijk kreeg KASPR in december 2024 een boete van € 240.000 van de privacytoezichthouder CNIL, omdat het contactgegevens van LinkedIn verzamelde: die waren alleen zichtbaar voor bepaalde connecties van de betrokkenen, en zij verwachtten zo'n verzameling niet.

Een adressenbestand voor acquisitie bouw je dus liever op uit toegestane bronnen. Een opdracht voor leadgeneratie moet je ook vertellen waar de contacten vandaan komen.

Wat bereid je voor om een data-extractie te bestellen?

  • De bronnen: de exacte URL's van de beoogde pagina's.
  • Het gewenste bestand: één kolom per gegeven, met een voorbeeld dat je met de hand invult.
  • Volume en frequentie: duizend regels één keer of elke week, dat is niet dezelfde opdracht.
  • Het formaat: CSV of Excel voor eenvoudig gebruik, JSON of een database voor technisch gebruik.
  • Het geplande gebruik: dat bepaalt welke velden nuttig zijn, en wat je beter niet verzamelt.

Vraag om een steekproef vóór de volledige verzameling, en controleer daarna op dubbele records en lege waarden. Wil je conclusies uit het bestand trekken, dan kan data-analyse het overnemen.

Eenmalige extractie of regelmatige verzameling: wat bestel je?

Voor een onderzoek of één bestand is het leveren van de gegevens genoeg. Het volgen van de prijzen van een concurrent of het monitoren van advertenties vraagt een verzameling die zelfstandig draait, en dat is een andere dienst.

Een script breekt zodra de website zijn opmaak verandert. Laat voordat je bestelt vastleggen waar het draait, wie het repareert, en of je de code en de documentatie krijgt.

Kun je een website in JavaScript of met een CAPTCHA scrapen?

Een pagina die met JavaScript laadt, lees je met een geautomatiseerde browser, zoals Playwright of Selenium. Dat kost meer tijd om te bouwen en te draaien, en is dus duurder.

Een CAPTCHA of een met een wachtwoord beveiligde omgeving is iets anders: de website laat zien dat hij zulke toegang weigert. De Autoriteit Persoonsgegevens noemt het respecteren van zulke signalen van websitebeheerders, zoals een robots.txt-bestand, een extra waarborg bij het scrapen van persoonsgegevens. Bestel geen omzeiling: vraag liever toegang of een licentie aan de eigenaar van de gegevens.