Web Scraping & Datenextraktion

Beim Web Scraping werden Informationen von Websites automatisch ausgelesen, statt sie stundenlang einzeln zu kopieren. Preise der Konkurrenz, Anzeigen, Firmendaten oder Produktinformationen landen so in einer sauberen Datei, die sich direkt auswerten lässt. Ein Freelancer baut das passende Extraktionstool und liefert die Daten als CSV-, Excel- oder JSON-Datei. Ein Onlineshop, der seine Konkurrenz beobachtet, oder eine Forscherin, die ein Korpus aufbaut, sparen so viel Zeit. Personenbezogene Daten und geschützte Bereiche bleiben dabei heikel. Nennen Sie vor der Bestellung die Ziel-Websites, die gewünschten Informationen und die Häufigkeit, und prüfen Sie, ob Sie diese Daten weiterverwenden dürfen.

Sind Sie freiberuflicher Entwickler?

Registrieren Sie sich bei BeFreelancr, erstellen Sie Ihr Profil und Ihre Angebote und finden Sie Kunden. Ob Einzel-Freelancer, Kollektiv oder Agentur – alle Talente sind willkommen!

Sie suchen einen Entwickler?

Beschreiben Sie uns Ihren Bedarf und wir finden den passenden Freelancer für Ihr Projekt. Für komplexere Aufträge schlagen wir Ihnen auch Kollektive oder Agenturen vor.

Web Scraping & Datenextraktion: FAQ

Was kostet ein Web-Scraping-Auftrag an einen Freelancer?

Für einen üblichen Auftrag 50 bis 1.000 €, geliefert in 2 bis 7 Tagen. Eine Liste von einer einzigen, einfachen Website, geliefert als CSV, liegt am unteren Ende der Spanne. Das Budget steigt mit der Zahl der Quellen, mit Seiten, die per JavaScript geladen werden, mit dem Umfang und mit der Bereinigung von Dubletten oder der Übertragung in eine Datenbank.

Scraping, API oder offene Daten: Was sollten Sie bei einem Entwickler anfragen?

Fragen Sie ihn zuerst, ob es eine offizielle Quelle gibt. Eine API oder ein offener Datensatz ist stabiler als eine Extraktion, und die Nutzungsbedingungen sind schriftlich festgelegt. Offene Verwaltungsdaten aus Deutschland finden sich zum Beispiel auf GovData, und die Einträge im Handelsregister sind über das gemeinsame Registerportal der Länder öffentlich einsehbar.

Scraping lohnt sich, wenn die Information nirgendwo sonst verfügbar ist, etwa Preise oder Anzeigen auf einer Website. Ein Connector zu einer API gehört oft zu einer Workflow-Automatisierung und ist dauerhafter.

Ist Web Scraping in Deutschland legal?

Es ist nicht grundsätzlich verboten, aber deshalb noch lange nicht frei. Mehrere Regeln greifen zugleich:

  • Personenbezogene Daten: Auch eine online sichtbare Angabe unterliegt der DSGVO. Sie brauchen eine Rechtsgrundlage und müssen die Betroffenen informieren.
  • Datenbanken: Nach § 87b UrhG hat der Hersteller einer Datenbank das ausschließliche Recht, einen wesentlichen Teil davon zu vervielfältigen und zu verbreiten. Auch das wiederholte, systematische Auslesen kleiner Teile kann darunter fallen.
  • Bedingungen der Website: Lesen Sie die Nutzungsbedingungen, die jede automatisierte Erfassung ausschließen können.
  • Datei robots.txt: Sie zeigt, was die Website akzeptiert, ist aber keine Zugangserlaubnis.

Diese Antwort bleibt allgemein. Der Entwickler führt die Extraktion durch, die geplante Nutzung müssen aber Sie prüfen, mit einem Juristen, wenn personenbezogene Daten oder große Mengen im Spiel sind.

Darf man LinkedIn oder Branchenverzeichnisse scrapen, um per E-Mail zu akquirieren?

Das ist der riskanteste Fall. Im Dezember 2024 verhängte die französische Datenschutzbehörde CNIL auf Grundlage der DSGVO ein Bußgeld von 240.000 € gegen KASPR, das Kontaktdaten auf LinkedIn abgegriffen hatte: Diese Daten waren nur für bestimmte Kontakte ihrer Inhaber sichtbar, und diese rechneten nicht mit einer solchen Erfassung.

Ein Adressbestand für die Akquise entsteht also besser aus zulässigen Quellen. Auch ein Auftrag zur Leadgenerierung sollte Ihnen sagen, woher die Kontakte stammen.

Was sollten Sie für die Bestellung einer Datenextraktion vorbereiten?

  • Die Quellen: die genauen URLs der betroffenen Seiten.
  • Die gewünschte Datei: eine Spalte pro Information, mit einem von Hand ausgefüllten Beispiel.
  • Umfang und Häufigkeit: Tausend Zeilen einmalig oder jede Woche, das ist nicht derselbe Auftrag.
  • Das Format: CSV oder Excel für eine einfache Nutzung, JSON oder Datenbank für eine technische.
  • Die geplante Nutzung: Sie bestimmt, welche Felder nützlich sind und was Sie besser nicht erfassen.

Verlangen Sie eine Stichprobe vor der vollständigen Erfassung und prüfen Sie dann Dubletten und leere Werte. Um Schlüsse aus der Datei zu ziehen, kann eine Datenanalyse folgen.

Einmalige Extraktion oder regelmäßige Erfassung: Was sollten Sie bestellen?

Für eine Studie oder eine einmalige Datei genügt die Lieferung der Daten. Die Beobachtung der Preise eines Konkurrenten oder ein Monitoring von Anzeigen erfordert eine Erfassung, die selbstständig läuft, und das ist eine andere Leistung.

Ein Skript bricht, sobald die Website ihr Layout ändert. Lassen Sie vor der Bestellung klären, wo es läuft, wer es repariert und ob Sie Code und Dokumentation erhalten.

Lässt sich eine JavaScript-Website oder eine Seite mit CAPTCHA scrapen?

Eine per JavaScript geladene Seite lässt sich mit einem automatisierten Browser wie Playwright oder Selenium auslesen. Das ist aufwendiger zu bauen und zu betreiben, also teurer.

Ein CAPTCHA oder ein passwortgeschützter Bereich ist etwas anderes: Die Website zeigt damit, dass sie diese Art von Zugriff ablehnt. Wer ein solches Hindernis umgeht, setzt sich über diesen erkennbaren Willen des Betreibers hinweg. Bestellen Sie keine Umgehung: Fragen Sie stattdessen beim Anbieter der Daten nach einem Zugang oder einer Lizenz.