Scraping e extração de dados

O scraping de dados coleta automaticamente as informações publicadas em sites, em vez de copiá-las uma a uma durante horas. Preços de concorrentes, anúncios, cadastros de empresas ou avaliações de clientes chegam assim em um arquivo organizado, pronto para usar. No BeFreelancr, você confia esse trabalho a um freelancer que cria a ferramenta de extração adequada à sua necessidade e entrega os dados em CSV ou Excel. Uma loja que monitora a concorrência ou um pesquisador que monta um corpus economiza um tempo precioso. Informe os sites visados, as informações a extrair e a frequência desejada. Verifique se esses dados podem ser reutilizados, e então contrate a extração.

Você é desenvolvedor freelancer?

Cadastre-se na BeFreelancr, crie seu perfil e seus serviços e encontre clientes. Seja você freelancer autônomo, coletivo ou agência, todos os talentos são bem-vindos!

Precisa de um desenvolvedor?

Conte para a gente o que você precisa e encontraremos o freelancer ideal para o seu projeto. Para projetos mais complexos, também podemos indicar coletivos ou agências.

Scraping e extração de dados: perguntas frequentes

Quanto custa um trabalho de scraping feito por um freelancer?

De 50 € a 1.000 € para um trabalho comum, entregue em 2 a 7 dias. Uma lista coletada em um único site simples, entregue em CSV, fica na parte de baixo da faixa. O orçamento aumenta com o número de fontes, as páginas carregadas em JavaScript, o volume, e a limpeza de duplicados ou o envio para um banco de dados.

Scraping, API ou dados abertos: o que pedir a um desenvolvedor?

Pergunte primeiro se existe uma fonte oficial. Uma API ou um conjunto de dados abertos é mais estável que uma extração, e as condições de uso estão escritas. Para empresas brasileiras, por exemplo, a Receita Federal publica os dados abertos do CNPJ.

O scraping se justifica quando a informação não está disponível em nenhum outro lugar, como os preços ou os anúncios exibidos em um site. Um conector para uma API costuma ser um trabalho de automação de workflows, mais duradouro.

O scraping de dados é legal no Brasil?

Ele não é proibido por princípio, mas também não é livre. Várias regras se somam:

  • Dados pessoais: um dado visível na internet continua protegido pela LGPD. A ANPD lembra que a lei também se aplica aos dados de acesso público, o que exige uma base legal e o respeito à finalidade para a qual eles foram divulgados.
  • Bases de dados: a Lei de Direitos Autorais (Lei 9.610/1998) protege as bases de dados que, pela seleção ou organização do conteúdo, constituem uma criação intelectual. Essa proteção cobre a estrutura da base, e não os dados em si: o artigo 87 dá ao titular o direito de autorizar ou proibir a reprodução dessa estrutura.
  • Condições do site: leia os termos de uso, que podem excluir qualquer coleta automatizada.
  • Arquivo robots.txt: ele indica o que o site aceita, sem constituir uma autorização de acesso.

Esta resposta continua geral. O desenvolvedor faz a extração, mas cabe a você verificar o uso previsto, com um advogado se houver dados pessoais ou um grande volume em jogo.

Dá para fazer scraping do LinkedIn ou de listas de empresas para prospectar por e-mail?

É o caso mais arriscado. Na França, em dezembro de 2024, a autoridade de proteção de dados (CNIL) aplicou uma multa de 240.000 € à KASPR, que coletava contatos no LinkedIn: esses dados só eram visíveis para algumas conexões dos titulares, e eles não esperavam uma coleta desse tipo. No Brasil, a LGPD também protege esses dados.

Uma base de prospecção se constrói, portanto, a partir de fontes autorizadas. Um trabalho de geração de leads também precisa dizer de onde vêm os contatos.

O que preparar para contratar uma extração de dados?

  • As fontes: os endereços exatos das páginas visadas.
  • O arquivo esperado: uma coluna por informação, com um exemplo preenchido à mão.
  • O volume e a frequência: mil linhas uma única vez ou toda semana não são o mesmo trabalho.
  • O formato: CSV ou Excel para um uso simples, JSON ou banco de dados para um uso técnico.
  • O uso previsto: ele define os campos úteis, e o que é melhor não coletar.

Peça uma amostra antes da coleta completa, e depois confira os duplicados e os valores vazios. Para tirar conclusões do arquivo, uma análise de dados pode vir em seguida.

Extração pontual ou coleta regular: o que contratar?

Para um estudo ou um arquivo único, a entrega dos dados basta. O monitoramento dos preços de um concorrente ou de anúncios exige uma coleta que roda sozinha, e esse é outro serviço.

Um script quebra assim que o site muda o layout. Antes de contratar, pergunte onde ele vai rodar, quem conserta, e se o código e a documentação serão entregues a você.

Dá para fazer scraping de um site em JavaScript ou protegido por CAPTCHA?

Uma página carregada em JavaScript pode ser lida com um navegador automatizado, como Playwright ou Selenium. É mais demorado de construir e de rodar, portanto mais caro.

Um CAPTCHA ou uma área protegida por senha é outro assunto: o site mostra claramente que recusa esse tipo de acesso. Não encomende um contorno: peça de preferência um acesso ou uma licença ao dono dos dados.