Curso Online

Web Scraping

O objetivo deste workshop é apresentar as principais ferramentas e estratégias para baixar e organizar dados da internet utilizando o R. Para isso, abordaremos as noções básicas de como um site é construído, como funcionam as requisições web e como descobrir o caminho até um conteúdo específico de uma página. Também abordaremos o uso de APIs e o que fazer quando o fluxo usual de raspagem não funciona.


Não há turmas abertas para este curso no momento :(

Ao se inscrever no curso, você declara estar de acordo com os nossos Termos de uso.

Você sairá deste curso apta(o) a:

  • Organizar um projeto de web scraping;
  • Escrever scripts em R para baixar dados da internet;
  • Construir robôs para coletar dados da internet de forma automática;
  • Estruturar dados de arquivos .xml, .html e .json;
  • Baixar dados de APIs.
  • Identificar a forma mais eficiente de implementar soluções para raspar sites complexos.

Ementa do curso

  • Introdução
    • O que é e quando fazer web scraping
    • O ciclo do web scraping
    • Utilizando o Inspetor do navegador
  • Utilizando APIs
    • Acessando dados de APIs
    • APIs escondidas em sites
    • APIs com autenticação simples
    • Acessar APIs com OAuth2
  • Baixando dados em HTML ou XML
    • Imitando a requisição do inspetor
    • O pacote httr
    • Requisições GET e POST
  • Construindo um parser
    • O pacote xml2
    • Introdução ao XPath
    • Estruturando os dados brutos
  • Aprimorando seu algoritmo
    • Como iterar algoritmos no R
    • Tratamento de erros
    • Paralelização
  • Raspagem de páginas complexas
    • View states
    • Páginas dinâmicas com Selenium
    • Lidando com Captchas

Certificado do curso

Emitido após conclusão

Cursos 100% on-line

Nos cursos ao vivo, as aulas são gravadas e ficam disponíveis por 1 ano

Nível intermediário

Conhecimento prévio recomendado:

Português

Como será o curso?

  • Aulas expositivas para apresentar o conteúdo.
  • Diversos exercícios para praticar e levantar dúvidas.
  • Nos cursos ao vivo, projeto de análise de dados para aplicar o conteúdo aprendido.
  • Nos cursos ao vivo, a gravação das aulas ficam disponíveis por pelo menos 1 ano.

Pré-requisitos

  • O conteúdo do curso R para Ciência de Dados I.
  • Interesse por Ciência de Dados.
  • Conhecimentos básicos de computação, como criação de arquivos e pastas, instalação de programas e navegação na internet.
  • No curso ao vivo, uma conta de e-mail Google para acessar o Google Sala de Aula.
  • Últimas versões do R e do RStudio, VSCode ou Positron instaladas.

Ministrantes

Fernando Corrêa

Bacharel e mestrando em Estatística pelo IME-USP. Diretor-técnico na Associação Brasileira de Jurimetria. Usa R para tudo, mas tem interesse especial em web scraping, visualização de dados e modelagem bayesiana.

Julio Trecenti

Faxineiro de dados. Doutorando em Estatística pelo IME-USP. Secretário-geral da Associação Brasileira de Jurimetria (ABJ). Trabalha com web scraping, arrumação de dados, construção de modelos preditivos, APIs e dashboards em Shiny.

Perguntas Frequentes - FAQ

Sim, você receberá o certificado ao final do curso, a depender de conclusão das aulas e de eventual trabalho de conclusão solicitado pela/pelo ministrante. O certificado é individual e terá o mesmo nome que você utilizou na compra.

Sim, as aulas são gravadas e disponibilizadas para os alunos inscritos por pelo menos 1 ano.

Após a confirmação da compra, você receberá um e-mail de nossa equipe com a confirmação de sua inscrição e as instruções de acesso ao curso.

Caso você não receba email de confirmação, primeiramente verifique a sua caixa de spam. Caso não esteja lá, basta nos enviar um e-mail para contato@curso-r.com.

Depende do curso, todas as informações necessárias para ingressar em qualquer curso da Curso-R pode ser encontrada na sua respectiva página.

Você pode pagar via cartão de crédito, pix e boleto.