Web scraping
O objetivo deste workshop é apresentar as principais ferramentas e estratégias para baixar e organizar dados da internet utilizando o R. Para isso, abordaremos as noções básicas de como um site é construído, como funcionam as requisições web e como descobrir o caminho até um conteúdo específico de uma página. Também abordaremos o uso de APIs e o que fazer quando o fluxo usual de raspagem não funciona.
R$600,00
Ao se inscrever no curso, você declara estar de acordo com os nossos Termos de uso.
Você sairá deste curso apta(o) a:
- Organizar um projeto de web scraping;
- Escrever scripts em R para baixar dados da internet;
- Construir robôs para coletar dados da internet de forma automática;
-
Estruturar dados de arquivos
.xml,.htmle.json; - Baixar dados de APIs.
- Identificar a forma mais eficiente de implementar soluções para raspar sites complexos.
Ementa do curso
-
Introdução
- O que é e quando fazer web scraping
- O ciclo do web scraping
- Utilizando o Inspetor do navegador
-
Utilizando APIs
- Acessando dados de APIs
- APIs escondidas em sites
- APIs com autenticação simples
- Acessar APIs com OAuth2
-
Baixando dados em HTML ou XML
- Imitando a requisição do inspetor
- O pacote httr
- Requisições GET e POST
-
Construindo um parser
- O pacote xml2
- Introdução ao XPath
- Estruturando os dados brutos
-
Aprimorando seu algoritmo
- Como iterar algoritmos no R
- Tratamento de erros
- Paralelização
-
Raspagem de páginas complexas
- View states
- Páginas dinâmicas com Selenium
- Lidando com Captchas
O que vou receber?
Certificado do curso
Entrega por e-mail após conclusão
Cursos 100% on-line
As aulas são ao vivo, mas ficam gravadas e a disposição por 1 ano
Português
Como será o curso?
- Aulas online, em tempo real, com um(a) professor(a) e um(a) monitor(a).
- Diversos exercícios “para casa” para praticar e tirar dúvidas.
- Projeto de análise de dados para aplicar o conteúdo aprendido.
- Gravação das aulas disponíveis por pelo menos 1 ano.
Pré-requisitos
- O conteúdo do curso R para Ciência de Dados 1.
- Interesse por raspar dados da internet.
- Uma conta de e-mail Google para acessar o Google Classroom.
- Últimas versões do R e do RStudio instaladas.
Professores
Perguntas Frequentes - FAQ
Sim, você receberá o certificado ao final do curso (sujeito à entrega de atividades solicitadas pelos professores), com a carga horária específica delimitada na página do curso. O certificado é individual e terá o mesmo nome que você utilizou na compra.
Sim, as aulas são gravadas e disponibilizadas para os alunos inscritos por pelo menos 1 ano.
Após a confirmação da compra, você receberá um e-mail de nossa equipe com a confirmação de sua inscrição, com as informações para entrar na turma pelo google classroom.
Caso você não receba email de confirmação antes do curso começar, primeiramente dê uma olhada na sua caixa de spam. Caso não esteja lá, basta nos enviar um e-mail para contato@Curso-R.com.
Depende do curso, todas as informações necessárias para ingressar em qualquer curso da Curso-R pode ser encontrada na sua respectiva página. As trilhas são pacotes promocionais de cursos com grandes descontos. O preço das trilhas pode ser encontrado também nas suas páginas.
Nós trabalhamos com cartão de crédito, boleto e transferência bancária.