Web Scraping

A poluição do ar durante a greve dos caminhoneiros

Neste post, vamos avaliar descritivamente as concentrações de alguns poluentes durante a greve dos caminhoneiros

Continue lendo

Web scraping do sistema de qualidade do ar da CETESB

Nem sempre dados públicos são disponibilizados de forma eficiente para a coleta. Neste post, vamos exercitar a arte do web scraping para raspar dados de poluição do ar da CETESB.

Continue lendo

O Fluxo do Web Scraping

Uma discussão com exemplos sobre o fluxo do web scraping, o passo-a-passo que delimita as fases da criação de um web scraper.

Continue lendo

Web Scraper Distribuído

Como aumentar em dezenas de vezes a velocidade de um web scraper sem mudar o seu código.

Continue lendo

brcrimR

brcrimR é um pacote para baixar e processar informações divulgadas pelas secretarias de segurança pública do Brasil. Neste post, apresentamos as funcionalidades do pacote aplicadas ao estado de São Paulo.

Continue lendo

Web scraping do site da Secretaria de Segurança Pública de São Paulo

Ao contrário de outros usos pro R, web-scrapping não tem uma receita bem definida. Mesmo definindo passos intermediários, alguns scrapers usam ideias que funcionam apenas em casos específicos. Neste post vamos estudar a construção de um Web Scraping com ideias facilmente generalizáveis.

Continue lendo

Requisições seguras

No mundo do web scraping, muitas vezes precisamos acessar sites HTTPS, a versão segura do HTTP (Hyper Text Transfer Protocol). Esse protocolo é utilizado para encriptar as mensagens trocadas por usuário e servidor. O pacote httr utiliza um padrão SSL (Secure Sockets Layer) para lidar com HTTPS...

Continue lendo