En esta charla explicaré mediante ejemplos cómo combinar distintas técnicas para poder acceder a datos que no tienen una API expuesta.
Exploraremos los distintos escenarios a tener en cuenta cuando vayamos a hacer web-scrapping, cómo salvar algunas de las contramedidas de los sitios que protegen su información pública, y sobre todo cómo ahorrar tiempo en el proceso.
Veremos algunos casos no tan documentados de puppeteer, procesamiento en paralelo y distribuído ( y gestión de los trabajos en paralelo fallidos), o un exponential backoff con curl.