Presentación de Crawlino, un sistema de crawling distribuido de nueva generación.
De qué va
Crawlino es un sistema de crawling distribuido que diseñé para reconocer y analizar aplicaciones web a escala.
Cuento las limitaciones de los crawlers tradicionales, su arquitectura distribuida y escalable y cómo hace crawling inteligente con aprendizaje. Lo aplico a casos de uso en pentesting y reconocimiento, con un rendimiento de millones de URLs al día.
Por qué es relevante
Los crawlers tradicionales no escalan. Cuando tienes que analizar miles de dominios o millones de URLs, necesitas otro enfoque.
Crawlino lo resuelve con una arquitectura distribuida, una cola de mensajes y crawling inteligente.
Impacto
Equipos de seguridad lo adoptaron para el reconocimiento masivo de superficies de ataque en grandes organizaciones.