Définition de Crawler et Crawling
Un Crawler est un robot ou un logiciel qui fait du Crawling, on dit généralement qu’il “Crawl” en d’autres termes il “explore le Web” en parcourant les liens qu’il trouve.
Vous pouvez demander à votre Crawler de parcourir le Web, ou lui dire d’explorer seulement une partie du Web, comme votre site Web ou ceux de vos concurrents.