Un Crawler est un robot ou un logiciel qui fait du Crawling, on dit généralement qu’il “Crawl” en d’autres termes il “explore le Web” en parcourant les liens qu’il trouve.
Vous pouvez demander à votre Crawler de parcourir le Web, ou lui dire d’explorer seulement une partie du Web, comme votre site Web ou ceux de vos concurrents.
Le Cloaking est une technique souvent utilisé lorsque l’on fait du Black Hat SEO et que l’on veut cacher des choses mais on peut aussi l’utiliser pour faire du White Hat SEO.
Pour faire simple une page cloaké est une page dont il existe plusieurs versions.
Contrairement à ce qu’on peu lire sur le Web, le cloaking n’est pas interdit et c’est même recommandé par Google ainsi que d’autres moteurs de recherche. Car ça consiste à fournir un contenu sur mesure en fonction de celui qui le demande. Le cloaking peut donc améliorer l’UX et mieux convertir vos visiteurs.
Je ne vais pas vous apprendre ici ce qu’est “le Crawling” je l’ai déjà fait dans cet article.
Je vous avais aussi parlé de Xenu’s Link Sleuth qui est un logiciel de Crawling gratuit.
Dans cet article je vais vous présenter Screaming Frog SEO Spider qui est pour moi un des meilleurs outil de crawling.
Xenu’s Link Sleuth (TM) vérifie la présence de liens brisés sur les sites Web.
La vérification des liens est effectuée sur les liens, les images, les frames, les plug-ins, les backgrounds, les feuilles de style, les scripts…
Il affiche une liste continuellement mise à jour d’URL que vous pouvez trier selon différents critères.
Un rapport peut être produit à tout moment.