Crawl

April 12, 2018

Le crawl est le parcours d’un site par un robot. Ce robot, souvent aussi appelé spider (car ce dernier parcours la toile en suivant des liens) analyse le contenu des pages, la structure des sites et extrait les informations pertinentes qui permettront ensuite de définir le ranking d’une URL sur un mot clé cible. Le code HTML ainsi récupéré sera envoyé au moteur pour un traitement ultérieur. Le suivi des liens que contient la page permettra de découvrir d’autres pages.

Ce procédé peut être mis en place par Google via son Googlebot ou le Googlebot-mobile ou par des référenceurs soucieux d’avoir une grille d’analyse de leur site similaire à celle de Google : en reproduisant le travail de Google on comprend mieux les forces et les faiblesses d’un site. De plus, il existe des outils permettant de crawler un site web : OnCrawl, Xenu Link Sleuth, Botify ou Screaming Frog