À quelle fréquence Google réindexe-t-il les sites Web ?
Depuis quelques semaines John MUELLER (Webmaster Trends Analyst chez Google à Zurich) aborde au travers de vidéos quelques points liés au référencement.
Dans une vidéo, il répond à un webmaster soucieux de la prise en compte des pages de son site et préoccupé par le fait que les robots (crawlers) de Google ne passent pas (assez) souvent sur son site.
Voici sa question : « A quelle fréquence Google ré-indexe-t-il un site Web ? Il semble que c'est beaucoup moins souvent qu'avant. Nous ajoutons ou supprimons des pages dans notre site, mettons à jour notre maillage interne, et il se passe des semaines avant que ces changements se reflètent dans Google Search. »
John MUELLER indique que crawler un site entier prend du temps. Googlebot le crawler de Google ne visite pas tout le site volontairement afin d’éviter de trop occuper le serveur, voire provoquer une surcharge.
Les robots de Google ne sont autorisés à explorer qu’une certaine quantité de pages par jour. Ils visitent en priorité les pages devant être analysées plus fréquemment (page d’accueil, pages de catégories de premier niveau). Un changement sur ces pages sera donc plus rapidement visible dans les pages de résultats du moteur.
Comme indiqué par John MUELLER les ressources attribuées à un site sont limitées. Cela est souvent évoqué sous la notion de « Crawl Budget » (nombre de pages que Googlebot est autorisé à parcourir par jour).
Le Crawl Budget dépend de plusieurs facteurs, dont la vitesse de chargement, la fréquence de mise à jour des contenus, la notoriété d’un contenu (au sens référencement), le maillage interne…
Il est donc possible (nécessaire) d’influencer Google afin de lui faire prendre en compte plus de pages et surtout les plus importantes.
Même si la notion de Budget Crawl concerne surtout les sites qui possèdent plusieurs milliers d’URL, il est important de vérifier et faire en sorte que les pages les plus importantes de votre site soient visitées régulièrement par Googlebot.
C’est un prérequis à une bonne visibilité.
