En matière de référencement naturel, plusieurs préoccupations se posent. Il s’agit entre autres de la structure, du maillage interne, de la volumétrie ou encore de l’arborescence du site web.
Ainsi, le crawl d’une plateforme reste une opération incontournable afin d’optimiser le SEO (Search engine optimization) d’un site. Quelles sont alors les méthodes et les techniques de crawl d’un site web ?
Crawler un site : qu’est-ce que c’est ?
Crawler signifie littéralement « scanner ». Autrement dit, il s’agit d’extraire un maximum d’informations possibles d’un site web. Cette analyse permet ainsi de connaître parfaitement la structure d’un site et de résoudre ses problèmes éventuels. Par exemple, une arborescence mal construite, un maillage interne inadéquat ou encore des balises meta dupliquées.
En d’autres termes, le logiciel de crawler (ou robot d’indexation) recherche des documents sur Internet. Ainsi, cela désigne l’exploration de la toile afin d’automatiser la navigation. Les moteurs de recherche sont équipés de robots d’exploration en vue d’assurer l’indexation, le plus célèbre reste Googlebot, celui de Google. Lors de l’opération, Googlebot parcourt le contenu du site ainsi que les liens présents. De cette manière, ce programme informatique crée des Sitemaps. Ces derniers facilitent le travail des crawlers. Outre l’indexation des moteurs de recherche, la recherche d’autres informations, notamment les flux RSS, l’adresse e-mail figurent parmi les tâches des logiciels d’exploration.
Après l’analyse, le résultat est acheminé dans le catalogue de Google, confirmant la présence du site dans l’index des moteurs de recherche. En revanche, cette présence n’implique pas un meilleur référencement naturel.
Ces procédures sont indispensables afin d’assurer la pertinence des contenus des sites et d’ainsi exclure les urls inutiles dans les bases de données. Par ailleurs, la présence de certaines balises, notamment la balise « noindex » empêche les moteurs de recherche d’indexer la page du site. Indexer qu’une partie de son site peut être judicieux, notamment au regard de sa stratégie de référencement naturel.
Qu’est-ce que le budget de crawl ?
Le budget de crawl sert à désigner le nombre de pages parcourues par Googlebot. Ainsi, chaque site dispose de son propre budget, mais le quota repose sur le nombre total de pages ainsi que la santé du site web. Ce budget est disponible dans la Google Search Console.
Le nombre d’analyses souligne l’importance d’un fichier par rapport à d’autres. Pour ce faire, il faut enquêter sur la fréquence d’analyse, identifier les pages sans intérêt pour le robot et les erreurs rencontrées lors de son parcours. Des logiciels vous seront indispensables pour une telle analyse faisant partie de l’audit SEO. Ainsi Botify est un outil payant offrant d’excellents rapports. À noter que cet outil conviendra aux sites de plus de 10 000 pages. Oncrawl est une solution moins chère et un outil en nette progression. Enfin Screaming Frog, exclusivement en anglais est un outil très complet et performant.
Les facteurs d’influence du crawl
La technique de crawl fonctionne selon plusieurs facteurs différents.
Les liens : les premiers facteurs d’influence du crawl
Les sites web sont particulièrement nombreux sur Internet. Pourtant, certains profitent d’un meilleur positionnement par rapport à d’autres. En outre, ce que l’on appelle le netlinking, la stratégie de liens constitue en partie les facteurs responsables de ce positionnement. Il s’agit :
- Des backlinks qui occupent une place fondamentale dans le placement d’une page, les backlinks ou les liens entrants sont les liens pointant vers celle-ci. Ils sont issus de sites externes. Toutefois, Google effectue une sélection des backlinks valides selon la qualité et la confiance, la proximité, le mode de redirection ainsi que la situation du lien dans le site source.
- Du maillage interne qui figure parmi les facteurs d’influence du crawl. Ce sont les liens pointant vers le même site. Ces liens internes favorisent non seulement le SEO d’un site web, mais maintiennent également les utilisateurs actifs dans le site en les redirigeant vers des informations complémentaires.
Le contenu : un élément majeur dans la technique de crawl
Il est de coutume de dire que le contenu est roi (« Content is king »). Effectivement, il joue un rôle majeur, tant dans le SEO que dans le crawl. Plusieurs éléments occupent une place majeure dans cette opération :
- Le nom de domaine est capital, car les noms de domaine profitant d’un meilleur positionnement génèrent un taux de crawl élevé. Il est par conséquent primordial de choisir le bon nom de domaine.
- Le Sitemap est un fichier XML prenant en charge l’indication des listes des urls à indexer. Ce fichier est utilisé avec tous les CMS pour informer Google des mises à jour du site.
- Le duplicate content figure parmi les responsables d’un mauvais crawl voire d’une pénalité des moteurs de recherche, comme Google qui en a fait l’une de ses priorités.
- Les urls canoniques sont indispensables afin d’assurer un meilleur crawl et un meilleur positionnement du site. Il s’agit de la balise « rel canonical » précisant le contenu original d’un site en cas de contenu dupliqué.
- Les meta-tags consistent en une balise HTML utilisée pour insérer des mots-clés invisibles pour les internautes, mais accessibles aux moteurs de recherche. Ces mots-clés optimisent le référencement naturel d’un site.
Comment crawler un site web ?
Pour crawler parfaitement un site web, il est possible d’opter pour plusieurs méthodes : le « Cell text » ou le « Follow mode ».
Première méthode : le « Cell text »
Dans un premier temps, connectez-vous sur votre interface Google Search Console. Ensuite, ouvrez le Sitemap existant. En l’absence de Sitemap préexistant, créez-en un nouveau. Cliquez sur l’option « Import/Export » au-dessus du Sitemap. Choisissez l’option Import, puis saisissez l’url de votre site dans le champ vide situé sous l’inscription « Use an existing site ». Cliquez ensuite sur l’onglet « Use File/Directory » afin d’afficher le nom d’un fichier et d’un répertoire dans l’étiquette du Sitemap. Ainsi, l’url sera utilisée comme un chemin d’accès en tant que cell text. Puis, cliquez sur « Use H1 » afin d’inclure un entête dans l’étiquette du Sitemap. Cliquez ensuite sur « Use page title ». Pour finir, cochez l’option « Exlude common text pages on import » afin d’écarter les urls contenant des textes dupliqués.
Deuxième méthode : le « Follow mode »
Après vous être connectés au Sitemap, cliquez sur les domaines et sous-domaines à crawler. Si vous désirez crawler uniquement les domaines les plus pertinents, sélectionnez « Domain only ». Cliquez ensuite sur « Domain and directory path only » si vous souhaitez restreindre l’accès à certains domaines spécifiques. Ensuite, cliquez sur « Add link » afin d’intégrer une url, puis sur « Add meta description note » pour inclure quelques notes dans la partie meta description.
Définissez un nombre d’urls à importer dans le champ vide situé sous l’inscription « Limit number of pages ». L’option Omit directory exclut les répertoires spécifiques à éviter lors du crawl. Le répertoire est accompagné d’une étoile (*) si ces éléments incluent des sous-répertoires. Pour finir, cliquez sur Import.
L’importance du crawl dans votre stratégie
Crawler son site web est particulièrement utile, que ce soit pour l’indexation sur les moteurs de recherche comme pour la stratégie SEO.
Le rôle du crawl dans l’indexation du site
Le crawl d’un site est un élément déterminant pour son classement dans les résultats naturels de Google. Ainsi, empêcher les robots d’exploration de crawler votre site supprime les chances d’obtenir une visibilité au sein de la SERP (résultats de recherche Google).
À ce titre, Google a affirmé que Googlebot reste en mesure d’exploiter les fichiers JavaScript et CSS et ainsi de placer votre site dans son index. Par ailleurs, la firme américaine est capable d’analyser le DOM ou « Document object model » (modèle d’un site interprété par le navigateur à partir du code source) d’une url. Les signaux SEO dans le DOM sont crawlés et indexés. Dans certains cas, ces signaux peuvent faire l’objet d’une contradiction dans le HTML. Heureusement, ce petit problème est en cours de résolution.
Le rôle du crawl dans la stratégie SEO
Crawler un site Internet s’avère aujourd’hui capital afin d’effectuer un audit SEO. En effet, le crawl permet de mettre en exergue les améliorations structurelles à apporter à un site web. Cette opération confirme également les actions à entreprendre afin d’optimiser le site. Le crawl dévoile la structure du site, l’accès aux pages, les sources des problèmes, la volumétrie (nombres et catégories de pages), le nombre de liens de chaque url, la durée de chargement, la profondeur des pages (définie par le maillage interne), les codes sources, les urls pertinentes et inutiles ainsi que la présence et le taux de duplicate content.
Ainsi, découvrir ces principales sources d’imperfections permet d’anticiper les solutions. De plus, un crawl régulier assure la santé du site web. Cette opération proposée par notre agence SEO offre des renseignements utiles sur les concurrents et permet d’adapter ses contenus en conséquence.