Les dessous de l’indexation

Un débat agite le petit monde du SEO depuis quelques temps. Il s’agit de l’indexation des pages. C’est devenu une vraie difficulté en 2021. Tentons d’y voir plus clair dans cette actualité torride. L’index de Google comprend des centaines de milliards de pages web. Chaque jour, de nombreuses pages sont ajoutées suite à un crawl (passage du bot sur le site) mais d’autres restent sur le bord de la route. Voyons les causes de ce rejet et les moyens d’y remédier.

Le constat : le contenu ne s’indexe plus comme avant

Il y a encore 2-3 ans, il suffisait de produire un qualité moyenne pour qu’il s’indexe assez rapidement s’il n’était pas trop profond dans la structure de navigation du site web. Et puis, Google a connu ses premiers soucis d’indexation de façon récurrente et Internet a commencé à en pâtir. Certaines pages ne s’indexaient pas, d’autres sortaient de l’index sans explication du jour au lendemain. Ces problèmes techniques ont souvent pour origine des problèmes de synchronisation entre les datacenters. Google stocke des milliards de pages. Les données sont distribuées et répliquées au travers d’une architecture technique particulièrement complexe. De temps en temps, il y a des ratés avec des réactions en chaîne. Pour les internautes, c’est un souci car cela veut dire que tous les contenus ne sont plus directement accessibles via les moteurs de recherche.

Certains phénomènes comme le spamdexing font surchauffer les bases de Google. Il se retrouve à devoir analyser et stocker des tas de pages inutiles. Cela consomme beaucoup de ressources et amplifie les problèmes qui peuvent se poser. Bien sûr, le spam ne date pas d’hier mais l’échelle qu’il atteint aujourd’hui avec l’explosion de la génération de contenu automatique fait que le phénomène est de plus en plus complexe à traiter pour les robots.

Pour limiter la consommation de ressources, Google a élevé ses attentes. Chaque page subit donc un certain nombre de vérifications avant de rentrer dans l’index secondaire et encore plus pour l’index primaire, qui représente la cible ultime. Comment Google procède? Il utilise un système signaux et de filtres qualitatifs dont en voici quelques-uns :

• est-ce que la page répond à la requête cible?
• est-ce que le contenu est suffisamment qualitatif et intéressant?
• est-ce que le champ sémantique est traité?
• est-ce que le site a bonne réputation?
• est-ce que la page apporte une vraie valeur ajoutée par rapport aux autres pages déjà indexées?
• est-ce que le contenu est unique (pas de contenu dupliqué externe ou interne)?

Pour être concret, avant, une page de 250 mots sur un sujet large pouvait tout à fait s’indexer sans faire trop d’efforts en quelques jours après sa publication. Le crawl était fréquent et le bot était peu regardant sur la qualité des contenus. Aujourd’hui, la même page ne passera plus la barrière de l’indexation si le traitement n’est pas suffisamment spécifique par rapport à ce que font les autres pages déjà indexées. Google ne va pas consommer des ressources inutilement pour indexer une page qui de toutes façons ne présentera que peu d’intérêt pour l’internaute par rapport aux autres résultats de recherche.

Comment vérifier l’indexation?

Voici trois méthodes manuelles et fiables pour vérifier l’indexation d’une page dans les moteurs :

• utiliser la commande site:URL dans Google,
• copier deux lignes du contenu, les mettre entre guillemets dans Google et voir si cela ressort,
• mettre l’URL dans la Google Search Console et voir l’état d’indexation.

Ces méthodes sont très fiables mais chronophages. Des outils permettent de faire la vérification par lots comme par exemple Seobserver ou isIndexed. C’est bien pratique pour réaliser des audits lorsque l’on n’a pas accès à la Search Console du site.

Régler les problèmes techniques

Si votre site s’indexe vraiment mal de façon générale, vous avez peut-être un gros problème technique sous-jacent :

• indexation bloquée via le robots.txt ou une balise meta robots,
• site beaucoup trop lent,
• présence de contenu malveillant suite à un hack,
• désindexation suite à un DMCA ou une pénalité,
• pages orphelines à cause d’erreurs dans la structure.

Tous ces problèmes ont une solution plus ou moins facile à mettre en œuvre. Mais il est indispensable de les traiter avant tout travail sur le contenu car ce sont des facteurs bloquants. Pour cela, il est important de savoir comment Google évalue votre site.

Forcer l’indexation : la bonne mauvaise idée

Si votre contenu ne s’indexe pas, c’est qu’il a un problème. Soit il ne répond pas aux critères de qualité de Google, soit il est tellement profond dans l’arborescence du site que Google a du mal à le découvrir et lui accorder le moindre crédit. Dans les deux cas, vous pouvez tenter de forcer l’indexation en demandent directement à Google de faire passer son bot via la Search Console. Le résultat sera souvent sans appel : s’il n’a pas indexé la page jusqu’à présent, il y a peu de chances pour qu’il change d’avis si le contenu est le même. Forcer l’indexation ne fonctionne que sur le contenu frais et de qualité lorsque l’on veut accélérer le processus.

Il ne faut pas non plus utiliser cet outil pour rafraichir l’index après une modification car dans certains cas, cela peut faire sortir la page de l’index!

Il existe d’autres outils et techniques pour forcer l’indexation d’une page mais les résultats sont trop aléatoires pour que je les présente ici.

Aider l’indexation : la seule solution viable

Un contenu non indexé est un contenu qui ne sert à rien du point de vue du référencement du site. Vous devez donc régulièrement regarder dans la Search Console quelles sont les pages qui ne s’indexent pas et les retravailler pour les indexer. La plupart du temps, c’est la faute du contenu qui ne répond pas aux attentes de Google. Il faut donc l’optimiser. La solution peut être d’ajouter un peu de contenu, une vidéo ou des images. Il est assez stupéfiant de constater que parfois, l’ajout de quelques images va permettre de débloquer la situation. Si cela ne suffit pas, on recommence. Si cela ne suffit toujours pas, il faut prendre le temps d’analyser les résultats de recherche pour voir ce qu’attend Google. Si vous écrivez une page de 250 mots pour informer sur un sujet là où les résultats ne sont que des pages de produits de sites d’e-commerce, vous risquez d’avoir du mal à arriver en première position.

Si le problème ne vient pas du contenu, alors il vient du maillage interne. Si vous avez la main sur le site, vous pouvez ajouter une page plan de site (pas un sitemap mais bien une page plan de site) mais aussi améliorer le maillage interne en liant votre page à indexer depuis d’autres pages pertinentes (3 à 5 pour commencer). Cela va aider Google à découvrir votre page. Cela aura en outre pour effet de lui transmettre plus de jus de référencement. S’il s’agit d’un article sponsorisé sur un site tiers, acheté sur NextLevel ou une autre plateforme, vous n’aurez pas d’autre choix que d’acheter un autre lien pour pousser votre lien et aider à son indexation. Si votre article sponsorisé ne s’indexe pas, votre lien ne vaudra absolument rien. Google ne prend pas en compte les liens sur les pages non indexées. On trouve sur des plateformes comme Soumettre des liens à 10 € qui font très bien ce travail de lien sur le lien. A noter quand même que si le lien a été acheté sur NextLevel, normalement, il est déjà indexé comme il se positionne donc vous n’aurez pas ce souci au moment de l’achat. Par contre, ce problème d’indexation peut se poser sur d’autres plateformes.

Cibler le meilleur niveau de qualité globalement

La qualité, toujours la qualité, rien que la qualité, voilà ce qu’il faut rechercher. Un contenu de qualité, c’est plus cher mais cela s’indexe et se positionne mieux qu’un contenu bas de gamme. Google est très attentif à la qualité générale de votre site. Si 50% de votre contenu est bas de gamme, c’est un vrai problème pour lui et votre contenu de qualité ressortira potentiellement moins bien que si votre score général était plus élevé. Il faut clairement mettre le paquet sur les contenus avec un objectif de conversion mais il ne faut pas négliger pour autant les autres pages, en particulier si votre site a peu de pages.

Google News : le coupe file de l’indexation

Il existe un coupe file chez Google. Cela s’appelle Google News. Les contenus postés sur des sites référencés dans l’index d’actualités de Google s’indexent en quelques minutes. Cette indexation ne résulte pas pour autant dans un positionnement automatique mais clairement, le contenu de ces sites s’indexe très rapidement.

Il est devenu très difficile aujourd’hui d’entrer dans Google News pour un nouveau site. La solution la plus simple est donc de racheter un nom de domaine expiré déjà présent dans cet index. En général, Google ne fait pas le ménage et donc on peut bénéficier de l’inclusion antérieure.

On peut aussi acheter des liens sur des sites Google News directement sur une plateforme comme Ginkoo.

Spécificité et réponse à l’intention : les clés du succès

Google est de plus en plus intelligent pour deviner ce qu’un visiteur attend comme résultats lorsqu’il tape requête. Si votre page répond de façon précise à cette intention, vous avez toutes les chances de vous positionner. Si votre page est trop généraliste, trop vague, pas assez focalisée sur une intention, alors elle ne se positionnera pas et dans certains cas, ne s’indexera même pas.

Pour prendre un exemple, si j’écris une page le crédit immobilier de 250 mots avec pour objectif de me positionner sur la requête « crédit immobilier », je n’ai aucune chance de me positionner. Mon texte ne s’indexera même pas. En revanche, si je crée une page avec plusieurs milliers de mots, un comparateur, une offre ciblée et localisée, là j’ai déjà plus de chances de m’indexer et même peut-être de me positionner si mon site a un peu d’autorité comme c’est une requête très concurrentielle.

Au final, cette difficulté d’indexation est devenue une problématique récurrente pour de nombreux sites web. Les spécialistes du référencement naturel de l’agence se tiennent à votre disposition pour permettre à vos contenus de s’indexer de nouveau dans les moteurs de recherche. C’est indispensable pour retrouver votre visibilité et continuer de toucher de nouveaux clients.