IndexNow, le nouveau protocole pour indexer plus rapidement les contenus

IndexNow, le nouveau protocole pour indexer plus rapidement les contenus

Que votre site soit une boutique en ligne ou un site d’actualité, vous ne pouvez pas échapper à la création de contenu. Les contenus sont effectivement la pierre angulaire d’un site web pour gagner en visibilité. IndexNow est votre nouvel allié pour y parvenir plus facilement.

Le problème d’indexation figure parmi les facteurs empêchant votre site de tirer profit d’un bon positionnement sur les SERP. Le crawl et l’indexation tiennent pourtant un rôle non négligeable dans le cadre du référencement d’un site web.

Il faut ainsi que vous fassiez en sorte de veiller à l’indexation de tous vos contenus pour éviter qu’ils ne deviennent des pages zombies. Et pour que le positionnement de votre site ne soit pas compromis.

Si Google est votre moteur de recherche préféré, vous utilisez sûrement le sitemap de Google Search Console pour accélérer l’indexation de vos pages web. La fonctionnalité de GSC laisse encore à désirer. La quasi-majorité des référenceurs et webmasters se tournent vers un protocole plus sophistiqué : IndexNow. Poursuivez votre lecture si vous voulez en savoir davantage sur ce tout nouveau protocole de crawl et d’indexation.

IndexNow, le nouveau protocole pour indexer plus rapidement les contenus

IndexNow : kesako ?

Google est certes le moteur de recherche le plus puissant, mais certains autres moteurs de recherche ont également des fonctionnalités qui dépassent celles de Google. Yandex et Bing disposent par exemple d’un protocole d’indexation plus efficace que Google Search Console de Google. Il s’agit d’IndexNow.

En un mot, IndexNow désigne un protocole qui sert à indexer des contenus désindexés ou nouvellement créés. Bing devance tous les autres moteurs de recherche en matière d’indexation et de crawl.

Que vous soyez webmaster ou référenceur, vous avez le privilège d’utiliser les moteurs Bing et Yandex pour accélérer le processus d’indexation de votre site ou de vos pages web. Il convient de noter qu’IndexNow n’est pas encore disponible sur certains moteurs de recherche tels que Google et DuckDuckGo. Pourtant, la société Google envisage de tester le protocole IndexNow et vous pouvez suivre les nouvelles concernant ce sujet.

Google envisage de tester IndexNow

Si Google monopolise le marché, c’est parce que la quasi-totalité de ses fonctionnalités et de ses services satisfont vivement aux besoins des utilisateurs : seul le crawl et l’indexation de contenus laissent à désirer.

Dans tous les cas, Google envisage de tester IndexNow et en amont, il cherche à élaborer un système d’indexation qui fascine le monde entier. Google veut effectivement qu’il détienne les meilleures fonctionnalités afin qu’il continue devancer tous les autres moteurs de recherche.

Ainsi, il ne déclare officiellement la sortie d’un algorithme ou d’un robot que lorsque celui-ci fait ses preuves et satisfait énormément aux attentes des utilisateurs. Même avec une fonctionnalité déjà jugée efficace, le géant du moteur de recherche se permet de réaliser des mises à jour fréquentes. C’est par exemple le cas de Google Panda et de Google Penguin.

En quelque sorte, même si Google envisage de tester IndexNow, il est fort probable qu’il mettra en place son propre protocole d’indexation. Et un jour ou l’autre, les utilisateurs délaisseront Google Search Console et opteront pour un nouveau protocole.

Les facteurs de latence des indexations de Google

Google est le plus puissant des moteurs de recherche. Il regorge de plus d’un milliard de sites Internet et de blogs : les contenus web existant dans ce search engine peuvent donc être des milliards. Ainsi, même si Google dispose de dispositifs et d’algorithmes spécifiques à l’indexation, le processus d’indexation est chronophage à cause de ce nombre considérable de contenus.

Supposons que vous publiez 12 contenus par mois. Parmi ces 12 contenus, il se peut que la moitié de ceux-ci ne soient indexés qu’après plusieurs semaines ou mois. Dans certains cas, il est même possible que certains contenus ne soient jamais indexés, sauf si vous utilisez un outil d’indexation comme le sitemap de Google Search Console.

De nombreux webmasters et référenceurs ne peuvent pas se passer de Google Search Console ou d’autres outils d’indexation de Google. Quoi qu’il en soit, ils rencontrent toujours des problèmes d’indexation avec Google. Jusqu’à l’heure actuelle, Google Search Console de Google n’est pas encore plus satisfaisant qu’IndexNow de Bing.

IndexNow... pour accélérer l’indexation des contenus

Bien entendu, la raison d’être d’IndexNow est d’accélérer l’indexation des contenus. D’une certaine manière, ce protocole d’indexation permet d’indexer les contenus de manière instantanée. D’où le terme anglo-saxon IndexNow, qui signifie littéralement « indexer maintenant » en français.

Il convient de noter que l’objectif du Bing avec IndexNow n’est réellement pas de favoriser l’indexation instantanée des contenus : il est conçu dans la seule optique d’accélérer le processus d’indexation. Pourtant, vu que ce protocole est assez sophistiqué, vous pouvez tirer profit de sa capacité à indexer les contenus en temps réel.

En général, ce processus d’indexation ne dépasse pas une journée. Au-delà de 12 heures, vous devez vous rendre compte que vos contenus ont des liens internes inappropriés. Ce qui nécessite une correction rapide.

Pourquoi faut-il veiller à l’indexation rapide des contenus ?

L’indexation rapide des contenus est une quête permanente de la quasi-totalité de sites web. De ce fait, depuis l’existence d’IndexNow, plusieurs référenceurs et webmasters délaissent Google Search Console.

Une question tourne sûrement en boucle dans votre tête : Pourquoi faut-il réellement solliciter l’indexation rapide des contenus ?
De prime abord, les moteurs de recherche crawlent des millions de contenus par jour. Lorsque votre contenu tarde à être indexé, le classement de votre site baisse.

Un contenu non-indexé pendant plusieurs mois risque même de devenir une page zombie. Celle-ci désigne une page blacklistée ou totalement invisible dans les résultats de recherche. IndexNow permet d’indexer les contenus modifiés.

Il est fort probable que les contenus nouvellement créés soient ceux qui nécessitent une indexation rapide. Lorsque vous modifiez un contenu, celui-ci devient désindexé. Il se peut pourtant qu’il ne soit indexé de nouveau que quand vous utilisez un protocole d’indexation.

D’où l’importance d’utiliser un outil comme IndexNow. Il faut que vous signaliez à Bing ou à Yandex que vous avez apporté des modifications à votre contenu pour que ces moteurs de recherche travaillent sur son indexation.

Dans le cadre de la modification d’un contenu, deux possibilités peuvent survenir : soit il est rédirigé vers une autre URL qui existe bien, soit l’URL antérieure est supprimée et une nouvelle autre en est créée. De toute façon, IndexNow indexe prioritairement les contenus qu’il estime existants.

Reste à savoir qu’il n’est pas nécessaire de soumettre un contenu modifié très fréquemment sur IndexNow. C’est par exemple le cas d’un site web axé sur la météorologie. Le protocole IndexNow identifie les contenus supprimés.

Hormis les contenus nouvellement créés et les contenus modifiés, il existe également des contenus supprimés. Ces derniers désignent simplement des pages qu’un webmaster ou référenceur supprime pour deux raisons : soit les pages en question sont redirigées vers d’autres URLs indésirables, soit elles n’existent plus et le référenceur veut les supprimer définitivement.

Quelle que soit la raison de la suppression de contenus, IndexNow parvient toujours à identifier et reconnaître ces contenus supprimés. Quoi qu’il en soit, pour que le protocole fonctionne réellement de cette manière, vous avez à envoyer une commande à Bing et ces contenus finissement par être totalement désindéxés.

Comment utiliser IndexNow ?

Lorsque vous soumettez de nombreuses URLs dans un laps de temps, vous risquez de recevoir une réponse HTTP 429 Too many Requests. Cette erreur de protocole compromet le référencement de votre site Internet, car Bing ou Yandex pensent que vous tentez de manipuler leur robot.

Il n’existe qu’une seule solution à un tel problème : il faut soumettre un à un les contenus, qu’ils soient nouvellement créés ou des contenus modifiés. Bing et Yandex recommande aux webmasters et référenceurs d’attendre 10 minutes après chaque lancement du protocole IndexNow.

Quoi qu’il en soit, en ce qui concerne particulièrement les contenus modifiés, il est idéal d’attendre 30 à 40 minutes afin qu’ils soient réellement indexés.

IndexNow, disponible sur certains CMS

Puisque Bing et Yandex sont les rois de l’indexation de contenu, ils cherchent sans cesse à optimiser leurs services afin de veiller à la satisfaction des utilisateurs. De ce fait, IndexNow est actuellement disponible sur des CMS tels que WordPress, Wix et Duda.

Sur certains CMS, le protocole est intégré par défaut, tandis que sur d’autres CMS vous avez besoin de l’intégrer sous forme d’API et vous pouvez en conséquence modifier les fonctionnalités en fonction de vos objectifs.

Concernant particulièrement WordPress, celui-ci préfère l’utilisation d’un plugin et IndexNow est ainsi sous forme de plugin sur ce CMS. Plusieurs autres plateformes utilisent également IndexNow, à savoir LinkedIn, Yext, MSN, Akamai, GitHub, Botify, Onely, etc.

Conclusion

En résumé, IndexNow désigne un protocole d’indexation mis en place par Microsoft et Yandex. Il devance le sitemap de Google Search Console. IndexNow est à la portée de tout webmaster et référenceur. Ce protocole d’indexation est actuellement intégré dans plusieurs CMS et plateformes.

Il est vrai qu’IndexNow permet l’indexation instantanée de contenus, mais il ne doit pourtant pas être traité bêtement : d’une certaine manière, la soumission des URLs sur IndexNow doit se faire naturellement afin que Bing et Yandex ne pensent pas que vous tentez de manipuler leur robot. Ce qui risque de vous induire dans des pénalités qui compromettent le référencement de votre site.

Daniel Dubois

Daniel Dubois

Passionné par le Web depuis 2007, Daniel défend la veuve et l'orphelin du web en créant des sites respectueux du W3C. Fort d'une expérience de plusieurs années, il partage ses connaissances dans un état d'esprit open source.
Très impliqué dans la communauté Joomla depuis 2014, il est actif au sein de plusieurs projets, conférencier et fondateur du JUG Breizh.