Comment indexer ou désindexer les pages de son site internet sur Webflow ?

Qu'est-ce que l'indexation et pourquoi est-elle importante ?

L'indexation est un processus essentiel dans le monde du référencement naturel (SEO) et du web en général. Elle désigne la manière dont les moteurs de recherche, tels que Google, découvrent, analysent et distribuent les pages web pour les rendre accessibles aux utilisateurs lors de leurs recherches.

Voici quelques points clés :

• Être visible : Indexer sa page est la première étape pour qu'une page web apparaisse dans les résultats de recherche. Sans indexation, cette même page sera invisible aux yeux des crawlers (petits robots qui scannent le contenu de votre site) et il y aura donc de fortes chances pour que les internautes ne tombent jamais dessus.
• Pertinence et Classement : Comme dit plus haut, lors de l'indexation, les moteurs de recherche analysent le contenu de votre site pour déterminer sa pertinence par rapport à certaines requêtes. Cela influence directement le classement de votre site dans les résultats de recherche.
• Mise à Jour du Contenu : L'indexation n'est pas un processus unique. Les moteurs de recherche réindexent régulièrement les sites pour capturer les mises à jour et les nouveaux contenus, assurant ainsi que les utilisateurs trouvent les informations les plus actuelles et pertinentes. Vous pouvez même demander une indexation manuelle via votre Google Search Console (étape 6) afin d'accélérer le processus.

Comment optimiser l'indexation de ses pages sur Webflow ?

Que vous soyez un développeur Webflow expérimenté ou un débutant, ces quelques conseils vous aideront à maximiser la visibilité de votre site.
Afin de bien comprendre l'enjeu et l'utilité de ce que nous faisons, il faut savoir que lorsque les crawlers vont scanner votre site vous disposez d'un "budget de crawl" que ces robots vont répartir entre l'ensemble de vos page. Tout l'intérêt est donc de lui indiquer quelles pages visiter ou non afin de lui faire comprendre au mieux votre activité et donc atteindre votre cible.

Étape 1 : Renseigner le robots.txt

Rendez-vous dans les paramètres de votre projet Webflow et sélectionnez l'onglet "SEO". Vous y trouverez un bloc nommé "robots.txt" et c'est ici que nous allons commencer.

La version la plus simple et celle qui est le plus utilisée est d'indiquer que vous autorisez les robots à visiter et analyser toutes vos URLs. La commande est la suivante :

User-agent: *
Disallow:

Cependant il peut parfois être judicieux de bloquer l'accès à certaines pages dont le contenu n'est pas pertinent afin d'optimiser son budget de crawl. Pour cela vous n'avez qu'à rajouter manuellement les URLs que vous ne souhaitez pas autoriser comme dans l'image suivante (ici nous bloquons donc l'accès aux pages contact, mentions légales...) :

Et voilà ! Vous avez créé votre robots.txt ! N'hésitez pas à aller plus loin avec la documentation officielle de Google à ce propos.

Étape 2 : Activer le sitemap

Afin d'avoir un plan de site automatiquement mis à jour sur votre site c'est très simple. Toujours dans l'onglet SEO trouvez le bloc "Sitemap" et activez-le.

Une fois fait vous pourrez le consulter sur www.votresite.com/sitemap.xml

Quelle-est la différence entre le sitemap et le robots.txt

Le sitemap est un fichier qui répertorie toutes les pages importantes d'un site pour guider les moteurs de recherche, tandis que le fichier robots.txt indique aux robots des moteurs de recherche quelles pages ne pas indexer.

Étape 3 : Retirer les pages non pertinentes de son sitemap

Vous avez maintenant la possibilité de cibler certaines pages ou collections de votre sitemap afin de les exclure de celui-ci et rendre votre sitemap plus pertinent.

Un cas d'usage très fréquent est par exemple la suppression du sitemap d'une collection type "logos clients". En effet ces logos nous serviront uniquement à être affichés ici et là sur notre site mais il ne possèderont pas de page dédiée.

Option 1 : Désindexation Webflow

Depuis peu, Webflow (découvrez Webflow et ce qui en faitnous offre cette possibilité via un simple switch dans les paramètres de la page :
Rendez-vous donc simplement dans votre mode "Designer", trouvez votre page et/ou collection puis cliquez sur "page settings" :

Option 2 : Désindexation manuelle

Si vous préférez exclure vous même l'URL du sitemap rien de plus simple. Toujours dans "page settings" trouvez le bloc "Inside < head > tag" et collez la ligne suivante :

<meta name=”robots” content=”noindex, nofollow”>

Étape 4 : Exclure son sous-domaine webflow.io de l'indexation

La dernière étape sur Webflow de cet article est très importante et met en péril votre référencement si elle n'est pas effectuée.
Retournez simplement dans la paramètres de votre projet sur l'onglet SEO puis cochez "Disable Webflow subdomain indexing".

Si vous ne cochez pas cette fonctionnalité, les moteurs de recherches vont ignorer votre site web et se concentrer sur le sous-domaine webflow (www.monsite.webflow.io).

Étape 5 (bonus) : Soumettre son sitemap sur la Google Search Console

Afin d'accélérer l'indexation de votre site ou d'une nouvelle URL comme un article de blog, vous pouvez notifier à google de repasser sur votre sitemap afin d'explorer les nouvelles pages.

Voici comment faire :

• Connectez-vous à votre compte Google Search Console.
• Sélectionnez votre site.
• Cliquez sur l'onglet "Sitemaps" dans la colonne de gauche
• Entrez l'URL de votre sitemap (ex : https://www.monsite.com/sitemap.xml)
• Cliquez sur "Envoyer".

Le processus d'indexation peut prendre quelques jours.

Astuce : Afin de savoir si votre page est bien indexée vous pouvez taper dans la barre de recherche google "site:www.monsite.com/monurl". Si votre page est visible, celle-ci est bien indexée !