Le fichier robots.txt est un pilier du SEO technique à ne jamais négliger. Il vous permet de contrôler la manière dont les moteurs de recherche explorent votre site, garantissant que vos pages importantes apparaissent dans les résultats tout en bloquant celles que vous souhaitez masquer.
Pourquoi est-il si important de contrôler l'exploration et l'indexation de vos pages ?
- Optimiser le budget d'exploration. Le nombre de pages qu'un robot peut traiter est limité. Pour garantir que vos pages essentielles soient explorées régulièrement, excluez celles qui n'ont pas vocation à figurer dans les résultats de recherche.
- Masquer les pages techniques. Votre boutique génère de nombreuses pages utiles aux utilisateurs, comme la connexion, le panier ou la recherche interne. Elles sont indispensables à l'expérience utilisateur, mais n'ont pas besoin d'être indexées.
- Éviter le contenu dupliqué. Les pages techniques peuvent créer des doublons : par exemple, différentes options de tri génèrent des URL distinctes pour les mêmes produits. Il est préférable d'exclure ces pages, car les moteurs de recherche pénalisent le contenu dupliqué.
Comment contrôler l'indexation des pages de votre boutique ?
Pour valoriser vos pages clés et faciliter leur indexation, maintenez toujours un sitemap à jour. Soignez également votre maillage interne et obtenez des liens externes pour renforcer l'autorité de vos pages aux yeux des moteurs de recherche.
Ces mesures garantissent une excellente visibilité, bien qu'aucune méthode ne puisse assurer une indexation à 100 %.
Ce que vous pouvez garantir à 100 %, c'est l'exclusion de pages spécifiques. Pour cela, utilisez la directive noindex dans le fichier robots.txt ou la balise meta robots. Cela semble technique, mais c'est très simple, d'autant que Shopify automatise la majeure partie de l'indexation.
Quelles pages faut-il exclure de l'indexation sur Shopify ?
Pour une boutique en ligne, il est judicieux de bloquer l'indexation des types de pages suivants :
- Tout ce qui concerne les comptes clients. Ces pages sont uniques à chaque utilisateur et inutiles dans les résultats de recherche.
- Tout ce qui concerne le paiement invité. Même sans connexion, les étapes de paiement générées ne sont pas destinées à être indexées.
- La navigation à facettes et la recherche interne. Soumettre ces URL aux robots les perturbe, gaspille votre budget d'exploration et crée des problèmes de contenu dupliqué.
- Les produits à masquer. Si vous souhaitez exclure certains produits, comme les articles en rupture de stock ou temporaires, vous pouvez les masquer via le fichier robots.txt de Shopify.
Le fichier robots.txt sur Shopify
Pour consulter votre fichier robots.txt généré automatiquement, ajoutez simplement /robots.txt à l'URL de votre boutique :
Que contient ce fichier ? Il identifie le robot (champ User-agent) et définit les directives d'exploration (Disallow signifie interdire l'accès). Dans l'exemple, les règles s'appliquent à tous les robots (User-agent est défini sur *). La directive Disallow bloque l'exploration des pages techniques comme l'admin, le panier ou le paiement.
Le fichier robots.txt inclut également un lien vers votre sitemap, ce qui aide les robots à comprendre la structure de votre site et vos priorités d'indexation.
Jusqu'à récemment, Shopify n'offrait aucune flexibilité concernant ce fichier. Mais en juin 2021, les marchands Shopify ont eu la possibilité de modifier le fichier robots.txt. Les règles prédéfinies suffisent généralement, mais elles ne couvrent pas forcément tous les cas de figure. Si vous utilisez une application pour la recherche interne, celle-ci modifie souvent l'URL, rendant les règles par défaut inopérantes. De même, si vous utilisez une navigation à facettes, l'URL change selon le filtre sélectionné, et les règles par défaut peuvent ne pas tout prendre en compte. Vous pouvez ajouter des pages et des règles supplémentaires à votre fichier, spécifier davantage d'agents utilisateurs, etc.
Pour en savoir plus sur les directives que vous pouvez appliquer, consultez le guide de Google sur le fichier robots.txt.
Notez également que de nouvelles règles apparaissent régulièrement. Par exemple, début 2022, Google a introduit une nouvelle balise permettant de contrôler l'indexation du contenu intégré : indexifembedded. Elle peut être utilisée si votre boutique contient des widgets insérés via iframe ou une balise HTML similaire que vous ne souhaitez pas voir indexés.
Comment modifier votre fichier robots.txt sur Shopify ?
Dans le code de votre thème, vous trouverez un ensemble de modèles (allez dans Boutique en ligne > Thèmes > cliquez sur Actions sur votre thème actuel > choisissez Modifier le code > allez dans Modèles). La liste devrait contenir le fichier robots.txt.liquid.
Si, pour une raison quelconque, vous ne possédez pas ce fichier, vous pouvez le créer en cliquant sur Ajouter un nouveau modèle et en choisissant robots.txt.
Par exemple, bloquons l'indexation de la recherche interne ; voici à quoi cela ressemblera dans le modèle :
Consultez la page d'aide de Shopify sur la modification du fichier robots.txt pour plus de détails.
❗ Notez que même si une page est interdite dans le fichier robots.txt, elle peut toujours être indexée si elle reçoit des liens provenant de sources externes. Par conséquent, si vous avez une ancienne page qui générait un trafic important par le passé mais qui n'est plus pertinente pour votre boutique, il est préférable de la bloquer via la balise meta robots ou de la supprimer complètement.
Désindexer du contenu Shopify avec la balise meta robots
Outre le fichier robots.txt, la directive noindex peut être insérée dans la section <head> du code de votre thème à l'aide de la balise meta robots. La balise suit la syntaxe suivante : <meta name=”robots” content=”noindex”>.
De la même manière que pour modifier ou créer un fichier robots.txt sur Shopify, accédez au fichier theme.liquid dans la section Mise en page. Par exemple, voici à quoi cela ressemblera si vous ajoutez une règle pour désindexer votre page /new-collection :
De cette façon, vous masquerez définitivement une page des résultats de recherche.
❗ Notez que vous pouvez utiliser noindex avec les directives nofollow ou follow combinées. Avec follow, votre page sera exclue de l'indexation, mais les robots d'exploration pourront suivre les autres liens présents sur cette page. Avec nofollow, ni la page elle-même ni les liens qu'elle contient ne seront accessibles aux robots d'exploration.
Désindexer du contenu Shopify à l'aide d'applications
Si tout cela vous semble trop complexe, il existe des moyens encore plus simples de contrôler l'indexation de vos pages, sans avoir à écrire une seule ligne de code. Plusieurs applications SEO pour Shopify vous aideront à masquer des produits de la recherche dans votre boutique Shopify ou à bloquer d'autres pages. Par exemple, Sitemap Noindex SEO Tools coûte 3,49 $ par mois et fonctionne avec tous les types de pages.
Améliorez votre SEO en optimisant l'indexation des pages
Voilà : nous espérons que vous comprenez mieux le fonctionnement du fichier robots.txt de Shopify et comment l'utiliser à votre avantage. Grâce au fichier robots.txt et à la balise meta robots, vous pouvez mieux contrôler l'indexation de vos pages, prévenir les problèmes de référencement et valoriser vos pages les plus importantes afin qu'elles ressortent dans les résultats de recherche et attirent davantage de visiteurs.
Si vous recherchez d'autres conseils SEO pour Shopify, consultez notre guide SEO.
Enfin, si vous avez besoin d'aide pour vos redirections ou pour le SEO en général, n'hésitez pas à nous contacter ; notre équipe d'agence sera ravie de vous aider.
