Contact deux.io
  • Formation
    • Formation Growth Hacking
  • Conseil
    • Agence Growth
  • Blog
    • Growth Hacking
    • Stratégie Web
  • Growth Tools
    • Outils Gratuits
  • Accueil
  • Blog
  • tutoriel
  • Robots txt : sur Magento, WordPress, Prestashop… : A quoi ça sert ? Comment l’utiliser ?
G H

Robots txt : sur Magento, WordPress, Prestashop… : A quoi ça sert ? Comment l’utiliser ?

robots txt magento wordpress prestashopv
Publié par Jonathan le 5 mars 2019
5 / 5 ( 6 votes )

Vous avez un blog ? Un site Ecommerce ou un site d’entreprise (sur magento, wordpress ou prestashop) et vous vous demandez comment faire pour être mieux classé sur Google ou sur les autres moteurs de recherches ? Commencez par faire un fichier Robots txt !

Vous commencez une longue aventure qui ne s’arrête malheureusement jamais ! Mais bonne nouvelle, certains critères  sont connus et permettent de vous améliorer. C’est le cas du fichier robots txt, ce fichier est indispensable que vous soyez tout petit ou un mastodonte de l’info. Voyons comment implémenter le fichier robots txt sur magento, wordpress ou prestashop.

Dans cet article vous allez donc apprendre :

  • Qu’est ce qu’un fichier Robots.txt
  • Comprendre l’utilité d’un sitemap
  • Apprendre à implémenter un fichier Robots.txt sur votre CMS préféré : Magento, WordPress ou Prestashop

Désolé pour les autres, j’ai pris les trois plus sympa actuellement et surement les plus utilisés aussi (hors drupal).

Robots txt, c’est quoi ?

Le fichier Robots txt

Le fichier robots txt est un fichier qui sert à l’exploration des contenus d’un site par les robots des différents crawler et moteurs de recherche.

L’objectif du fichier robots txt est d’imposer aux moteurs de recherche de ne pas indexer certaines pages / rubriques de votre site sur site (ex: demander à google de ne pas indexer la page mentions légales qui n’a pas d’intérêt en soit pour un internaute sur google). Il sert également à indiquer le sitemap de votre site, en gros le mapping de vos pages et là où il peut venir récupérer le contenu intéressant pour lui.
/!\ Ne pas indexer, ne veut pas dire que la page n’est pas visible, vous dites simplement à google ou aux autres crawler : « hey bro’, ne mets pas cette page dans les résultats de recherche »

Pourquoi donner ce robots.txt aux moteurs de recherche ?

Vous allez surement me dire, plus il y a de pages indexées sur google mieux c’est. C’est vrai, mais seulement si votre contenu apporte de la valeur pour un utilisateur de Google. Si ce n’est pas le cas, alors vous faites travailler le robot de Google pour rien et comme tout le temps c’est de l’argent, les crawlers comme google n’aiment pas en perdre !

Le temps que le robot d’indexation prendra pour visiter votre page et l’indexer est du temps de perdu pour le robot si votre page n’est pas intéressante pour ses clients (je parle des clients de google (ou autre crawler) aka nous autres les êtres humains). Google crawle toute la journée des millions de sites, si tout le monde se met à faire ça c’est beaucoup de temps de perdu pour lui !

Donc en résumé :

  • Le fichier robots.txt sert à dire aux moteurs de ne pas indexer une page ou un répertoire.
  • Google et les autres crawler prennent en compte ce fichier robots.txt pour savoir ce qu’ils ne doivent pas prendre en compte.
  • Faire un fichier robots txt c’est faire gagner du temps à Google donc lui faire gagner de l’argent et google est une entreprise lucrative, très lucrative.

Tips : Lorsque vous faites une refonte de votre site internet (et que vous n’êtes pas sur un serveur local) pour ne pas faire de duplicate content, faites un fichier robots.txt et interdisez l’accès à l’ensemble de votre version en cours de développement. Une fois la version en développement poussée en prod, n’oubliez pas de modifier le fichier robots.txt sinon bye bye les moteurs de recherche !

A quoi ressemble le fichier robots.txt ?

Le fichier robots txt est un fichier texte (.txt) et peut être crée avec n’importe quel éditeur de texte. Le bloc note de windows fait l’affaire par exemple. Il doit être obligatoirement placé à la racine de votre site, c’est à dire monsite.com/robots.txt .

Voilà à quoi ressemble un fichier Robots.txt :
User-agent: *
Disallow: /repertoire-a/
Disallow: /repertoire-b/

User-agent: * = « Svp tous les robots, ce fichier est fait pour vous les gars! « 
User-agent: Googlebot  = « Hello Googlebot ce qui suit n’est que pour toi mon chou ! »
Disallow : « Hey bloque l’accès à des répertoires a et aux répertoire b aussi ! Merci  »

Attention certains robots crawler n’en n’ont rien à faire de ce document, mais les « gentils » robots comme Bing ou Google s’en servent et vous sont reconnaissant de les aider !

Où mettre le fichier Robots txt ?

Que ce soit sur Mangento, wordpress, prestashop ou n’importe quoi d’autre, il faut que le fichier soit à la racine de votre site c’est a dire : http://mondomain.fr/robots.txt. Ouvrez votre espace web et poussez le fichier dans le répertoire source de votre site web.

Robots txt sur magento

Normalement magento ne gère pas le fichier Robots.txt par lui même il est donc important de le rajouter et de lui dire quoi bloquer !
Ne copiez collez pas bêtement, adaptez le à votre site (ajoutez votre Sitemap)

Website Sitemap


Sitemap: blabla.xml << AJOUTER ICI
User-agent: *
Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /scripts/
Disallow: /shell/
Disallow: /skin/
Disallow: /stats/
Disallow: /var/
Disallow: /catalogsearch/result/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/
Disallow: /index.php/catalogsearch/result/
Disallow: /index.php/catalog/product_compare/
Disallow: /index.php/catalog/category/view/
Disallow: /index.php/catalog/product/view/
Disallow: /index.php/catalogsearch/
Disallow: /index.php/checkout/
Disallow: /index.php/control/
Disallow: /index.php/contacts/
Disallow: /index.php/customer/
Disallow: /index.php/customize/
Disallow: /index.php/newsletter/
Disallow: /index.php/poll/
Disallow: /index.php/review/
Disallow: /index.php/sendfriend/
Disallow: /index.php/tag/
Disallow: /index.php/wishlist/
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt
Disallow: /.js$
Disallow: /
.css$
Disallow: /.php$
Disallow: /
?p=&
Disallow: /
?SID=
Disallow: /*?limit=all

# Si tu veux pas que Google indexe tes images ajoute ca !
User-agent: Googlebot-Image
Disallow: /

Robots txt wordpress

Même principe pour le Robots twt wordpress mais avec les documents que vous ne voulez pas indexer sous wordpress (exemple la page de login administrateur) : 


User-agent: *
Sitemap: blabla.xml << AJOUTER ICI
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category/
Disallow: /trackback
Disallow: /feed
Disallow: */comments
Disallow: /
?
Disallow: /.php$
Disallow: /
.js$
Disallow: /.inc$
Disallow: /
.css$
Disallow: /.gz$
Disallow: /
.swf$
Disallow: /.wmv$
Disallow: /
.cgi$
Disallow: /
.xhtml$

Robots txt prestashop

Et enfin le fichier Robots txt prestashop un peu différent.  Prestashop génère par défaut le fichier en enlevant les urls qui ne doivent pas être publiques. si vous souhaitez le modifier attendez qu’il le génère et ajouter ce que vous voulez dedans.

Si vous utilisez un FTP, vous trouverez le fichier robots à la racine de votre site. Il suffit de modifier le fichier en ajoutant la ou les pages/répertoires que vous voulez bloquer.

Merci d’avoir lu l’article, n’hésitez pas si vous avez des questions. Dans un autre article, nous parlerons de la différence entre no follow, follow, index et no index !

Jonathan

Consultant Growth Marketing chez ✌ DEUX.IO.
J’aime tester, mesurer, et automatiser tout ce que je fais. Mes articles tournent souvent autour de ça 😉

deux.io

Vous aimez? Partagez 🙂

  • Cliquez pour partager sur Facebook(ouvre dans une nouvelle fenêtre)
  • Cliquez pour partager sur Twitter(ouvre dans une nouvelle fenêtre)
  • Cliquez pour partager sur Google+(ouvre dans une nouvelle fenêtre)
  • Cliquez pour partager sur LinkedIn(ouvre dans une nouvelle fenêtre)
  • Cliquez pour partager sur WhatsApp(ouvre dans une nouvelle fenêtre)
  • Cliquez pour partager sur Pocket(ouvre dans une nouvelle fenêtre)
  • Cliquez pour envoyer par e-mail à un ami(ouvre dans une nouvelle fenêtre)
  • Cliquer pour imprimer(ouvre dans une nouvelle fenêtre)

Vous aimerez aussi...


Laisser un commentaire Annuler la réponse

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Nos Hacks en avant 1ère
  Thank you for Signing Up
  Veuillez corriger le(s) champ(s) indiqué(s) ci-dessous.
1,true,6,E-mail d’abonné,2

☻ Qui sommes-nous

DEUX.IO est une Agence de Growth Marketing basée à Paris. Nous aidons nos clients (principalement startups) à identifier puis optimiser leur piste de croissance.

Contactez nous !


◢ Les meilleurs articles ⋰

Tailles des images Facebook, Twitter, Linkedin & autres réseaux sociaux

9 Growth Hackers / Marketers Français dévoilent leur Hack préféré

ImportHTML, ImportFeed & ImportXML: Extraire des données web directement dans Google Spreadsheet

Cold email : Votre première campagne pas à pas

Trouvez les vrais emails de vos contacts Facebook en 3 clics

18 outils Twitter essentiels pour vous les community manager !

47 Automatisations Zapier simples & efficaces

Relation blogueur : Comment mettre en place un partenariat efficace ?

Retargeting Facebook : Votre première campagne étape par étape.

Définir sa Strategie Réseaux Sociaux en 9 étapes

  • Derniers articles
    • 7 tips CRO pour booster votre site e-commerce
    • Comment créer une campagne Adwords ? | 9 étapes pour être efficace
    • Rapportive vs Fullcontact vs Clearbit: Comparaison des API d’enrichissement d’Email
    • SPA et SEO: Comment Optimiser son Référencement Google
    • l’A/B testing pour débutants et pros
    • Le SEO : facteur clé de réussite sur le web
    • Regex Tutorial 2020 : Pourquoi & Comment les utiliser ?
  • deux.io

    Agence de Growth Hacking / Marketing à Paris

    • Contactez Nous !
    • 8, rue du caire
      75002 Paris
    •          
  • 🙌

    Envie d'Apprendre le
    Growth Marketing ?

    Chaque semaine, nous sélectionnons
    3 Articles & 1 Outils dédié au Growth
    et vous les envoyons par mail Chaque Jeudi.
      Thank you for Signing Up
      Veuillez corriger le(s) champ(s) indiqué(s) ci-dessous.
    1,true,6,E-mail d’abonné,2
    La Newsletter de Référence du Growth Hacking en France

    DÉCOUVREZ LES TECHNIQUES GROWTH QUE VOUS N'APPRENDREZ NULLE PART AILLEURS!

    Data, SEO, Prospection, Emailing, Automatisation, Linkedin, Ads, Analytics...
    Formez-vous toute l'année !
    Des nouveaux cours tous les mois !
    Accès à la Communauté, AMA Mensuel, Webinars exclusifs...
    Faîtes parti des 1% des meilleurs Growth.
    Envie d'en Savoir plus ?
    La meilleure manière de progresser, c'est de se former tout au long de l'année.
    loading Annuler
    L'article n'a pas été envoyé - Vérifiez vos adresses e-mail !
    La vérification e-mail a échoué, veuillez réessayer
    Impossible de partager les articles de votre blog par e-mail.