WordPress est le leader mondial des Systèmes de Gestion de Contenu (Content Management System, ou CMS), mais il lui manque quelque chose : un fichier robots.txt. C’est une des rares choses que vous devrez installer manuellement. Si vous ne savez pas comment faire, cela peut sembler confus de prime abord. Dans ce didacticiel, nous allons vous montrer comment préparer votre fichier robots.txt pour WordPress.
C’est quoi?
Le fichier robots.txt indique aux différents moteurs de recherche d’indexer ou non une page. Il ne les empêche pas de parcourir le contenu de la page, mais il leur dit quel contenu vous désirez indexer ou non.
Généralement, les moteurs de recherche réputés honoreront votre requête.
Pour faire simple, il s’agit d’un simple fichier texte créé à l’aide d’un éditeur tel que Notepad. Vous l’uploadez vers votre dossier public_html sur le serveur de votre hébergeur. Testez-le en utilisant les outils pour webmasters de chez Google, et si cela fonctionne, vous pouvez y aller.
La terminologie du fichier
La terminologie repose sur deux commandes-clés. Aucun fichier ne peut faire plus de 500 lignes ou les moteurs de recherche arrêteront de lire une fois cette limite dépassée, ce qui peut entrainer des conséquences indésirables. Cela ne devrait néanmoins pas être un problème pour la plupart des utilisateurs. Ces deux commandes sont :
- User-agent
- Disallow
User-agent est la commande utilisée pour le moteur de recherche proprement dit. Chaque moteur de recherche a un nom propre, mais pour la plupart des utilisateurs, un astérisque peut être utilisé. L’astérisque invite simplement les bots de tous les moteurs de recherche à parcourir votre site. Une barre oblique signifie qu’aucun bot ne devrait parcourir votre site.
La commande disallow consiste en une liste de sites web que vous voulez que les moteurs de recherche évitent. Si vous ne voulez pas omettre quoi que ce soit, vous pouvez le laisser vide. Mais vous pouvez également ajouter le lien de la page pour empêcher les moteurs de recherche d’indexer la page.
Règles spéciales
Gardez à l’esprit que si vous tapez ‘/123’ sous la commande disallow, les moteurs de recherche refuseront d’indexer ‘/123’ and ‘/1234’. Pour éviter cela, vous devriez ajouter un signe ‘$’ à la suite de l’adresse de la page. Cela signifiera au moteur tel que Google que vous voulez exclure uniquement cette adresse.
Vous devriez également vous rappeler que vous devriez uniquement détailler les CHANGEMENTS que vous voulez effectuer sur le processus habituel. Cela ne sert à rien de créer un fichier robots.txt dans lequel vous indiquez aux moteurs de recherche d’indexer toutes les pages de votre site sans exception. C’est ce qui se passe par défaut.
L’uploader vers WordPress
Vous devez uploader votre fichier robots.txt à la racine de tous les sites WordPress situés sur votre serveur, y compris les sous-répertoires.
Si vous n’avez qu’un site WordPress, vous pouvez ajouter le fichier à votre répertoire public_html et partir de là. Vous n’aurez qu’à vous lancer dans le stage de test.
Les tests peuvent être effectués à travers Google. Google a une section composée d’outils pour webmaster qui teste le fichier robots.txt sur votre site. Vous pouvez également choisir un tester tiers testant votre site dans votre navigateur. Ces derniers peuvent vous dire quel fichier robots.txt est en place.
Si vous voyez vos règles affichées, tout est OK !
