Optimiser votre site WordPress pour le référencement est l’une des choses les plus importantes que vous pouvez faire. Un site optimisé attirera beaucoup plus de trafic qu’un site n’ayant subi aucun travail de référencement. Il y a plusieurs techniques de référencement que vous pouvez utiliser pour attirer plus de trafic – l’ajout de mots clés à l’aide de balises alt et l’ajout de metadata sont les techniques les plus courantes. Cependant, il y a quelques techniques supplémentaires qui sont moins répandues. L’une d’entre elles est l’utilisation et l’optimisation d’un fichier robots.txt pour votre site WordPress. Si vous n’en avez pas ou si vous n’êtes pas sûr que le vôtre soit optimisé, vous avez trouvé le bon tutoriel WordPress pour vous guider.
Qu’est-ce qu’un fichier Robots.txt?
C’est un fichier créé par les propriétaires de sites Web (pas uniquement ceux qui utilisent WordPress) pour communiquer directement avec les moteurs de recherche. Ça s’appelle le Robots Exclusion Protocol. Ce fichier est consulté avant que le robot du moteur de recherche ne visite le site. Ça peut servir à dire aux moteurs de recherche de ne jamais visiter un site par exemple, même si ceci peut être ignoré. Il est également possible de lui dire de sauter certains répertoires, ou de donner aux robots un accès complet à tout. Ce fichier est le plus souvent dans le répertoire racine de votre site Web. Vous pouvez utiliser un client FTP pour le visualiser le télécharger.
Utilisation de Robots.txt
Le format de votre fichier robots.txt est très simple. Il peut être ouvert avec Notepad ou n’importe quel autre éditeur de texte. Il affiche à la première ligne un User-Agent (souvent un astérisque pour indiquer tous les users), puis il affiche les répertoires autorisés et non-autorisés. Ici aussi, un astérisque peut être utilisé pour tout autoriser ou tout interdire.
Voici un exemple de fichier robots.txt :
User-Agent: *
Disallow: /temporary/
Disallow: /junk/
Allow: wp-content/uploads/
Ceci demande à tous les moteurs de recherche d’exclure les répertoires « temporary » et « junk ». Ils n’indexeront aucune page incluse dans ces deux répertoires. Cependant, ils indexeront tout ce qui est dans le répertoire wp-content/uploads (il s’agit généralement de vos images).
Certains interdisent en effet l’accès à leur répertoire « plugins » parce que c’est souvent la cible de hackers à la recherche de certains extensions ayant des failles de sécurité. Si vous utilisez des extensions pouvant constituer un risque de sécurité, pensez à exclure le répertoire. Plusieurs Webmasters excluent également le fichier readme.html pour que les hackers ne puissent pas savoir quelle version de WordPress est utilisée pour essayer d’exploiter les failles de sécurité que cette version peut avoir.
Optimisation du fichier
Comme vous pouvez le voir, ceci ne va pas considérablement améliorer votre référencement. Il n’y a pas de mots clés ou quoi que ce soit. Un moyen d’utiliser ce fichier à des fins de référencement est de suivre les instructions de Google. Google a déclaré désapprouver l’utilisation par les Webmasters de robots.txt pour cacher du contenu. Ça ne devrait pas être utilisé pour exclure des choses comme des pages d’archives ou de catégories car Google peut voir cela comme une tentative de dissimuler du contenu vieux ou de mauvaise qualité.
Un moyen d’optimiser robots.txt est d’y ajouter le plan du site. Une extension comme All in One SEO ajoutera le plan du site en entier à robots.txt. Ceci listera chaque page de votre site Web dans le fichier robots.txt, ce qui est pratique car ça vous assure que les moteurs de recherche connaissent l’existence de chaque page de votre site. Ils auront pour instruction d’indexer tout le contenu que vous avez, mis à part ce que vous avez spécifiquement interdit.
