User Documentation
Télécharger
Lancer

Le fichier robots.txt

À propos des robots

Les robots web, aussi appelés crawlers, explorateurs web ou araignées, sont des programmes qui parcourent le web automatiquement. Parmi de nombreux usages, les moteurs de recherche les utilisent pour indexer le contenu web.

Le fichier robots.txt met en œuvre le protocole d'exclusion des robots, qui permet à un administrateur de site web de définir quelles parties du site ne doivent pas être inspectées par des agents robots spécifiques. Par exemple, l'accès au contenu des pages publiques est normalement autorisé, mais l'accès aux répertoires cgi, privés et temporaires qui ne doivent pas avoir leurs pages indexées est souvent interdit.

Où placer le fichier robots.txt

Un fichier robots.txt standard est inclus à la racine de votre Joomla. Le fichier robots.txt doit se trouver à la racine du domaine ou du sous-domaine et doit être nommé robots.txt.

Joomla dans un sous-répertoire

Un fichier robots.txt situé dans un sous-répertoire n'est pas valide. Les robots ne recherchent ce fichier qu'à la racine du domaine. Si le site Joomla est installé dans un sous-répertoire tel que example.com/joomla/, le fichier robots.txt doit être déplacé à la racine du site, à example.com/robots.txt.

Note : dans le fichier robots.txt, le nom du sous-répertoire doit préfixer tous les chemins Joomla interdits. Par exemple, la règle d'interdiction pour le répertoire /administrator/ doit être modifiée pour devenir Disallow: /joomla/administrator/.

Contenu du fichier robots.txt de Joomla

Voici le contenu d'un fichier robots.txt standard de Joomla :

# If the Joomla site is installed within a folder
# eg www.example.com/joomla/ then the robots.txt file
# MUST be moved to the site root
# eg www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to all of the
# paths.
# eg the Disallow rule for the /administrator/ folder MUST
# be changed to read
# Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# https://www.robotstxt.org/orig.html

User-agent: *
Disallow: /administrator/
Disallow: /api/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Exclusion des robots

Vous pouvez exclure des répertoires ou bloquer des robots de votre site en ajoutant une règle Disallow au fichier robots.txt. Par exemple, pour empêcher tout robot de visiter le répertoire /tmp, ajoutez cette règle :

Disallow: /tmp/

Voir aussi :

Vérification de la syntaxe

Pour vérifier la syntaxe, vous pouvez utiliser un validateur pour les fichiers robots.txt. Essayez l'un de ceux-ci :

Informations générales