Protocole d'exclusion des robots

Carte Commune · n° 225508

Le protocole d'exclusion des robots, souvent nommé robots.txt, est une ressource de format texte qui peut être placée à la racine d'un site web, et qui contient une liste des ressources du site qui sont censées ou non être indexées par les robots d'indexation des moteurs de recherche. Par convention, les robots consultent le fichier texte nommé robots.txt avant d'indexer un site Web. Ce protocole a été proposé par Martijn Koster en 1994 et il a été rapidement adopté comme un standard de facto du web avant d’être normalisé en 2022 dans la RFC 9309.

Lire sur Wikipédia · Image Internet Archive, Public domain