Estándar de exclusión de robots

Carta Común · N.º 228281

El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt, es un método para evitar que ciertos bots que analizan los sitios web u otros robots que investigan todo o una parte del acceso de un sitio web, público o privado, agreguen información innecesaria a los resultados de búsqueda. Los robots son de uso frecuente por los motores de búsqueda para categorizar archivos de los sitios webs, o por los webmasters para corregir o filtrar el código fuente.

Leer en Wikipedia · Imagen Xstrein, CC BY-SA 4.0