robots.txt
Un archivo en la raíz de una web que dice a los rastreadores qué rutas prefiere que eviten; es una convención que nadie hace cumplir.
robots.txt es un archivo de texto plano que una web publica en su raíz para indicar cómo le gustaría que se comportaran los visitantes automatizados: qué rutas evitar y a veces a qué ritmo rastrear. Es una convención muy antigua que siguen los rastreadores que se portan bien, y los buscadores la respetan de forma estricta.
Es importante tener claro que no es un control de acceso. robots.txt pide sin imponer; nada técnico impide una petición a una ruta prohibida. Pero ignorarlo es una mala práctica y un riesgo práctico, porque una web que ve tráfico en rutas que pidió evitar a los rastreadores tiene una señal fácil de que el visitante es un bot que se porta mal.
La lectura sensata es que robots.txt marca el límite de la automatización bienvenida. Quedarse dentro mantiene a un rastreador en la categoría de tráfico tolerado y lejos del abuso marcado.
Su mecánica es sencilla, y eso explica en parte que haya sobrevivido décadas sin cambios. Los grupos empiezan con una línea User-agent que indica a qué rastreador se aplican las reglas, seguida de líneas Disallow y Allow con prefijos de ruta. Un asterisco en la línea User-agent significa todos los que no tengan reglas más específicas. Muchas webs publican también una línea Sitemap, que es realmente útil: apunta a una lista estructurada de las URLs que la web quiere de verdad que se encuentren.
La trampa que crea es la inversa de su propósito, y pilla a quienes se creen listos. Leída como una lista de sitios interesantes en lugar de sitios que evitar, una ruta prohibida parece una pista de que allí se esconde algo valioso. Mucho más a menudo es lo contrario: una ruta que ningún rastreador legítimo pedirá nunca, así que cualquier cosa que la pida queda identificada sin esfuerzo. Tratar el archivo como un mapa es meterse a propósito en un honeypot.
También conviene tener claro que no es seguridad ni pretendió serlo nunca. Una ruta prohibida sigue siendo accesible públicamente, así que cualquiera puede pedirla y nada se lo impide. Publicar en robots.txt la ubicación de algo delicado lo anuncia a todo el mundo mientras pide por favor que nadie mire, lo peor de los dos mundos.
La postura práctica que adoptamos, y que proponemos como mínimo: léelo, respeta las reglas Disallow, respeta cualquier pausa de rastreo que indique y usa el sitemap que ofrece. Cumplirlo no cuesta casi nada, te mantiene en la categoría de tráfico que una web tolera y evita la señal que con más fiabilidad marca una dirección como problemática.
Preguntas frecuentes
¿Es ilegal ignorar robots.txt?
Es una convención, y la situación legal varía según la jurisdicción y puede combinarse con las condiciones de servicio de una web, así que es una pregunta para un abogado. La respuesta práctica es otra y más clara: ignorarlo es una de las formas más fiables de que marquen una dirección, porque las rutas prohibidas son justo lo que nada legítimo pide.
¿robots.txt bloquea algo de verdad?
No. Es una petición publicada, sin control de acceso. Cada ruta prohibida sigue siendo accesible públicamente y nada técnico impide pedirla. Por eso también incluir ahí algo delicado es contraproducente: anuncia la ubicación a todo el mundo y confía en la cortesía para protegerla.
¿Puede robots.txt decirme dónde están los buenos datos?
Puede decirte dónde están las trampas, que es la inversión útil. Una ruta prohibida a la que no apunta ningún enlace es una firme candidata a honeypot, ya que solo la automatización que ignora el archivo aparecerá por ahí. La línea realmente útil es Sitemap, que apunta a una lista estructurada de URLs que la web quiere activamente que se descubran.
¿Cómo se lee un archivo robots.txt?
Está agrupado por rastreador. Una línea User-agent indica a quién se aplican las reglas siguientes, y un asterisco significa cualquiera que no tenga reglas específicas; debajo, las líneas Disallow y Allow listan prefijos de ruta. Busca el grupo que se te aplica, normalmente el del asterisco, y sigue esas reglas. Una línea Sitemap puede aparecer en cualquier parte y se aplica a todos.
Volver al glosario completo.

