NewNo plan feeNo plan fee. Just 2.9% + $0.30 per card sale, and signing up is free.Try now →

Comercio agéntico

¿Cuál es la diferencia entre llms.txt y robots.txt?

Actualizado

robots.txt indica qué rastreadores pueden obtener qué rutas; es un archivo de permisos que los rastreadores bien comportados respetan voluntariamente. llms.txt ofrece un resumen de lo que es un sitio y qué URL responde a qué pregunta; no concede ni retiene nada. Eliminar robots.txt cambia lo que los rastreadores pueden hacer. Eliminar llms.txt solo cambia lo que se les entrega como atajo. Ninguno de los archivos impone nada; la aplicación se produce en tu 'edge'.

La distinción en una línea cada uno

Se confunden constantemente porque comparten una ubicación y una extensión de archivo, y la consecuencia práctica de confundirlos es que los equipos creen haber establecido una política cuando han escrito un resumen.

robots.txtllms.txt
PropósitoPermisosOrientación
FormatoDirectivasMarkdown
EstandarizadoSí, establecido desde hace mucho tiempoUna propuesta, ampliamente adoptada
Respetado porRastreadores bien comportadosNo confirmado
Afecta el rastreoSíNo
Impone algoNoNo
Los dos archivos raíz comparados según las dimensiones que deciden cómo los usas.

Ninguno de los dos es una imposición

Este es el punto que la mayoría de las guías omiten. Ambos archivos son solicitudes. Un rastreador que ignora robots.txt obtiene tus páginas de todos modos, y nada en ninguno de los archivos lo detiene.

La aplicación real reside en el 'edge': reglas de WAF, límites de tasa, gestión de bots. Esa distinción no es académica. Cuando encuestamos a marcas DTC, los sitios que rechazaron nuestras solicitudes lo hicieron en el 'edge' mientras que sus robots.txt permitían todo, por lo que una auditoría del archivo por sí sola habría informado lo contrario de lo que realmente sucedió.

Cuál hacer bien primero

robots.txt, sin dudarlo. Es el archivo con consecuencias: un 'disallow' descuidado puede eliminarte por completo de los motores de respuesta, y los rastreadores que rige están nombrados, documentados y son separables en clases de entrenamiento, motores de respuesta y agentes en vivo que merecen respuestas diferentes.

llms.txt puede generarse después en una tarde. El orden se deriva de la asimetría: un archivo puede costarte visibilidad, el otro, en el mejor de los casos, puede ofrecer un atajo a un lector.

Preguntas frecuentes

¿Puede llms.txt bloquear rastreadores de IA?
No. No tiene sintaxis de directivas ni semántica de permisos. El bloqueo se expresa en robots.txt para los rastreadores que lo respetan, y se aplica en tu 'edge' para aquellos que no lo hacen.
¿Necesito ambos?
Necesitas robots.txt, y deberías saber lo que dice actualmente. llms.txt es opcional y económico; añádelo una vez que el archivo de permisos sea deliberado en lugar de heredado.
¿Necesita robots.txt una regla separada para cada rastreador de IA?
Necesita tantas reglas como intenciones distintas tengas. Los rastreadores de entrenamiento, los rastreadores de motores de respuesta y los agentes en vivo que obtienen información en nombre de un usuario son tres cosas diferentes, y la mayoría de los sitios quieren respuestas diferentes para cada uno.

Fuentes

Relacionado