llms.txt 标准协议

llms.txt Standard Protocol

一个旨在帮助大语言模型（LLM）更好地理解和抓取网站内容的开放标准文件，类似于面向AI的robots.txt。

项目详情

llms.txt 是一个放置在网站根目录下的纯文本文件，用于向大语言模型（LLM）及其爬虫提供网站结构、核心内容和访问权限的标准化指引。

主要面向网站所有者、内容创作者以及开发AI爬虫或RAG（检索增强生成）系统的工程师。

通过提供机器可读的摘要和导航，降低LLM理解网站上下文的成本，提升AI抓取和引用的准确性。

作为开源标准本身不直接变现，但围绕该标准的生成工具、验证服务和分析平台存在商业化空间。

正如Indie Hackers社区所指出的，目前大量网站跟风添加了llms.txt，但实际读取和使用该文件的AI爬虫或客户端极少。其生态成熟度和实际采用率仍需进一步验证。