llms.txt

llms.txt 是一个提议的纯文本文件，放置在网站根目录，就像 robots.txt 或 sitemap.xml 一样，它为大型语言模型提供一份精选的、机器可读的网站最重要页面和内容摘要。其目的是帮助 AI 爬虫和助手找到并引用正确的材料，而不是从它们能抓取到的任何内容中猜测。

结构方式#

一个典型的 llms.txt 文件是一个简短的 Markdown 文档：一行网站描述，然后是一份精选的链接列表，指向最重要的页面（文档、关键定义、定价、政策），通常附有一行关于每个链接涵盖内容的说明。一些网站还会发布更详细的 llms-full.txt，其中内嵌了更完整的页面内容，这样模型就不必单独获取每个链接的页面。

它（尚）不是官方 Web 标准#

与搜索引擎遵守了几十年的 robots.txt 不同，llms.txt 是一个社区提案，各个 AI 平台可能读取也可能不读取或优先考虑。采用情况参差不齐：据报道，一些 AI 爬虫会检查它，另一些则完全忽略它，转而依赖常规爬取和现有结构化数据。将 llms.txt 视为多个信号之一，而不是保证的引用机制。

它与 GEO 和 AEO 的关系#

llms.txt 是基础设施，而非内容策略。它本身不会让页面被引用，底层内容仍然需要是生成式引擎优化和答案引擎优化所描述的那种直接、结构良好的答案。llms.txt 添加的是一张地图：它告诉爬虫哪些页面值得优先处理，这在大型网站上更为重要，因为模型可能会随机采样而错过真正权威的页面。什么是广告透明度？ 和 什么是广告透明度工具？ 背后的同一原则，同样适用于这些页面本身的编写方式。

一个实际示例：直接查询广告数据#

这个想法更直接的版本，超越精选文件，是赋予 AI 系统对真实数据的结构化访问权限，而不仅仅是可爬取的页面。OpenAdLibrary 的 Native Ad Library MCP 正是这样做的：它让 Claude 和 ChatGPT 通过为 AI 代理构建的协议直接查询 OpenAdLibrary 的 广告透明度 索引（收录已捕获的广告），而不是试图总结关于它的抓取页面。这与 llms.txt 的底层目标相同——让模型以更少的猜测获得正确信息——只是通过实际数据接口而非精选链接列表更进一步。

你应该发布一个吗？#

对于大多数内容网站，发布一个基本的 llms.txt 成本低、风险低：它是一个小型静态文件，不影响正常 SEO，即使 AI 爬虫部分采用，也只有好处没有坏处。它不能替代使内容本身准备好回答问题的做法，也不会修复那些将要点埋在三段之后的页面。将其视为爬虫的礼貌地图，建立在已经适用于 Ad Intelligence 风格研究的内容之上，而不是绕过把内容写好的捷径。