llms.txt
llms.txt 是一個提議的純文字檔案,位於網站根目錄,為 AI 爬蟲和助手提供一份精選的網站最重要頁面地圖,供其閱讀和引用。

llms.txt 是一個提議的純文字檔案,如同 robots.txt 或 sitemap.xml 一樣放置在網站根目錄,它為大型語言模型提供一份精選、機器可讀的網站最重要頁面和內容摘要。其理念是幫助 AI 爬蟲和助手找到並引用正確的資料,而不是從它們能爬取的任何內容中猜測。
其結構#
典型的 llms.txt 檔案是一個簡短的 Markdown 文件:一行網站描述,然後是精選的最重要頁面連結清單(例如文件、關鍵定義、定價、政策),通常會附帶一行說明每個連結涵蓋的內容。有些網站還會發布一個擴展的 llms-full.txt,內含更完整的頁面內容,這樣模型就不必單獨抓取每個連結的頁面。
它(目前)並非官方網路標準#
與搜尋引擎已遵循數十年的 robots.txt 不同,llms.txt 是一個社群提案,各個 AI 平台可能會也可能不會讀取或優先處理。採用情況並不均衡:據報導,一些 AI 爬蟲會檢查它,另一些則完全忽略它,轉而依賴正常的爬取和現有的結構化資料。應將 llms.txt 視為眾多訊號之一,而非保證的引用機制。
它與 GEO 和 AEO 的關係#
llms.txt 是基礎設施,而非內容策略。它本身不會讓頁面被引用,底層內容仍需是「生成引擎優化」和「答案引擎優化」所描述的那種直接、結構良好的答案。llms.txt 增加的是地圖功能:它告訴爬蟲哪些頁面值得優先處理,這在大型網站上更為重要,否則模型可能會隨機取樣而錯過真正具權威性的頁面。編寫這些頁面本身所遵循的紀律,與 什麼是廣告透明度? 和 什麼是廣告透明度工具? 背後的原理相同。
一個實際範例:直接查詢廣告資料#
這個想法更直接的版本,超越了精選檔案,是讓 AI 系統能夠結構化地存取真實資料,而不僅僅是可爬取的頁面。OpenAdLibrary 的 Native Ad Library MCP 正是如此:它讓 Claude 和 ChatGPT 能夠透過為 AI 代理構建的協議,直接查詢 OpenAdLibrary 的 廣告透明度 索引(收錄已擷取的廣告),而不是試圖總結一個關於它的爬取頁面。這與 llms.txt 的根本目標相同,即讓模型獲得正確資訊,減少猜測,並透過實際的資料介面而非精選連結清單,更進一步實現此目標。
您應該發布一個嗎?#
對於大多數內容網站來說,發布一個基本的 llms.txt 成本低、風險小:它是一個小型靜態檔案,不影響正常的 SEO,即使 AI 爬蟲僅部分採用,也是有利無弊。它不能替代讓內容本身準備好回答問題,也無法修復那些將重點埋藏在三段文字之後的頁面。請將其視為在已適用於 Ad Intelligence 風格研究的內容之上,為爬蟲提供的一份禮貌地圖,而非繞過良好撰寫內容的捷徑。






