llms.txt

llms.txt adalah file teks biasa yang diusulkan, ditempatkan di root situs web seperti halnya robots.txt atau sitemap.xml, yang memberikan model bahasa besar ringkasan terkurasi dan dapat dibaca mesin tentang halaman dan konten terpenting sebuah situs. Tujuannya adalah untuk membantu crawler dan asisten AI menemukan dan merujuk materi yang tepat alih-alih menebak dari apa pun yang bisa mereka scrape.

Bagaimana strukturnya#

File llms.txt khas adalah dokumen Markdown pendek: deskripsi situs satu baris, lalu daftar tautan terkurasi ke halaman-halaman yang paling penting (dokumentasi, definisi kunci, harga, kebijakan), biasanya dengan catatan satu baris tentang apa yang dicakup setiap tautan. Beberapa situs juga mempublikasikan llms-full.txt yang diperluas dengan konten halaman yang lebih lengkap disisipkan, sehingga model tidak perlu mengambil setiap halaman tertaut secara terpisah.

Ini (belum) standar web resmi#

Tidak seperti robots.txt, yang dihormati mesin pencari selama beberapa dekade, llms.txt adalah proposal komunitas yang mungkin atau mungkin tidak dibaca atau diprioritaskan oleh platform AI individu. Adopsinya tidak merata: beberapa crawler AI dilaporkan memeriksanya, yang lain mengabaikannya sepenuhnya dan mengandalkan crawling normal dan data terstruktur yang ada sebagai gantinya. Perlakukan llms.txt sebagai satu sinyal di antara beberapa sinyal lainnya, bukan mekanisme rujukan yang dijamin.

Di mana letaknya di samping GEO dan AEO#

llms.txt adalah infrastruktur, bukan strategi konten. Itu tidak membuat sebuah halaman dirujuk dengan sendirinya, konten dasarnya masih perlu menjadi jenis jawaban langsung dan terstruktur yang dijelaskan oleh Generative Engine Optimization dan Answer Engine Optimization. Yang ditambahkan llms.txt adalah peta: itu memberi tahu crawler halaman mana yang layak diprioritaskan, yang lebih penting di situs besar di mana model mungkin mengambil sampel secara acak dan melewatkan halaman-halaman yang benar-benar otoritatif. Disiplin yang sama di balik Apa Itu Transparansi Iklan? dan Apa Itu Alat Transparansi Iklan? berlaku untuk bagaimana halaman-halaman itu sendiri ditulis.

Contoh yang berfungsi: menanyakan data iklan secara langsung#

Versi yang lebih langsung dari ide ini, di luar file terkurasi, adalah memberikan sistem AI akses terstruktur ke data nyata alih-alih hanya halaman yang dapat di-crawl. Native Ad Library MCP OpenAdLibrary melakukan hal itu: itu memungkinkan Claude dan ChatGPT menanyakan indeks transparansi iklan milik OpenAdLibrary, yang berisi iklan yang ditangkap, langsung melalui protokol yang dibangun untuk agen AI, alih-alih mencoba meringkas halaman yang di-scrape tentangnya. Itu tujuan dasar yang sama dengan llms.txt, yaitu memberikan model informasi yang tepat dengan lebih sedikit tebakan, dibawa selangkah lebih jauh dengan antarmuka data yang sesungguhnya alih-alih daftar tautan terkurasi.

Haruskah Anda mempublikasikannya?#

Untuk sebagian besar situs konten, mempublikasikan llms.txt dasar adalah usaha dan risiko rendah: itu file statis kecil, tidak memengaruhi SEO normal, dan bahkan adopsi sebagian oleh crawler AI adalah keuntungan tanpa kerugian nyata. Itu bukan pengganti untuk membuat konten itu sendiri siap jawab, dan itu tidak akan memperbaiki halaman yang mengubur poinnya tiga paragraf ke bawah. Anggap itu sebagai peta kesopanan untuk crawler di atas konten yang sudah berfungsi untuk penelitian gaya Ad Intelligence, bukan jalan pintas untuk menulis konten itu dengan baik.