llms.txt

llms.txt एक प्रस्तावित सादा-पाठ फ़ाइल है, जिसे वेबसाइट के रूट पर robots.txt या sitemap.xml की तरह रखा जाता है, जो बड़े भाषा मॉडल को साइट के सबसे महत्वपूर्ण पेजों और सामग्री का एक चयनित, मशीन-पठनीय सारांश प्रदान करती है। विचार यह है कि AI क्रॉलर और सहायकों को सही सामग्री खोजने और उद्धृत करने में मदद मिले, बजाय इसके कि वे जो कुछ भी स्क्रैप कर सकते हैं, उससे अनुमान लगाएं।

यह कैसे संरचित है#

एक विशिष्ट llms.txt फ़ाइल एक छोटा Markdown दस्तावेज़ है: एक पंक्ति का साइट विवरण, फिर सबसे महत्वपूर्ण पेजों (डॉक्स, मुख्य परिभाषाएँ, मूल्य निर्धारण, नीतियाँ) के लिंक की एक चयनित सूची, आमतौर पर प्रत्येक लिंक क्या कवर करता है, इस पर एक पंक्ति के नोट के साथ। कुछ साइटें अधिक पूर्ण पेज सामग्री को इनलाइन करके एक विस्तारित llms-full.txt भी प्रकाशित करती हैं, ताकि एक मॉडल को प्रत्येक लिंक किए गए पेज को अलग से फ़ेच न करना पड़े।

यह (अभी तक) एक आधिकारिक वेब मानक नहीं है#

Robots.txt के विपरीत, जिसे खोज इंजन दशकों से मानते आ रहे हैं, llms.txt एक सामुदायिक प्रस्ताव है जिसे अलग-अलग AI प्लेटफ़ॉर्म पढ़ सकते हैं या नहीं भी पढ़ सकते हैं, या प्राथमिकता दे सकते हैं या नहीं भी दे सकते हैं। अपनाने की दर असमान है: बताया जाता है कि कुछ AI क्रॉलर इसकी जाँच करते हैं, अन्य इसे पूरी तरह से नज़रअंदाज़ करते हैं और इसके बजाय सामान्य क्रॉलिंग और मौजूदा संरचित डेटा पर निर्भर रहते हैं। llms.txt को कई संकेतों में से एक के रूप में देखें, न कि एक गारंटीशुदा उद्धरण तंत्र के रूप में।

GEO और AEO के बगल में इसकी जगह#

llms.txt एक बुनियादी ढांचा है, सामग्री रणनीति नहीं। यह अपने आप में किसी पेज को उद्धृत नहीं करवाता, अंतर्निहित सामग्री को अभी भी उस प्रकार का सीधा, अच्छी तरह से संरचित उत्तर होने की आवश्यकता है जिसका वर्णन Generative Engine Optimization और Answer Engine Optimization करते हैं। llms.txt जो जोड़ता है वह एक मानचित्र है: यह एक क्रॉलर को बताता है कि किन पेजों को प्राथमिकता दी जानी चाहिए, जो एक बड़ी साइट पर अधिक मायने रखता है जहाँ एक मॉडल अन्यथा यादृच्छिक रूप से नमूना ले सकता है और वास्तव में प्रामाणिक पेजों को छोड़ सकता है। विज्ञापन पारदर्शिता क्या है? और विज्ञापन पारदर्शिता टूल क्या है? के पीछे का वही अनुशासन इस पर भी लागू होता है कि वे पेज स्वयं कैसे लिखे जाते हैं।

एक व्यावहारिक उदाहरण: विज्ञापन डेटा को सीधे क्वेरी करना#

इस विचार का अधिक सीधा संस्करण, एक चयनित फ़ाइल से परे, AI सिस्टम को सिर्फ क्रॉल योग्य पेजों के बजाय वास्तविक डेटा तक संरचित पहुंच देना है। OpenAdLibrary का Native Ad Library MCP ठीक यही करता है: यह Claude और ChatGPT को OpenAdLibrary के विज्ञापन पारदर्शिता इंडेक्स को, जिसमें कैप्चर किए गए विज्ञापन शामिल हैं, AI एजेंटों के लिए बनाए गए प्रोटोकॉल के माध्यम से सीधे क्वेरी करने देता है, बजाय इसके कि इसके बारे में स्क्रैप किए गए पेज को सारांशित करने की कोशिश की जाए। यह llms.txt के समान अंतर्निहित लक्ष्य है, मॉडल को कम अनुमान के साथ सही जानकारी देना, एक चयनित लिंक सूची के बजाय एक वास्तविक डेटा इंटरफ़ेस के साथ एक कदम आगे ले जाया गया।

क्या आपको एक प्रकाशित करना चाहिए?#

अधिकांश सामग्री साइटों के लिए, एक बुनियादी llms.txt प्रकाशित करना कम प्रयास और कम जोखिम वाला है: यह एक छोटी स्थिर फ़ाइल है, यह सामान्य SEO को प्रभावित नहीं करती है, और AI क्रॉलर द्वारा आंशिक अपनाना भी बिना किसी वास्तविक नुकसान के लाभ है। यह सामग्री को स्वयं उत्तर-तैयार बनाने का विकल्प नहीं है, और यह उन पेजों को ठीक नहीं करेगा जो अपना मुख्य बिंदु तीन पैराग्राफ नीचे दबा देते हैं। इसे Ad Intelligence शैली के शोध के लिए पहले से काम करने वाली सामग्री के शीर्ष पर क्रॉलर के लिए एक शिष्टाचार मानचित्र के रूप में सोचें, न कि उस सामग्री को अच्छी तरह से लिखने के आसपास का शॉर्टकट।