Ce este llms.txt și merită pus pe site?

llms.txt e un fișier text pus la rădăcina site-ului, care le dă modelelor de limbaj un rezumat scurt al site-ului și linkuri spre paginile importante. E o propunere din septembrie 2024, nu un standard, iar motoarele de căutare mari nu au spus până acum că îl folosesc la clasare. Pentru un site de prezentare e o treabă de zece minute, fără câștig garantat. Pentru un site cu multă documentație are mai mult sens.

De unde vine

Propunerea a fost publicată pe 3 septembrie 2024, pe blogul echipei Answer.AI. Problema pe care încearcă s-o rezolve: când un asistent AI vrea să afle ceva de pe un site, trebuie să ghicească ce pagini contează și să curețe HTML-ul plin de meniuri, bannere și scripturi. Ideea e ca autorul site-ului să spună direct: „astea sunt paginile utile, iată-le pe scurt”.

Specificația stă pe llmstxt.org. Nu a trecut prin IETF sau W3C, organizațiile care publică standardele web, așa că fiecare instrument de AI decide singur dacă îl citește.

Cum arată fișierul

Se pune la adresa /llms.txt și e scris în Markdown, adică text simplu cu câteva semne de formatare. Are o structură fixă:

1. Un titlu cu numele site-ului sau al firmei. E singurul element obligatoriu.
2. Un rezumat de una-două propoziții, pus ca citat.
3. Opțional, câteva paragrafe cu detalii despre cum se folosesc informațiile.
4. Secțiuni cu liste de linkuri, fiecare link cu o scurtă descriere.
5. O secțiune numită „Optional”, cu linkuri pe care un model le poate sări când are puțin spațiu.

Propunerea mai sugerează ca paginile importante să aibă și o versiune în Markdown, la aceeași adresă cu .md adăugat la final. Pentru un site mic, asta e de obicei mai multă muncă decât merită.

La o firmă de reparații auto, fișierul ar avea numele firmei, o propoziție despre ce face și unde, apoi linkuri spre serviciile principale, programul, zona în care lucrează, pagina de contact și politica de garanție.

Prin ce diferă de robots.txt și sitemap

Atenție la un lucru: nici robots.txt nu e o barieră de securitate. Standardul spune explicit că regulile din el nu sunt o formă de autorizare a accesului. Cu atât mai puțin llms.txt. Dacă vrei să ascunzi ceva, îl pui în spatele unei parole, nu într-un fișier text.

Merită pus pe site?

Depinde de ce fel de site ai.

Site de documentație sau produs tehnic. Aici are cel mai mult sens. Programatorii folosesc asistenți AI ca să citească documentația, iar un rezumat curat cu linkuri bune îi ajută să dea răspunsuri corecte.

Site de prezentare sau magazin mic. Poți să-l pui, nu strică și durează puțin. Dar nu te aștepta la vizite în plus. Mai mult contează să nu blochezi din greșeală roboții în robots.txt, să ai un sitemap la zi și pagini care răspund clar la întrebări. Am scris despre asta în articolul despre rezumatele AI din Google.

Ce nu face. Nu te urcă în Google. Nu îi obligă pe roboții AI să-ți citească sau să nu-ți citească site-ul. Nu înlocuiește robots.txt.

Dacă îl pui, ține-l scurt și la zi. Un llms.txt care trimite spre pagini șterse e mai rău decât niciunul.

Dacă vrei să știi ce contează de fapt pentru vizibilitatea în căutarea cu AI, vezi pagina SEO și AI.