llms.txt: нужен ли сайту — что показал журнал моего сервера и чужие замеры
TL;DR На моём сайте llms.txt и markdown-копии страниц стоят с 11 сентября 2026 года. За 11 суток журнал сервера записал 27 422 запроса. Сам файл за это время открыли семь раз: четыре бота и три посетителя с браузерной строкой. Markdown-копии запросили 726 раз. Из тех, кто назвался, чаще всех их брали боты двух поисковых сервисов для ИИ, Exa и Keenable, и бот Amazon. Роботы Яндекса и Google не открыли ни файл, ни одну копию. Google пишет, что файл «не помогает и не вредит». У Ahrefs 97% из примерно 38 тысяч таких файлов за месяц не открыл никто. На выдачу Google файл не влияет — по словам самого Google; влияния на ИИ-ответы не нашёл ни один замер. Держать файл стоит, если он собирается сам. Ниже — журнал, позиции платформ, исследования с оценкой надёжности и способ проверить свой сайт. Чтение — около восьми минут.
В статьях о продвижении в нейросетях llms.txt стоит одним из первых пунктов: поставьте файл, и ИИ-поиск вас заметит. Я Егор, десять лет в перформанс-маркетинге. Сайт я собираю сам вместе с ИИ-агентом, поэтому файл поставил в первый же день и ничего за него не платил. Через два месяца открыл журнал сервера и посмотрел, кто за файлом приходил.
В деньгах Если llms.txt собирается автоматически, он стоит ноль. Если подрядчик продаёт его отдельной услугой, попросите журнал сервера «до и после». Что в нём искать — ниже.
Что такое llms.txt и что он обещал
llms.txt — текстовый файл в корне сайта: короткое описание и список главных страниц со ссылками. Формат предложил Джереми Ховард 3 сентября 2024 года. Замысел такой: нейросеть, которой нужно быстро понять сайт, читает этот файл и не разбирает вёрстку.
Вместе с файлом спецификация советует отдавать чистые текстовые копии страниц в формате markdown. Это отдельная мера: копию страницы можно получить и без llms.txt.
На моём сайте llms.txt и markdown-копии собираются сами
Обе меры делает сборщик сайта при каждой выкладке, руками я их не веду.
- llms.txt — описание сайта и ссылки на все статьи и заметки.
- Markdown-копия каждой страницы. Её отдают двумя способами: по отдельному адресу, который заканчивается на
index.md, и по обычному адресу страницы, если в запросе стоит заголовокAccept: text/markdown. - Ссылки на llms.txt и на markdown-копию стоят в служебной части каждой страницы, так что робот находит их при обычном обходе.
- От поисковой индексации файл и копии закрыты, чтобы не плодить дубли.
Простыми словами По адресу копия открывается как отдельная страница: ссылка на неё есть в коде каждой статьи, и открыть её может любой робот, который идёт по ссылкам. По заголовку робот приходит на обычный адрес статьи и в самом запросе просит текст без вёрстки — так делает только тот, кому нужен именно markdown. Поэтому запрос по заголовку — прямая просьба о копии, а запрос по адресу может оказаться обычным переходом по ссылке.
Журнал сервера: llms.txt открыли семь раз за 11 суток
Журнал хранит записи с 31 октября по 10 ноября 2026 года: 27 422 запроса вместе со статикой и сканерами, из них 4 483 — к обычным страницам. На llms.txt пришлось десять строк, то есть семь заходов — меньше одного в сутки.
| Кто | Когда | Сколько |
|---|---|---|
| Bingbot, поисковый робот Microsoft | 31 октября | 1 |
| GPTBot, робот OpenAI | 3 ноября | 1 |
| Amazonbot | 7 ноября | 1 |
| PipericBot | 8 ноября | 1 |
| Посетители с браузерной строкой | 4, 9 и 10 ноября | 3 захода, 6 строк |
Каждый из трёх «браузерных» заходов оставил две строки: переадресацию и сам файл. Ни один бот не пришёл за файлом дважды.
Журнал сервера: markdown-копии запросили 726 раз
Копии запрашивали в 73 раза чаще, чем файл: 726 запросов против десяти.
По заголовку — 297 запросов Почти все дали два бота: ExaSearchBot — 217, KeenableBot — 73. Ещё три пришли от Claude Code, два — с браузерной строкой и по одному — от ботов Keenable-User и ExaUser.
По адресу копии — 429 запросов Amazonbot — 140, GPTBot — 11, ClaudeBot — 7, Applebot и Bingbot — по 5, утилита curl — 3. Остальные 258 пришли с браузерной строкой.
На людей эти браузерные запросы не похожи. Вместе с двумя запросами по заголовку их 260. В 137 стоит одна и та же строка браузера Chrome 120 на Mac, в 107 — iPhone с системой 2019 года. Адреса перехода, то есть страницы, откуда пришёл посетитель, нет в 257. Запрошено 146 разных страниц. Так обычно ходят сборщики, которые не представляются.
Нужен ли боту именно markdown, видно, если поставить рядом его запросы к обычным страницам за те же дни.
| Робот | Запросов к обычным страницам | Запросов к markdown-копиям |
|---|---|---|
| ExaSearchBot и KeenableBot вместе | 275 | 290 |
| Amazonbot | 154 | 140 |
| Googlebot | 206 | 0 |
| Bingbot | 76 | 5 |
| PerplexityBot | 45 | 0 |
| YandexBot | 44 | 0 |
| ClaudeBot | 37 | 7 |
| GPTBot | 23 | 11 |
| Applebot | 8 | 5 |
Amazonbot запросил 140 копий на 154 обычные страницы, и все копии — по адресу: похоже, он идёт по ссылкам со страниц. Роботы Google, Яндекса и Perplexity копии не взяли ни разу. OAI-SearchBot, который собирает страницы для поиска в ChatGPT, за 11 суток 39 раз запросил правила обхода в robots.txt и не открыл ни одной страницы.
Яндекс: файл не открывал, половины проверенных статей в индексе нет
Робот Яндекса за 11 суток открыл 44 страницы и ни разу не запросил ни llms.txt, ни копию, хотя файл стоит на сайте с первого дня. На 10 ноября в индексе Яндекса нет 16 из 31 статьи, которые я проверил точным запросом.
Проверить по моему журналу, влияет ли файл на Яндекс, нельзя: робот его не видел. Сказать можно одно: наличие файла попадания в индекс не гарантирует.
Что говорят о llms.txt Google, Яндекс, OpenAI и Anthropic
Прямо о файле высказался только Google.
| Кто | Позиция | Источник |
|---|---|---|
| Файл «не помогает и не вредит» видимости сайта, поиск его игнорирует. Создавать новые машиночитаемые файлы и markdown для попадания в поиск не нужно | Руководство для сайтов по ИИ-функциям поиска, обновлено 10 июля 2026 года | |
| Яндекс | О llms.txt ничего. Генеративные ответы строятся с опорой на результаты поиска, и «принципиально новых требований не возникает» | Справка Вебмастера, раздел про ЭПОС; даты на странице нет |
| OpenAI и Anthropic | Заявлений, что их роботы используют файл при отборе источников, нет | Страницы о роботах |
При этом OpenAI и Anthropic выкладывают llms.txt в документации для разработчиков, а Яндекс — в справке Вебмастера. Противоречия нет: такой файл рассчитан на помощника, который читает справку по просьбе человека. К отбору источников для ответов поиска это не относится.
Что показали исследования llms.txt и насколько им верить
Эксперимента с контрольной группой, где одни сайты добавили файл, а такие же другие не добавили, я не нашёл ни одного. Есть наблюдения за журналами и пробы на одном-двух сайтах.
| Кто и что мерил | Результат | Насколько надёжно |
|---|---|---|
| Ahrefs: 137 210 сайтов, подключённых к его аналитике, май 2026 года | Файл есть у 28% из них; авторы считают это верхней границей. 97% из примерно 38 000 файлов за месяц не открыл никто | Наблюдение на большой выборке. Считает запросы к файлу, цитирование не меряет |
| Reboot Online: 2 сайта, 8 страниц, известных только из llms.txt, три месяца | Ни одного захода ИИ-ботов на эти страницы | Проба. Единственная найденная мной проверка того, находят ли боты страницу через файл |
| OtterlyAI: один сайт, 90 дней | 84 запроса к llms.txt из 62 100 с лишним заходов ИИ-ботов | Проба на одном сайте |
| Search Atlas: 13 911 сайтов | Медианная видимость в ИИ-сервисах 31,33 с файлом против 30,91 без. Если сравнивать сайты одного веса, разница в основном пропадает | Срез без дат внедрения |
| SE Ranking: около 300 000 сайтов | Связи между файлом и частотой цитирования нет | Срез, методика раскрыта не полностью |
| Evil Martians: журнал своего сайта, сентябрь — октябрь 2026 года | 56% чтений агентами пришлось на markdown, из них 94% — Claude Code | Журнал сайта одного агентства разработки |
Замечание Все шесть источников продают инструменты или услуги вокруг поиска и ИИ. Их выводы стоит читать с этой поправкой.
Замер с контрольными страницами нашёлся по соседней мере — разметке JSON-LD, которую тоже добавляют «для ИИ». Ahrefs сравнил 1 885 страниц, добавивших такую разметку, с контрольными. Относительно контрольных страниц цитирований в ИИ-обзорах Google стало на 4,6% меньше, и авторы называют разницу статистически значимой. В режиме ИИ и в ChatGPT изменение от нуля не отличить. Авторы оговариваются, что причина может быть не в разметке.
Кому llms.txt и markdown-копии нужны
Документации и продуктам для разработчиков. Их читают помощники программистов, а эти помощники просят markdown. У Evil Martians 94% чтений markdown дал один инструмент — Claude Code.
Сайту, который собирается кодом Файл и копии появляются сами, поддерживать нечего. У меня так.
Блогу, магазину, сайту услуг — нет, если за файл надо платить или вести его руками. Ни мой журнал, ни чужие замеры не показывают, что он приводит читателей.
Как проверить llms.txt и markdown-копии по журналу сервера
- Возьмите журнал доступа сервера за месяц.
- Посчитайте запросы к
/llms.txtи разбейте их по строке User-Agent. - Посчитайте запросы к копиям: отдельно по адресу, отдельно по заголовку
Accept: text/markdown. - Для каждого робота поставьте рядом число обычных страниц. Без этого знаменателя 140 запросов легко принять за спрос на markdown, хотя это, вероятно, обход ссылок.
- Запросы с браузерной строкой проверьте на одинаковые строки и на отсутствие адреса перехода.
Эти пять чисел за месяц до установки файла и за месяц после — и есть журнал «до и после», который стоит попросить у подрядчика.
Где мои данные врут
- Короткий срок. Журнал хранит 11 суток. Что было в сентябре и октябре, я не знаю.
- Маленький и новый сайт. Домену два месяца, читателей мало. На большом сайте цифры будут другими.
- Нет периода «до». Файл стоит с первого дня, сравнить не с чем.
- Строку User-Agent можно подделать. Я считаю роботом того, кто так назвался.
- Запрос не равен пользе. Журнал показывает, кто открыл файл. Попал ли сайт после этого в чей-то ответ, по нему не видно.
Откуда числа
Мои цифры — из журнала доступа сервера за 31 октября — 10 ноября 2026 года. Индексацию я проверял 10 ноября точным запросом к Яндексу по 31 статье из 66 на сайте. Чужие замеры: Ahrefs о llms.txt и о разметке, Reboot Online, OtterlyAI, Search Atlas, SE Ranking, Evil Martians. Позиции платформ: руководство Google, справка Яндекс Вебмастера про ЭПОС и ответы Алисы AI, спецификация llms.txt, страницы OpenAI и Anthropic о роботах. Файлы llms.txt у платформ: справка Яндекс Вебмастера, OpenAI, Anthropic. Все страницы открыты 10 ноября 2026 года.
Краткие выводы
- За 11 суток llms.txt на моём сайте открыли семь раз. Роботы Яндекса и Google — ни разу.
- Markdown-копии запросили 726 раз. По заголовку их просят боты Exa и Keenable и Claude Code, остальные, вероятно, идут по ссылкам со страницы.
- Google прямо пишет, что файл не помогает и не вредит. Яндекс о нём молчит.
- Эксперимента «до и после» с контрольными сайтами по llms.txt я не нашёл. Наблюдения сходятся: файл почти никто не открывает.
- Держать файл стоит, если он собирается сам. Платить за него отдельно незачем.
Что в вашей смете «подготовки сайта к нейросетям» можно проверить по журналу сервера, а что приходится принимать на веру?