Каждую неделю клиенты задают один и тот же вопрос: добавлять ли файл llms.txt и закрывать ли сайт от AI? Оба вопроса заслуживают чёткого ответа без хайпа — потому что неверное решение стоит вам видимости именно там, где покупатели теперь ищут информацию ещё до того, как вообще попадут на ваш сайт.

Что такое llms.txt на самом деле

llms.txt — это предложенный стандарт: один файл в формате Markdown в корне домена (/llms.txt), который перечисляет ваши самые ценные страницы, чтобы LLM мог быстро их найти и понять, не продираясь через лишнее. Представьте это как упорядоченное оглавление, написанное для машин, — короткую карту простым языком, которая говорит: «вот что важно и вот где это лежит».

Честно говоря: на начало 2026 года ни один крупный AI-провайдер официально не подтвердил, что читает llms.txt. Google, OpenAI, Anthropic и Perplexity его не одобрили, и идёт честная дискуссия о том, дождётся ли он реального распространения. Поэтому воспринимайте файл как дешёвую страховку, а не рычаг ранжирования — несколько часов на создание, безвреден, если его игнорируют, и потенциально полезен, если стандарт приживётся. Чем он не является, так это заменой чистой структуры сайта, sitemap или сильного контента.

Главные AI-crawler-ы и их user-agent-ы

Контроль доступа начинается со знания, кто стучится в дверь. Самые важные user-agent-ы:

• GPTBot — OpenAI, собирает данные для обучения
• OAI-SearchBot — OpenAI, питает поисковые результаты ChatGPT
• ClaudeBot — Anthropic, обучение и поиск
• PerplexityBot — Perplexity, индексация для answer-engine
• Google-Extended — переключатель Google для Gemini и AI-обучения (отдельно от обычной индексации Google)
• Bytespider, Amazonbot, Applebot-Extended — другие крупные игроки, о которых стоит знать

Ключевое различие: блокировка Google-Extended не убирает вас из обычного Google Search. Она лишь отключает AI-обучение. Путать эти две вещи — самая частая ошибка, которую я вижу.

Как управлять доступом через robots.txt

Это тот файл, который crawler-ы действительно уважают. Вы задаёте правила для каждого user-agent простым текстом в /robots.txt. Чтобы заблокировать crawler-ы для AI-обучения, но сохранить классическое SEO:

```
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: PerplexityBot
Disallow: /

Обычные поисковики остаются желанными

User-agent: *
Allow: /
```

Помните: robots.txt — это вежливая просьба, а не стена. Надёжные crawler-ы её соблюдают, недобросовестные — могут и нет. Для по-настоящему чувствительных материалов используйте аутентификацию, а не robots.txt.

Блокировать или разрешать? Настоящий компромисс

Вот стратегический вопрос. Блокировка защищает ваш контент от использования для обучения моделей и скрапинга без упоминания. Разрешение означает, что вашу экспертизу могут цитировать, упоминать и показывать, когда кто-то спрашивает ChatGPT или Perplexity о вашей отрасли — а именно там всё чаще начинается выбор.

Взвешивайте так:

• Склоняйтесь к блокировке, если контент — это ваш платный продукт (курсы, исследования, данные за paywall) или вы работаете по строгой лицензии.
• Склоняйтесь к разрешению, если вам нужны узнаваемость, лиды и авторитет — это большинство сервисных бизнесов, B2B, локальных провайдеров и издателей, живущих со спроса, а не с самого текста.

Нейтрального стандарта нет. Выбрать блокировку — значит выбрать отсутствие в ответах AI о вашей категории, а конкуренты охотно заполнят эту тишину.

Следите, что crawler-ы делают на самом деле

Политика, которую вы не проверяете, — это догадка. Когда правила уже работают, просмотрите логи сервера или аналитику по AI-user-agent-ам, чтобы подтвердить две вещи: что разрешённые crawler-ы заходят, а заблокированные отступили. Если бот продолжает стучаться в запрещённые пути — он либо настроен неверно, либо не играет по правилам; в обоих случаях это полезный сигнал. Возвращайтесь к этому ежеквартально, потому что имена и поведение crawler-ов меняются быстрее любой документации.

Сбалансированная политика для большинства бизнесов

Для большинства компаний, которым я советую, прагматичная позиция такова:

1. Разрешите поисковые и answer-engine crawler-ы (OAI-SearchBot, PerplexityBot, Googlebot), чтобы появляться в AI-результатах.
2. Осознанно решите по чисто обучающим crawler-ам (GPTBot, Google-Extended) — блокируйте только при реальной лицензионной или IP-причине.
3. Опубликуйте аккуратный llms.txt с акцентом на ключевые страницы — дёшево и на перспективу.
4. Делайте контент действительно цитируемым: чёткие ответы вверху, структурированные заголовки, фактическая глубина. Именно эта GEO/AEO-работа и приносит цитирование.

Видимость в ответах AI становится такой же решающей, какой когда-то было попадание на первую страницу. Управляйте дверью осознанно — но для большинства разумно оставить её открытой и сделать контент достойным цитирования.