Ниже приведу расширенную, универсальную и максимально правильную версию robots.txt для 1С-Битрикс (Bitrix) — с подробными комментариями, поддержкой SEO, безопасностью, мультисайтами, интеграцией с модулями и учётом современных практик.

Содержание ↓↑
  1. robots.txt для Bitrix

robots.txt для Bitrix

# robots.txt для 1С-Битрикс (Bitrix)
# Сгенерировано с учётом безопасности, SEO и производительности
# Все поисковые роботы будут следовать этим правилам

User-agent: *

# 🔒 Запрещаем доступ к системным и служебным директориям
Disallow: /bitrix/
Disallow: /upload/1c_webdav/
Disallow: /upload/php_interface/
Disallow: /upload/conf/
Disallow: /upload/logs/
Disallow: /upload/tmp/
Disallow: /upload/thumbnails/
Disallow: /upload/session/
Disallow: /upload/backup/
Disallow: /local/
Disallow: /personal/
Disallow: /include/
Disallow: /cache/
Disallow: /managed_cache/
Disallow: /stack_cache/

# 🚫 Блокируем служебные файлы и скрипты
Disallow: /bitrix/admin/
Disallow: /bitrix/rk.php
Disallow: /bitrix/captcha.php
Disallow: /bitrix/urlrewrite.php
Disallow: /bitrix/backup/
Disallow: /bitrix/lic/
Disallow: /bitrix/.settings.php
Disallow: /php_interface/dbconn.php
Disallow: /license_key.php
Disallow: /license.html
Disallow: /install/
Disallow: /web.config
Disallow: /cgi-bin/

# 🔄 Блокируем технические и дублирующие URL
Disallow: /index.php?&PAGEN_
Disallow: /*?PAGEN_
Disallow: /*?arrFilter_
Disallow: /*?set_filter=
Disallow: /*?action=
Disallow: /*?backurl=
Disallow: /*?login=yes
Disallow: /*?logout=yes
Disallow: /*?forgot_password=yes
Disallow: /*?change_password=yes
Disallow: /*?register=yes
Disallow: /*?utm_source=
Disallow: /*?utm_medium=
Disallow: /*?utm_campaign=
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?ref=
Disallow: /search/ # Страницы поиска по сайту
Disallow: /basket/ # Корзина
Disallow: /order/ # Оформление заказа
Disallow: /personal/ # Личные данные (если не нужно в индексе)
Disallow: /auth/ # Авторизация
Disallow: /subscribe/ # Подписка

# 🖼️ Разрешаем индексацию медиафайлов (важно для SEO картинок)
Allow: /upload/iblock/
Allow: /upload/resize_cache/
Allow: /upload/noresize_cache/
Allow: /upload/medialibrary/
Allow: /upload/video/

# 🧩 Разрешаем отдельные нужные файлы (если используются)
Allow: /upload/sitemap.xml$
Allow: /upload/*.css$
Allow: /upload/*.js$
Allow: /upload/*.svg$

# 🌐 Для мультисайтов (виртуальных хостов) — блокируем служебные зоны
Disallow: /virtual_host_root/
Disallow: /_virtual_host_data/

# 📱 Мобильная версия (если используется отдельная)
# Disallow: /m/

# 🤖 Правила для конкретных ботов (опционально)

# Googlebot — можно уточнить поведение
User-agent: Googlebot
Allow: /upload/
Disallow: /bitrix/
Disallow: /personal/
Disallow: /search
Disallow: /basket

# Bingbot
User-agent: Bingbot
Disallow: /bitrix/
Disallow: /personal/
Disallow: /search

# Яндекс (рекомендуется использовать Яндекс.Вебмастер)
User-agent: Yandex
Disallow: /bitrix/
Disallow: /auth/
Disallow: /basket/
Disallow: /order/
Disallow: /personal/
Disallow: /*?PAGEN_
Disallow: /*?arrFilter_
Disallow: /*?utm_source
Disallow: /*?gclid
Crawl-delay: 2

# 🗺️ Карта сайта (обязательно укажи реальный путь!)
Sitemap: https://ваш-сайт.рф/sitemap.xml
# Sitemap: https://ваш-сайт.рф/catalog-sitemap.xml
# Sitemap: https://ваш-сайт.рф/news-sitemap.xml
# Sitemap: https://ваш-сайт.рф/blog-sitemap.xml

# 🚫 Запрет индексации вручную (необязательно)
# Noindex: /private/
# Noindex: /temp/
# Noindex: /drafts/

🔧 Как использовать:

  1. Замени https://ваш-сайт.рф на настоящий URL твоего сайта.
  2. Сохрани как robots.txt и загрузи в корень сайта (через FTP, панель хостинга или файловый менеджер).
  3. Проверь: https://ваш-сайт.рф/robots.txt
  4. Протестируй в:
    • Google Search Console → Инструмент проверки robots.txt
    • Yandex.Webmaster → Анализ robots.txt

⚠️ Важные нюансы:

  • Если используешь встроенный SEO-модуль Bitrix — он может автоматически генерировать robots.txt. Убедись, что не дублируешь правила. Настройки — в разделе «Настройки сайта → SEO → Файл robots.txt».
  • Параметры фильтров (arrFilter_, PAGEN_) — частая причина дублей. Их нужно блокировать.
  • Папка /upload/ — содержит медиа, файлы ИБ, кеши. Важно разрешить индексацию изображений, но запретить служебные подпапки.
  • Карта сайта — Bitrix умеет генерировать sitemap автоматически. Укажи её путь в robots.txt и в вебмастерах.
  • Страницы корзины, авторизации, заказа — не должны индексироваться. Их всегда стоит блокировать.

💡 Дополнительно (по желанию):

  • Добавь Crawl-delay: 5 (для медленных серверов), если боишься нагрузки от ботов:

Crawl-delay: 5

  • (Поддерживается не всеми, Google его игнорирует, но может помочь для мелких ботов.)
  • Если сайт на поддомене или в подпапке — адаптируй пути (например, Disallow: /subsite/bitrix/).
  • При использовании REST API или веб-сервисов — закрой пути вроде /rest/ или /ws/, если они не должны быть в индексе.

✅ Итог:

Этот robots.txt:

  • Защищает от индексации служебных файлов Bitrix
  • Улучшает SEO, убирая дубли страниц (фильтры, сессии, параметры)
  • Поддерживает медиа, кеши и карты сайта
  • Совместим с мультисайтами, интернет-магазинами и CRM
  • Гибкий и готов к кастомизации под любой тип проекта

Если скажешь, какой у тебя тип сайта (корпоративный, интернет-магазин, каталог, портал, многосайтовость и т.д.) — могу адаптировать robots.txt под конкретную структуру и модули Bitrix.

Партнёрская ссылка — https://profi-studio.ru