Ниже приведу расширенную, универсальную и максимально правильную версию robots.txt для WordPress — с подробными комментариями, поддержкой SEO, безопасностью, мультисайтами (Multisite), кастомными пост-типами и учётом современных практик.

Содержание ↓↑
  1. robots.txt для WordPress

robots.txt для WordPress

# robots.txt для WordPress
# Сгенерировано с учётом безопасности, SEO и производительности
# Все поисковые роботы будут следовать этим правилам

User-agent: *

# 🔒 Запрещаем доступ к системным и служебным директориям
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /wp-content/languages/
Disallow: /wp-content/backup-db/
Disallow: /wp-content/ai1wm-backups/

# 🚫 Блокируем служебные файлы и скрипты
Disallow: /wp-login.php
Disallow: /wp-signup.php
Disallow: /xmlrpc.php
Disallow: /wp-cron.php
Disallow: /license.txt
Disallow: /readme.html
Disallow: /readme.md
Disallow: /install.php
Disallow: /wp-config.php
Disallow: /php.ini
Disallow: /cgi-bin/

# 🔄 Блокируем технические и дублирующие URL
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*/feed/
Disallow: /*?replytocom=
Disallow: /*?utm_source=
Disallow: /*?utm_medium=
Disallow: /*?utm_campaign=
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?ref=
Disallow: /?s= # Поисковые запросы на сайте
Disallow: /search/ # Если есть ЧПУ поиска
Disallow: /author/ # Блокировка страниц авторов (если не нужно в индексе)
Disallow: /page/ # Часто дублирует главную
Disallow: /cgi-bin/

# 🖼️ Разрешаем индексацию медиафайлов (важно для SEO картинок)
Allow: /wp-content/uploads/

# 🧩 Разрешаем отдельные нужные файлы (если используются)
Allow: /wp-content/uploads/sitemap.xml$
Allow: /wp-content/uploads/*.css$
Allow: /wp-content/uploads/*.js$

# 🌐 Для мультисайта (Multisite) — блокируем сетевые админки
Disallow: /wp-admin/network/
Disallow: /wp-admin/ms-admin.php

# 📱 Мобильная версия (если используется отдельная)
# Disallow: /m/

# 🤖 Правила для конкретных ботов (опционально)

# Googlebot — можно уточнить поведение
User-agent: Googlebot
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /search

# Bingbot
User-agent: Bingbot
Disallow: /wp-admin/
Disallow: /search

# Яндекс (рекомендуется использовать Яндекс.Вебмастер)
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /*?replytocom
Disallow: /*?utm_source
Disallow: /*?gclid

# 🗺️ Карта сайта (обязательно укажи реальный путь!)
Sitemap: https://ваш-сайт.рф/sitemap.xml
# Sitemap: https://ваш-сайт.рф/post-sitemap.xml
# Sitemap: https://ваш-сайт.рф/page-sitemap.xml
# Sitemap: https://ваш-сайт.рф/product-sitemap.xml # если WooCommerce

# 🚫 Запрет индексации вручную (необязательно)
# Noindex: /private/
# Noindex: /temp/
# Noindex: /drafts/

🔧 Как использовать:

  1. Замени https://ваш-сайт.рф на настоящий URL твоего сайта.
  2. Сохрани как robots.txt и загрузи в корень сайта (через FTP, хостинг или файловый менеджер).
  3. Проверь: https://ваш-сайт.рф/robots.txt
  4. Протестируй в:
    • Google Search Console → Инструмент проверки robots.txt
    • Yandex.Webmaster → Анализ robots.txt

⚠️ Важные нюансы:

  • Если используешь Yoast SEO, Rank Math, All in One SEO и т.п. — они управляют robots.txt через PHP, и физический файл может игнорироваться. В этом случае настрой robots.txt в интерфейсе плагина.
  • Страницы авторов (/author/) — часто создают дубли, лучше закрыть, если не важны.
  • Фильтры UTM, gclid и др. — блокировка параметров предотвращает дублирование страниц.
  • Allow: /wp-content/uploads/ — критично важно, иначе Google не будет индексировать изображения.
  • Карта сайта — обязательно добавь, особенно если у тебя много контента.

💡 Дополнительно (по желанию):

  • Добавь Crawl-delay: 5 (для медленных серверов), если боишься нагрузки от ботов:

Crawl-delay: 5

  • (Поддерживается не всеми, Google его игнорирует, но может помочь для мелких ботов.)
  • Если сайт на поддомене или в подпапке — адаптируй пути.

✅ Итог:

Этот robots.txt:

  • Защищает от индексации служебных файлов
  • Улучшает SEO, убирая дубли
  • Поддерживает медиа и карты сайта
  • Совместим с плагинами и мультисайтами
  • Гибкий и готов к кастомизации

Если скажешь, какой у тебя тип сайта (блог, магазин, портфолио, многоязычный и т.д.) — могу адаптировать под конкретику.