Ниже приведу расширенную, универсальную и максимально правильную версию robots.txt для Joomla — с подробными комментариями, поддержкой SEO, безопасностью, многоязычными сайтами, компонентами и учётом современных практик.

Содержание ↓↑
  1. robots.txt для Joomla

robots.txt для Joomla

# robots.txt для Joomla
# Сгенерировано с учётом безопасности, SEO и производительности
# Все поисковые роботы будут следовать этим правилам

User-agent: *

# 🔒 Запрещаем доступ к системным и служебным директориям
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/
Disallow: /media/
Disallow: /plugins/
Disallow: /modules/

# 🚫 Блокируем служебные файлы и скрипты
Disallow: /configuration.php
Disallow: /web.config
Disallow: /php.ini
Disallow: /readme.txt
Disallow: /htaccess.txt
Disallow: /license.txt
Disallow: /index.php?option=com_users
Disallow: /index.php?option=com_media
Disallow: /index.php?option=com_config
Disallow: /server.php
Disallow: /cgi-bin/

# 🔄 Блокируем технические и дублирующие URL
Disallow: /component/users/
Disallow: /component/mailto/
Disallow: /component/search/
Disallow: /component/ajax/
Disallow: /?format=feed
Disallow: /*?start=
Disallow: /*?limit=
Disallow: /*?view=
Disallow: /*?layout=
Disallow: /*?task=
Disallow: /*?controller=
Disallow: /*?Itemid=
Disallow: /*?lang=
Disallow: /*?tmpl=component
Disallow: /*?tmpl=ajax
Disallow: /*?tmpl=raw
Disallow: /*?format=pdf
Disallow: /*?format=feed
Disallow: /*?utm_source=
Disallow: /*?utm_medium=
Disallow: /*?utm_campaign=
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?ref=
Disallow: /search/ # Если включено ЧПУ для поиска
Disallow: /user/ # Страницы профилей пользователей (если не нужны)

# 🖼️ Разрешаем индексацию медиафайлов (важно для SEO картинок)
Allow: /images/
Allow: /media/com_media/
Allow: /media/system/
Allow: /media/editors/

# 🧩 Разрешаем отдельные нужные файлы (если используются)
Allow: /images/sitemap.xml$
Allow: /media/*.css$
Allow: /media/*.js$
Allow: /templates/*.css$
Allow: /templates/*.js$

# 🌐 Для многоязычных сайтов — блокируем дубли при переключении языка
# Disallow: /en/
# Disallow: /de/
# Disallow: /fr/
# Но лучше использовать hreflang, а не блокировку

# 📱 Мобильная версия (если используется отдельная)
# Disallow: /m/

# 🤖 Правила для конкретных ботов (опционально)

# Googlebot — можно уточнить поведение
User-agent: Googlebot
Allow: /images/
Allow: /media/
Disallow: /administrator/
Disallow: /component/users/
Disallow: /search
Disallow: /*?tmpl=component

# Bingbot
User-agent: Bingbot
Disallow: /administrator/
Disallow: /component/users/
Disallow: /search

# Яндекс (рекомендуется использовать Яндекс.Вебмастер)
User-agent: Yandex
Disallow: /administrator/
Disallow: /component/users/
Disallow: /component/search/
Disallow: /tmp/
Disallow: /*?start=
Disallow: /*?limit=
Disallow: /*?utm_source
Disallow: /*?gclid
Crawl-delay: 2

# 🗺️ Карта сайта (обязательно укажи реальный путь!)
Sitemap: https://ваш-сайт.рф/sitemap.xml
# Sitemap: https://ваш-сайт.рф/sitemap_articles.xml
# Sitemap: https://ваш-сайт.рф/sitemap_categories.xml
# Sitemap: https://ваш-сайт.рф/sitemap_products.xml # если используется компонент магазина

# 🚫 Запрет индексации вручную (необязательно)
# Noindex: /private/
# Noindex: /temp/
# Noindex: /drafts/

🔧 Как использовать:

  1. Замени https://ваш-сайт.рф на настоящий URL твоего сайта.
  2. Сохрани как robots.txt и загрузи в корень сайта (через FTP, панель хостинга или файловый менеджер).
  3. Проверь: https://ваш-сайт.рф/robots.txt
  4. Протестируй в:
    • Google Search Console → Инструмент проверки robots.txt
    • Yandex.Webmaster → Анализ robots.txt

⚠️ Важные нюансы:

  • Если используешь SEO-настройки в Joomla (в разделе «Глобальные настройки → SEO-настройки»), убедись, что включено «Генерировать robots.txt» или используй свой файл. Некоторые хостинги и панели управления могут его перезаписывать.
  • Параметры в URL (start=, limit=, tmpl=, format=) — частая причина дублирования контента. Их нужно блокировать.
  • Компоненты (com_users, com_media и др.) — доступ к ним через URL может открыть служебные функции. Лучше их запрещать.
  • Папка /images/ — содержит медиа. Важно разрешить индексацию, но запретить доступ к служебным подпапкам.
  • Карта сайта — если используешь компоненты вроде Joomla Sitemap, OSMap или Akeeba SEO, укажи правильный путь к sitemap.xml.

💡 Дополнительно (по желанию):

  • Добавь Crawl-delay: 5 (для медленных серверов), если боишься нагрузки от ботов:

Crawl-delay: 5

  • (Поддерживается не всеми, Google его игнорирует, но может помочь для мелких ботов.)
  • Если сайт на поддомене или в подпапке — адаптируй пути (например, Disallow: /subsite/administrator/).
  • При использовании магазинов (VirtueMart, HikaShop) — добавь блокировку корзины, оформления заказа, личного кабинета.

✅ Итог:

Этот robots.txt:

  • Защищает от индексации служебных файлов Joomla
  • Улучшает SEO, убирая дубли страниц (параметры, пагинация, компоненты)
  • Поддерживает медиа, шаблоны и карты сайта
  • Совместим с многоязычными, коммерческими и корпоративными проектами
  • Гибкий и готов к кастомизации под любой тип сайта на Joomla

Если скажешь, какой у тебя тип сайта (блог, интернет-магазин, портал, многоязычный сайт и т.д.) — могу адаптировать robots.txt под конкретные компоненты и структуру Joomla.