Здесь приведены примеры robots.txt, которые могут помочь Вам в составлении подходящего файла для разнообразных известных CMS и фрэймворков: 1С-Битрикс, Joomla, Drupal, WordPress, OpenCart, NetCat, UMI CMS, HostCMS, MODX.
Файл robots.txt - это текстовый файл, содержащий техническую информацию, размещенную в корневом каталоге вашего веб-сайта. Он демонстрирует поисковым системам, как его индексировать. Набор инструкций (строк) сообщает поисковому роботу, какие части сайта запрещено или разрешено индексировать. Для многих поисковых систем файл robots.txt может содержать вспомогательные параметры, которые обрабатываются только указанной поисковой системой.
Вы должны осознавать, что следующие инструкции являются лишь примерами, и файлы не могут обеспечить 100% результат, потому что они могут не содержать специальных частей и типов файлов, которые должны быть закрыты или открыты на Вашем сайте. В определенных ситуациях Вам может быть необходима точная настройка параметров проекта, поэтому мы советуем Вам также провести консультацию с программистом и/или администратором проекта, который знаком с его деталями и важными местами, чтобы корректно настроить robots.txt.
Примечание!
Значение site.ru следует заменить на Ваш домен.
Как с помощью ISPmanager загрузить файл robots.txt на сайт?
- Войдите в хост-панель, перейдите в каталог-www-файлового менеджера вашего сайта в ISPmanager и нажмите Загрузить на панели.
- После открытия окна загрузки файла, Вам следует остановить свой выбор на robots.txt используя локальный компьютере и загрузить его на сервер.
Для того, чтобы проверить, успешно ли загружен файл на сайт, откройте в браузере страницу http://site.ru/robots.txt, где site.ru - название Вашего сайта.
После загрузки robots.txt на сайт мы проверяем правильность файла по инструкции:
Для Яндекс-через Яндекс.Вебмастер регистрация не требуется.
Для Google - через веб-мастера Google нужно будет провести регистрацию.
Для robots.txt следует загрузить и установить разрешение 444.
robots.txt для 1С-Битрикс
User-agent: *
Allow: /map/
Allow: /search/map.php
Allow: /bitrix/templates/
Disallow: */index.php
Disallow: /*action=
Disallow: /*print=
Disallow: /*/gallery/*order=
Disallow: /*/search/
Disallow: /*/slide_show/
Disallow: /*?utm_source=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*arrFilter=
Disallow: /*auth=
Disallow: /*back_url_admin=
Disallow: /*BACK_URL=
Disallow: /*back_url=
Disallow: /*backurl=
Disallow: /*bitrix_*=
Disallow: /*bitrix_include_areas=
Disallow: /*building_directory=
Disallow: /*bxajaxid=
Disallow: /*change_password=
Disallow: /*clear_cache_session=
Disallow: /*clear_cache=
Disallow: /*count=
Disallow: /*COURSE_ID=
Disallow: /*forgot_password=
Disallow: /*ID=
Disallow: /*index.php$
Disallow: /*login=
Disallow: /*logout=
Disallow: /*modern-repair/$
Disallow: /*MUL_MODE=
Disallow: /*ORDER_BY
Disallow: /*PAGE_NAME=
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGEN_
Disallow: /*print_course=
Disallow: /*print=
Disallow: /*q=
Disallow: /*register=
Disallow: /*register=yes
Disallow: /*set_filter=
Disallow: /*show_all=
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*SHOWALL_
Disallow: /*sort=
Disallow: /*sphrase_id=
Disallow: /*tags=
Disallow: /access.log
Disallow: /admin
Disallow: /api
Disallow: /auth
Disallow: /auth.php
Disallow: /auto
Disallow: /bitrix
Disallow: /bitrix/
Disallow: /cgi-bin
Disallow: /club/$
Disallow: /club/forum/search/
Disallow: /club/gallery/tags/
Disallow: /club/group/search/
Disallow: /club/log/
Disallow: /club/messages/
Disallow: /club/search/
Disallow: /communication/blog/search.php
Disallow: /communication/forum/search/
Disallow: /communication/forum/user/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /error
Disallow: /e-store/affiliates/
Disallow: /e-store/paid/detail.php
Disallow: /examples/download/download_private/
Disallow: /examples/my-components/
Disallow: /include
Disallow: /personal
Disallow: /search
Disallow: /temp
Disallow: /tmp Disallow: /upload
Disallow: /*/*ELEMENT_CODE=
Disallow: /*/*SECTION_CODE=
Disallow: /*/*IBLOCK_CODE
Disallow: /*/*ELEMENT_ID=
Disallow: /*/*SECTION_ID=
Disallow: /*/*IBLOCK_ID=
Disallow: /*/*CODE=
Disallow: /*/*ID=
Disallow: /*/*IBLOCK_EXTERNAL_ID=
Disallow: /*/*SECTION_CODE_PATH=
Disallow: /*/*EXTERNAL_ID=
Disallow: /*/*IBLOCK_TYPE_ID=
Disallow: /*/*SITE_DIR=
Disallow: /*/*SERVER_NAME=
Sitemap: http://site.ru/sitemap_index.xml
Sitemap: http://site.ru/sitemap.xml Host: site.ru
Host: site.ru
