218  /  268

Автогенерация robots.txt и sitemap.xml

Файлы robots.txt и sitemap.xml – это самые важные для SEO-продвижения файлы сайта. В них содержатся команды для поисковых роботов. Благодаря им они понимают, какие страницы индексировать, а какие нет.

При создании интернет-магазина эти файлы создаются администратором сайта. Подробности читайте в документации 1С-Битрикс: 

Генератор robots.txt  
Генерация файла карты сайта

Далее вам нужно сгенерировать эти же файлы для каждого региона. Обычно файлы robots.txt и sitemap.xml для различных регионов создаются, настраиваются и редактируются вручную. В Аспро: Приорити реализована возможность автоматической генерации файлов. Это принципиально новое решение задачи, которое позволит вам сэкономить время SEO-специалиста и сократить количество ошибок, которые возможны при ручном создании robots.txt и sitemap.xml под каждый регион. Рассмотрим, как работает этот функционал, и как с его помощью научиться автоматически генерировать нужные файлы.

После того, как вы создали файлы robots.txt и sitemap.xml для основного домена, инструкции из них можно продублировать в файлы, настраивающие доступ поисковых роботов к поддоменам. И здесь вам понадобится функция генерации файлов.

Чтобы воспользоваться автоматической генерацией robots.txt, перейдите в административной части сайта в Аспро: Рriority (1) → Генерация файлов (2) → robots.txt (3). Включите региональность и выберите тип «на поддоменах» для возможности перегенерации robots.txt.



Используйте кнопку «Пересоздать robots.txt» для копирования основного файла robots.txt в директорию /aspro_regions/robots/ для каждого поддомена. Копии основного файла для поддоменов именуются по шаблону «robots_DOMAIN.txt». В каждой из них запись директивы Host будет изменена.

Также предусмотрена возможность пересоздания файла robots.txt только для конкретного поддомена. Для редактирования файла используйте одноименные кнопки.


Чтобы использовать автогенерацию на sitemap.xml, перейдите в Рабочий стол (1) → Аспро: Рriority → Генерация файлов (2)→ sitemap.xml (3).



Внимание! Для того, чтобы использовать автогенерацию на sitemap.xml необходимо установить модуль «Поисковой оптимизации». Если у вас нет этого модуля, перейдите в Рабочий стол → Настройки (1) → Настройки продукта (2) → Модули (3)



Найдите в списке модуль «Поисковая оптимизация (seo). Статистика и инструменты для поисковой оптимизации сайта» и нажмите кнопку «Установить» напротив него. 

Вернемся к генерации файлов sitemap.xml. Кнопка «Пересоздать sitemap.xml» копирует все файлы в корне сайта с маской, указанной здесь же в поле «Адрес карты сайта», в директорию /aspro_regions/sitemap/ для каждого поддомена. Копии файлов для поддоменов имеют вид «файлы_по_маске_DOMAIN.xml». В этих копиях адрес сайта заменяется на значение, указанное в поле «Адрес сайта в карте сайта».