Индексация в поисковых системах

По умолчанию портал документации индексируется автоматически — после каждой публикации обновляются файлы sitemap.xml и robots.txt. Это поведение можно изменить: например, скрыть портал от механизмов индексации поисковых систем.

Для портала

Индексировать

По умолчанию портал документации индексируется автоматически.

Не индексировать

Задайте порталу переменную DISABLE_SEO=true (значение в нижнем регистре). По умолчанию переменная не задана и портал индексируется.

Переменная DISABLE_SEO уже передается сервису docportal в docker-compose.yaml Gramax Enterprise Server — укажите ее значение в .env и перезапустите GES.

  • Docker Compose — добавьте переменную в секцию environment сервиса портала в docker-compose.yaml и перезапустите контейнер. Подробнее — в статье Развернуть на собственном сервере.

  • Helm — добавьте переменную в список env values-файла (поля name и value) и обновите релиз командой helm upgrade. Подробнее — в статье Развернуть с помощью Helm.

Портал запрещает индексацию всех страниц: в robots.txt появляется директива Disallow: /*.

Индексировать частично

Портал формирует robots.txt сам при каждом запросе, поэтому файл robots.txt, добавленный в контейнер портала, его не заменит. Чтобы задать свои правила индексации, отдавайте robots.txt через обратный прокси перед порталом:

  1. Создайте и заполните файл robots.txt.

  2. Настройте обратный прокси (например, nginx или Caddy) так, чтобы запрос /robots.txt он обслуживал сам и отдавал этот файл, а остальные запросы передавал порталу.

  3. Перезапустите прокси.

Статьи и каталоги, которые недоступны читателю без входа, в sitemap.xml портала не попадают.

Для статического сайта

Индексировать

При сборке портала документации через CLI для генерации robots.txt и sitemap.xml передайте параметр --base-url — полный URL с протоколом (https://).

gramax-cli build --base-url https://docs.example.com

В результате в корне артефактов сборки появятся:

  • sitemap.xml — со всеми публичными страницами портала и абсолютными ссылками на основе --base-url.

  • robots.txt — со строкой Sitemap: https://docs.example.com/sitemap.xml и директивой Allow: /.

Не индексировать

Собирайте без параметра --base-url. В этом случае robots.txt и sitemap.xml не генерируются.

Индексировать частично

  1. Создайте и заполните файл robots.txt.

  2. Добавьте файл на сервер в одну папку с сайтом.