Индексация в поисковых системах
По умолчанию портал документации индексируется автоматически — после каждой публикации обновляются файлы sitemap.xml и robots.txt. Это поведение можно изменить: например, скрыть портал от механизмов индексации поисковых систем.
Для портала
Индексировать
По умолчанию портал документации индексируется автоматически.
Не индексировать
Задайте порталу переменную DISABLE_SEO=true (значение в нижнем регистре). По умолчанию переменная не задана и портал индексируется.
Переменная DISABLE_SEO уже передается сервису docportal в docker-compose.yaml Gramax Enterprise Server — укажите ее значение в .env и перезапустите GES.
Docker Compose — добавьте переменную в секцию
environmentсервиса портала вdocker-compose.yamlи перезапустите контейнер. Подробнее — в статье Развернуть на собственном сервере.Helm — добавьте переменную в список
envvalues-файла (поляnameиvalue) и обновите релиз командойhelm upgrade. Подробнее — в статье Развернуть с помощью Helm.
Портал запрещает индексацию всех страниц: в robots.txt появляется директива Disallow: /*.
Индексировать частично
Портал формирует robots.txt сам при каждом запросе, поэтому файл robots.txt, добавленный в контейнер портала, его не заменит. Чтобы задать свои правила индексации, отдавайте robots.txt через обратный прокси перед порталом:
Создайте и заполните файл
robots.txt.Настройте обратный прокси (например, nginx или Caddy) так, чтобы запрос
/robots.txtон обслуживал сам и отдавал этот файл, а остальные запросы передавал порталу.Перезапустите прокси.
Статьи и каталоги, которые недоступны читателю без входа, в sitemap.xml портала не попадают.
Для статического сайта
Индексировать
При сборке портала документации через CLI для генерации robots.txt и sitemap.xml передайте параметр --base-url — полный URL с протоколом (https://).
gramax-cli build --base-url https://docs.example.com
В результате в корне артефактов сборки появятся:
sitemap.xml— со всеми публичными страницами портала и абсолютными ссылками на основе--base-url.robots.txt— со строкойSitemap: https://docs.example.com/sitemap.xmlи директивойAllow: /.
Не индексировать
Собирайте без параметра --base-url. В этом случае robots.txt и sitemap.xml не генерируются.
Индексировать частично
Создайте и заполните файл
robots.txt.Добавьте файл на сервер в одну папку с сайтом.