Приоритет: высокий — критический блокер индексации коммерческого каталога и системная утечка ресурсов поисковых краулеров.
- Массовая блокировка коммерческих страниц директивами
noindexиnofollow: зафиксировано 251 страница с тегомnoindex, из которых 197 одновременно закрыты и директивойnofollow. В блокировку ошибочно попали реальные карточки товаров — легковые авто (Lada Iskra, Audi A3), спецтехника (снегоходы Stels и «Русская Механика», экскаваторы Case 570, Aito M8), а также целые коммерческие категории вида/products/gruzoviki-kmu-v-lizing/. - Неконтролируемая утечка краулингового бюджета на служебных поддоменах экосистемы:
my.autogpbl.ru(React SPA личного кабинета) содержитnoindexв метатегах, но не закрыт вrobots.txtправиломDisallow: /, а егоsitemap.xmlотдаёт статус 404. Роботы тратят лимиты сканирования на обход JS-роутов авторизации вместо индексации основного каталога — 72 287 легковых авто и 5 282 единицы техники с пробегом. - Sitemap.xml основного домена аномально раздут — до 11,7 млн и 3,4 млн строк в разных картах — из-за неконтролируемой генерации URL. В картах отсутствуют или статично зафиксированы теги
<lastmod>и<priority>, которые не обновляются в реальном времени при изменении статусов или цен техники.
Прямое закрытие карточек тегом noindex полностью исключает их из индекса Яндекса и Google, лишая компанию низкочастотного транзакционного трафика по конкретным моделям. Нерациональный расход краулингового бюджета на служебные поддомены и миллионы мусорных URL приводит к тому, что новые поступления спецтехники не успевают индексироваться, а проданные позиции зависают в выдаче — это создаёт всплеск отказов и пессимизирует домен в алгоритмах оценки качества.
Провести ревизию логики простановки <meta name="robots"> в 1С-Bitrix, сняв noindex/nofollow со всех карточек техники в наличии и продуктовых хабов, оставив запреты только для служебных интерфейсов (корзина, авторизация, сравнение). Развернуть корректный robots.txt на поддоменах my.autogpbl.ru и gpba-service с правилом Disallow: /, на уровне Nginx настроить отдачу заголовка X-Robots-Tag: noindex, nofollow. Перестроить архитектуру Sitemap.xml: внедрить корневой Sitemap Index с сегментацией (/sitemap-passenger-cars.xml, /sitemap-commercial.xml, /sitemap-used-machinery.xml), ограничить каждый файл 50 000 URL, исключить из генерации комбинации более двух фильтров, настроить динамический <lastmod> из базы CRM.