# robots.txt (карточки #108, #486; ClaudeBot — #496) # # Служебные пути закрыты для всех роботов: индексировать их незачем, # а каждый заход — запрос к gunicorn (2 воркера на общем хосте держат # ~8 rps, см. deploy/README-cloud.md, раздел про ботов). # # Агрессивные краулеры (AI-боты и SEO-сканеры) дополнительно не пускаются # в «бесконечные» разделы — теги, серии, похожие товары, новинки/хиты, # секционную пагинацию (/tag/…/2/), англ. копию (/en/) и адреса с query # string, — и обходят сайт не чаще раза в 10 секунд. Пагинация категорий # завода (/factories////) остаётся открытой — она конечна # и нужна поисковикам для обхода товаров. # # Яндекс и Google ограничений не получают: теговые и каталожные страницы # им нужны в индексе (они есть в sitemap), а /en/ — не дубль, а переведённая # версия, которую base.html объявляет через hreflang (закрывать её для # поисковиков нельзя). User-Agent: * Disallow: /admin/ Disallow: /search/ Disallow: /c/ Disallow: /orderpreview/ Disallow: /profile/ Disallow: /accounts/ Disallow: /login/ Disallow: /register/ Disallow: /logout/ Disallow: /reset-password/ Disallow: /set-password/ User-Agent: Yandex Disallow: /admin/ Disallow: /search/ Disallow: /c/ Disallow: /orderpreview/ Disallow: /profile/ Disallow: /accounts/ Disallow: /login/ Disallow: /register/ Disallow: /logout/ Disallow: /reset-password/ Disallow: /set-password/ Host: stanok-rf.ru # ── агрессивные краулеры (карточка #486) ───────────────────────────── # Одна группа на несколько User-Agent: правила у них общие. Служебные # пути повторяются, потому что группа конкретного робота вытесняет # общую группу «*», а не дополняет её. User-Agent: PerplexityBot User-Agent: Bytespider User-Agent: GPTBot User-Agent: DataForSeoBot User-Agent: ClaudeBot Disallow: /admin/ Disallow: /search/ Disallow: /c/ Disallow: /orderpreview/ Disallow: /profile/ Disallow: /accounts/ Disallow: /login/ Disallow: /register/ Disallow: /logout/ Disallow: /reset-password/ Disallow: /set-password/ # «Бесконечные» разделы: теги, серии, похожие, новинки/хиты, англ. копия Disallow: /en/ Disallow: /tag/ Disallow: /series/ Disallow: /similar/ Disallow: /new_items/ Disallow: /hits/ # Адреса с query string (utm, сортировки) — комбинаторный обход Disallow: /*? Crawl-delay: 10 User-Agent: SemrushBot Disallow: /admin/ Disallow: /search/ Disallow: /c/ Disallow: /orderpreview/ Disallow: /profile/ Disallow: /accounts/ Disallow: /login/ Disallow: /register/ Disallow: /logout/ Disallow: /reset-password/ Disallow: /set-password/ Disallow: /en/ Disallow: /tag/ Disallow: /series/ Disallow: /similar/ Disallow: /new_items/ Disallow: /hits/ Disallow: /*? Crawl-delay: 10 User-Agent: Amazonbot Disallow: /admin/ Disallow: /search/ Disallow: /c/ Disallow: /orderpreview/ Disallow: /profile/ Disallow: /accounts/ Disallow: /login/ Disallow: /register/ Disallow: /logout/ Disallow: /reset-password/ Disallow: /set-password/ Disallow: /en/ Disallow: /tag/ Disallow: /series/ Disallow: /similar/ Disallow: /new_items/ Disallow: /hits/ Disallow: /*? Crawl-delay: 10 Sitemap: https://stanok-rf.ru/sitemap.xml