User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin
Disallow: /analytics
Disallow: /candidates
Disallow: /sso/

# Мини-приложение в телеграме дописывает к адресу свои параметры. Для робота
# это разные страницы с одинаковым содержимым, и обход тратится на дубли:
# у конкурента на таких дублях сгорало 95% бюджета обхода — 462 запроса к
# дублям против 24 к настоящим вакансиям за сутки.
# Яндексу помогает Clean-param, остальным — канонический адрес на странице.
Clean-param: tgWebAppStartParam&tgWebAppData&tgWebAppVersion&tgWebAppPlatform&tgWebAppThemeParams&tgWebAppBotInline&startapp

# Фильтры ленты в адресе (components/desktop/filters/filterQuery.ts, FILTER_QUERY_KEYS):
# одна и та же страница с любым сочетанием параметров — дубль. Настоящие страницы
# (/vakansii/…, /e/…, /companies/…, /za-rubezhom/…) параметров не имеют и не закрыты.
Disallow: /*?spec=
Disallow: /*&spec=
Disallow: /*?level=
Disallow: /*&level=
Disallow: /*?format=
Disallow: /*&format=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?sal=
Disallow: /*&sal=
Disallow: /*?posted=
Disallow: /*&posted=
Disallow: /*?salknown=
Disallow: /*&salknown=
Disallow: /*?seen=
Disallow: /*&seen=
Disallow: /*?company=
Disallow: /*&company=
Disallow: /*?city=
Disallow: /*&city=
Disallow: /*?country=
Disallow: /*&country=
Disallow: /*?mode=
Disallow: /*&mode=
Disallow: /*?src=
Disallow: /*&src=
Disallow: /*?direct=
Disallow: /*&direct=
Clean-param: spec&level&format&sal&posted&salknown&seen&company&city&country&mode&src&direct

# Ботов поисковых ИИ не закрываем намеренно: они отвечают за то, попадём ли мы
# в ответы ассистентов, а запрет убрал бы нас оттуда целиком. Отдельных правил
# им не нужно — они подпадают под «User-agent: *» выше.
# OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, YandexAdditional

Sitemap: https://jobtoo.ru/sitemaps/index.xml