# robots.txt для MyNutri
# Оптимизирован для индексации публичных страниц

# ========================================
# Правила для всех поисковых ботов
# ========================================
User-agent: *

# РАЗРЕШАЕМ индексацию публичных страниц
Allow: /
Allow: /static/
Allow: /recipes
Allow: /recipe/
Allow: /product/
Allow: /info
Allow: /about
Allow: /nutrition-blood-type
Allow: /nutrition-health-allergies
Allow: /nutrition-personal
Allow: /materials
Allow: /health-protocols
Allow: /food-benefits
Allow: /vitamin-sources
Allow: /vitamin-deficiency
Allow: /popular-diets
Allow: /free-meal-plan
Allow: /pricing
Allow: /result-calculator

# ЗАПРЕЩАЕМ индексацию приватных разделов (требуют авторизации)
Disallow: /profile
Disallow: /my-plan
Disallow: /my-recipes
Disallow: /cart
Disallow: /add-recipe
Disallow: /create-meal-plan

# ЗАПРЕЩАЕМ индексацию API и админки
Disallow: /api/
Disallow: /admin/

# ЗАПРЕЩАЕМ индексацию страниц авторизации и восстановления пароля
Disallow: /login
Disallow: /register
Disallow: /logout
Disallow: /forgot-password
Disallow: /reset-password/

# ЗАПРЕЩАЕМ индексацию служебных страниц
Disallow: /tmp/
Disallow: /temp/
Disallow: *.json$
Disallow: *.pdf$

# ЗАПРЕЩАЕМ дубли URL с UTM-метками и параметрами
Disallow: /*?*utm_source
Disallow: /*?*utm_medium
Disallow: /*?*utm_campaign
Disallow: /*?*session_id
Disallow: /*?*sid

# Sitemap (URL подставляется из CANONICAL_BASE_URL в app.py)
Sitemap: https://my-nutri.ru/sitemap.xml

# Описание сайта для нейросетей (LLM)
# llms.txt: https://llmstxt.org/

# ========================================
# Разрешаем индексацию для AI-краулеров (поиск нейросетями)
# ========================================
User-agent: GPTBot
Allow: /
Allow: /recipes
Allow: /recipe/
Allow: /product/
Allow: /info
Allow: /llms.txt
Allow: /sitemap.xml
Disallow: /api/
Disallow: /admin/
Disallow: /profile
Disallow: /my-plan
Disallow: /my-recipes
Disallow: /cart
Disallow: /login
Disallow: /register
Disallow: /logout

User-agent: ChatGPT-User
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /profile
Disallow: /login
Disallow: /register

User-agent: Google-Extended
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /profile
Disallow: /login
Disallow: /register

User-agent: Claude-Web
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /profile
Disallow: /login
Disallow: /register

User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /profile
Disallow: /login
Disallow: /register

# ========================================
# Специфичные правила для Yandex
# ========================================
User-agent: Yandex
User-agent: YandexBot
User-agent: YandexImages
User-agent: YandexMobileBot

# Разрешаем всё публичное
Allow: /
Allow: /static/
Allow: /recipes
Allow: /recipe/
Allow: /product/
Allow: /materials
Allow: /health-protocols
Allow: /food-benefits
Allow: /vitamin-sources
Allow: /info

# Запрещаем приватные разделы
Disallow: /api/
Disallow: /admin/
Disallow: /profile
Disallow: /my-plan
Disallow: /my-recipes
Disallow: /cart
Disallow: /login
Disallow: /register
Disallow: /logout

# Очистка параметров URL от UTM меток (специфично для Yandex)
Clean-param: utm_source
Clean-param: utm_medium
Clean-param: utm_campaign
Clean-param: session_id

# Хост (основное зеркало сайта, Yandex)
Host: https://my-nutri.ru

# ========================================
# Специфичные правила для Google
# ========================================
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-Mobile

# Разрешаем всё публичное
Allow: /
Allow: /static/
Allow: /recipes
Allow: /recipe/
Allow: /product/
Allow: /materials
Allow: /health-protocols
Allow: /food-benefits
Allow: /vitamin-sources
Allow: /info

# Запрещаем приватные разделы
Disallow: /api/
Disallow: /admin/
Disallow: /profile
Disallow: /my-plan
Disallow: /my-recipes
Disallow: /cart
Disallow: /login
Disallow: /register
Disallow: /logout

# ========================================
# Специфичные правила для Bing
# ========================================
User-agent: Bingbot
Allow: /
Disallow: /api/
Disallow: /admin/
Disallow: /profile
Disallow: /login

# ========================================
# Запрет для плохих ботов
# ========================================
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /