# ==========================================================================
# robots.txt — Clos de Pougette
#
# Stratégie (révision 2026-05-15, suite audit trafic) :
#   • ON GARDE tous les crawlers IA + moteurs de recherche → valeur GEO/SEO
#   • ON RALENTIT les crawlers IA les plus agressifs (Crawl-delay)
#   • ON BLOQUE les bots SEO commerciaux (aucune valeur, pur coût serveur)
#
# Voir docs/TRAFFIC_AUDIT_2026-05-15.md pour le diagnostic complet.
# ==========================================================================

# --------------------------------------------------------------------------
# 1. CRAWLERS IA — autorisés (visibilité dans ChatGPT, Claude, Perplexity…)
# --------------------------------------------------------------------------

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

# Amazonbot (Rufus / Alexa) — utile pour le GEO, mais crawle en boucle
# sur les mêmes pages. Autorisé, mais ralenti.
User-agent: Amazonbot
Allow: /
Crawl-delay: 30

# --------------------------------------------------------------------------
# 2. MOTEURS DE RECHERCHE — autorisés
# --------------------------------------------------------------------------

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /
Crawl-delay: 10

User-agent: DuckDuckBot
Allow: /

User-agent: Qwantify
Allow: /

User-agent: Applebot
Allow: /

# --------------------------------------------------------------------------
# 3. BOTS SEO COMMERCIAUX — bloqués
#
# Ces crawlers alimentent des outils de veille concurrentielle vendus à des
# tiers. Ils ne génèrent aucun visiteur, aucune visibilité, aucun référencement
# — uniquement de la charge serveur. Les bloquer n'a AUCUN impact SEO ni GEO.
# --------------------------------------------------------------------------

User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SERankingBacklinksBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: SerpstatBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: SEOkicks
Disallow: /

User-agent: ZoominfoBot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: Sistrix
Disallow: /

# --------------------------------------------------------------------------
# 4. CRAWLERS À FAIBLE VALEUR / TRÈS AGRESSIFS — bloqués
#
# Bytespider (ByteDance/Doubao) et PetalBot (Huawei) crawlent massivement
# pour des écosystèmes sans audience sur nos marchés (France + anglophones).
# Fort soupçon d'être à l'origine du trafic "Chine" observé côté Analytics.
# --------------------------------------------------------------------------

User-agent: Bytespider
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: YisouSpider
Disallow: /

# --------------------------------------------------------------------------
# 5. RÈGLE PAR DÉFAUT
# --------------------------------------------------------------------------

User-agent: *
Allow: /
Disallow: /api/
Crawl-delay: 10

Sitemap: https://www.closdepougette.fr/sitemap.xml