# tukanmx.com — robots.txt
#
# OJO al editar: por RFC 9309 un crawler obedece SOLO el grupo más específico
# que lo nombra. Si le das grupo propio a un bot, deja de leer el grupo `*` y
# con él todos sus Disallow. Por eso los bots de IA comparten un grupo que
# repite las mismas exclusiones, en vez de tener uno con solo `Allow: /`.

# ---------------------------------------------------------------
# Buscadores tradicionales y todo lo demás
# ---------------------------------------------------------------
User-agent: *
Allow: /

# Fuente y herramientas: se sincronizan al bucket pero no son el sitio.
Disallow: /CLAUDE.md
Disallow: /copy.txt
Disallow: /scripts/
Disallow: /estados/README.md
Disallow: /icob/data/SNAPSHOT.md

# NOTA: las 32 páginas de estado son HTML estático. Su contenido ya está en la
# respuesta del servidor, así que un crawler que no ejecuta JavaScript lo lee
# completo. Antes vivía en /estados/content/*.md y se inyectaba en runtime.

# ---------------------------------------------------------------
# Crawlers de IA — permitidos a propósito.
# Queremos que Tukan sea citable en ChatGPT, Claude, Perplexity,
# Gemini y Copilot: es tráfico y es marca.
# Mismas exclusiones que arriba (ver nota de la cabecera).
# ---------------------------------------------------------------
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Bingbot
User-agent: cohere-ai
User-agent: Meta-ExternalAgent
Allow: /
Disallow: /CLAUDE.md
Disallow: /copy.txt
Disallow: /scripts/
Disallow: /estados/README.md
Disallow: /icob/data/SNAPSHOT.md

Sitemap: https://tukanmx.com/sitemap.xml