# =============================================================
# robots.txt - Psychonaut.fr
# v4 - Aout 2026 - Audit SEO (QR Digital)
# A deployer conjointement avec le plan de redirections 301
# et la desindexation des profils membres.
# Corrige les 2 defauts de la v3 identifies par les tests HTTP
# live du 2026-07-31 (cross_check_audit.md, psychonaut_404_url_analysis.md).
# =============================================================

User-agent: *

# --- Sitemap ---
Sitemap: https://www.psychonaut.fr/sitemap.xml
# NB : deux sitemaps identiques declares dans le back-office
# (/sitemap.xml et /sitemap-1.xml) -> doublon a nettoyer,
# conserver un seul fichier soumis dans GSC.

# =============================================================
# NOTE IMPORTANTE - ordre de deploiement
# 1) Deployer les redirections 301 MyBB -> XenForo (ids conserves,
#    verifie par tests live).
# 2) Attendre la desindexation des pages concernees.
# 3) Ce fichier ne bloque AUCUNE URL legacy : Google doit pouvoir
#    explorer les anciennes URLs et voir le statut HTTP reel
#    (200 / 301 / 410 / 404) pour purger l'historique et
#    transferer le jus. Tout blocage precoce fige les pages
#    dans l'index (voir /members/ plus bas).
# =============================================================

# --- Pages utilitaires & a faible valeur (aucune valeur de recherche) ---
Disallow: /search/
Disallow: /whats-new/
Disallow: /find-threads/
Disallow: /find-new/
Disallow: /account/
Disallow: /login/
Disallow: /logout/
Disallow: /register/
Disallow: /lost-password/
Disallow: /help/
Disallow: /online/
Disallow: /misc/

# --- Tags (thin content : ~570 tags libres) ---
# Reco audit : noindex des pages de tags + curation des tags les plus
# peuples en mini-hubs. Conserve de la v2 (audit : "a conserver").
# Si un tag est curatise en hub de valeur, le sortir de ce blocage.
Disallow: /tags/

# --- Duplications de contenu (memes threads, acces multiples) ---
Disallow: /goto/
Disallow: /posts/*/reactions
Disallow: /*/latest$
Disallow: /*/reply$

# --- Pieces jointes vBulletin legacy ---
# ATTENTION : /attachments/ ne DOIT PAS etre bloque en bloc.
# XenForo utilise /attachments/{slug}.{ID}/ pour ses propres pieces
# jointes (statut 200, contenu valide, verifie le 2026-07-31).
# Seuls les formats vBulletin numeriques (404/410) sont a traiter
# cote serveur (nginx), PAS dans ce fichier :
#   location ~ ^/attachments/\d+/         { return 410; }
#   location ~ ^/attachment\.php          { return 410; }
#   location ~ ^/attachments/[a-z-]+/\d+d { return 410; }

# --- URLs parametrees (variantes filtrees, tri, pagination dupliquee) ---
# NE PAS ajouter /*?pid= : bloquerait les redirections
# /Thread-{slug}?pid=X qui fonctionnent (301->200, testees).
# Les variantes de tri legacy ?sortby=...&order=... sont traitees
# comme doublons du forum parent et bloquees avec ?order=.
Disallow: /*?prefix_id=
Disallow: /*?order=
Disallow: /*?direction=
Disallow: /*?mode=
Disallow: /*?hash=

# --- Repertoires systeme & backend ---
Disallow: /admin.php
Disallow: /install/
Disallow: /internal_data/
Disallow: /src/
Disallow: /js/

# =============================================================
# PAGES MEMBRES - noindex actif depuis le 2026-07-31.
# Etape 1 (FAITE) : noindex des profils membres (permissions XenForo).
# Etape 2 : ATTENDRE la desindexation par Google (plusieurs semaines).
#           /members/ reste donc AUTORISE pour que Google puisse
#           revisiter les ~31 000 profils et voir le noindex.
# Etape 3 : SEULEMENT ENSUITE, decommenter la ligne ci-dessous.
# Bloquer maintenant figeait les profils dans l'index.
# =============================================================
# Disallow: /members/

# =============================================================
# ANCIENS FORMATS (MyBB / vBulletin / phpBB2 / Joomla / UBB) - RAS.
# Aucune directive Allow/Disallow : laisser Google explorer ces URLs
# et suivre les redirections / constater les statuts reels :
#   - /Thread-{slug}        : 301->200 (plugin Ketamine) - ne pas bloquer
#   - /Thread-{slug}?pid=X  : 301->200 (idem)
#   - thread-X.html         : 301->410 (cote serveur) - a laisser crawler
#   - showthread.php?tid=X  : 410 puis 301 (cote serveur)
#   - Forum-/Announcement-/User-{nom} : futures 301 via tables de
#     conversion (mybb-forum / mybb-announcement / mybb-user).
# NB serveur : /mybb-thread-id/{id}/ renvoie 410 sur TOUT, y compris
# les threads valides -> le remplacer par une 301 directe vers
# /threads/{id}/ pour recuperer le jus de thread-X.html.
# =============================================================

# --- Crawl-delay : retire ---
# Google ne respecte pas crawl-delay. Le budget de crawl se pilote par
# l'assainissement des URLs (301, 410, noindex, blocages ci-dessus),
# pas par un delai.