ToolAtlasUn site Astro ou un HTML nu. Les crawlers sociaux ne lisent pas un title injecté trop tard. Search Console reste le testeur.
Webrankinfo reste la référence FR sur robots.txt : quatre directives pour Google (user-agent, allow, disallow, sitemap), sitemap facultatif mais utile, pas de crawl-delay (Bing peut en tenir compte ; Google l’ignore — réglez éventuellement dans Search Console, ou plutôt soignez le serveur).
Deux fichiers, deux jobs
Robots.txt : Disallow des facettes / de l’admin, Sitemap: en URL absolue, option bots IA (respect inégal). Webrankinfo : bloquer une URL déjà indexée ne la retire pas — il faut noindex (meta / X-Robots-Tag) tout en laissant le crawl. Disallow: / oublié après une préprod est l’erreur classique. Le fichier ne protège pas une page privée (ce n’est pas un login). Ne bloquez pas CSS et JS : Google l’a signalé dans Search Console, Webrankinfo le déconseille.
Meta tags : title, description, Open Graph. Image 1200×630, HTTPS, non bloquée par robots.txt. Maquette : placeholder. Un 404 au partage : référence HTTP.
Ça ne désindexe pas à soi seul. Ça n’est pas un plugin WordPress. Le HTML doit être dans la réponse, pas injecté trop tard : les crawlers sociaux (et souvent Gmail / Slack / LinkedIn pour l’aperçu) ne tournent pas votre bundle comme un utilisateur.
Aperçus sociaux, RGAA et ce que robots.txt ne ferme pas
Vous collez l’URL d’une page mutuelle, d’un article ou d’un outil dans Gmail : l’aperçu lit og:title, og:description, og:image. Une image absente, en HTTP, ou interdite au crawl, donne une carte vide. Générez les balises ici, hébergez le visuel, testez en envoyant le lien à vous-même.
Le RGAA 4.1 (critère 3.2 / WCAG AA) ne se règle pas dans robots.txt. Contraste texte / fond : vérificateur de contraste (4,5:1 corps, 3:1 grand texte). Langue de page (lang="fr", critère 8.3) : pour NVDA / VoiceOver, pas pour Googlebot. Une démo publique encore remplie de Lorem n’aide ni l’index, ni un audit.
Webrankinfo encore : un noindex dans robots.txt n’est plus suivi par Google depuis 2019. Crawl ≠ indexation. Testez le fichier dans Search Console ; Google le recharge en moyenne une fois par 24 h — si vous devez bloquer une URL avant sa mise en ligne, anticipez.