Notre robot : MorseContentScanner

Vous avez vu passer ce robot dans vos journaux ? Voici ce qu'il fait, et comment le contrôler.

Ce qu'il fait

MorseContentScanner lit les pages publiques d'un site (articles, cas clients, livres blancs, pages de ressources) lorsqu'une personne demande un audit éditorial de ce site sur https://audit.agence-morse.fr. Il ne lit que ce qu'un visiteur peut lire sans compte : il ne se connecte à aucun espace privé, ne remplit aucun formulaire et ne télécharge aucun contenu réservé.

Comment le reconnaître

Il s'annonce avec l'identifiant suivant :

MorseContentScanner/0.1 (+https://audit.agence-morse.fr/robot; audit editorial, respecte robots.txt)

Un robot discret

• Il respecte le fichier robots.txt, y compris la directive Crawl-delay.
• Il envoie au plus 2 requêtes à la fois, espacées d'au moins 0,4 seconde, et lit quelques centaines de pages au plus par analyse.
• Il ralentit dès que le site le demande (codes 429 ou 503) et s'arrête net si le site refuse ses requêtes.
• Un même site n'est pas réanalysé avant 7 jours : le résultat récent est réutilisé.

Le bloquer

Ajoutez ces lignes à votre fichier robots.txt :

User-agent: MorseContentScanner
Disallow: /

L'autoriser

Si votre pare-feu ou votre service anti-robots (Cloudflare, Akamai…) bloque l'analyse de votre propre site, autorisez l'identifiant « MorseContentScanner », ou écrivez-nous pour connaître l'adresse IP du service.

Contact

Une question ou un problème : rgiry@agence-morse.fr.