Comment il s’identifie
Chaque requête porte ce user agent :
OLABAssistBot/2.0 (+https://olabassist.com/bot)
Lorsqu’il lit des pages que les assistants IA citent comme sources, il envoie le même nom dans un user agent de type navigateur : Mozilla/5.0 (compatible; OLABAssistBot/2.0 (+https://olabassist.com/bot)).
Quand il visite un site
- Quelqu’un lance une analyse gratuite d’un site web sur notre page d’accueil.
- Un client surveille son site web avec nous : un audit chaque jour, ainsi que les audits qu’il lance lui-même.
- Un client de Market Gap Radar compare son site web à ceux de ses concurrents.
- Un assistant IA cite une page dans une réponse portant sur le sujet d’un client. Chacune de ces pages est lue au maximum une fois par jour.
Ce qu’il lit
- La page d’accueil,
/robots.txt,/llms.txtet/sitemap.xml. - Pour un site web surveillé, un nombre limité d’autres pages issues de son sitemap ou des liens de sa page d’accueil (entre 10 et 250 par audit, selon l’offre).
- Uniquement des pages publiques. Il ne se connecte jamais, n’envoie jamais de formulaires et ne télécharge ni images, ni PDF, ni vidéos.
- Il cesse de lire une réponse au-delà de 1,5 Mo et attend au maximum 8 secondes pour chacune. Il ouvre au maximum 10 pages d’un même site web à la fois.
Vérification de l’accès des robots de recherche IA
L’analyse vérifie notamment si les robots de recherche IA peuvent accéder à un site web. Pour cela, chaque analyse demande une fois la page d’accueil avec le user agent de chacun de ces robots : OAI-SearchBot, PerplexityBot et Claude-SearchBot. Ces requêtes proviennent de nos serveurs, et non de ces entreprises, et elles ne lisent que la page d’accueil.
Comment le bloquer
OLABAssistBot respecte robots.txt lorsqu’il ouvre les autres pages d’un site web. Pour l’en empêcher, ajoutez ceci à votre fichier robots.txt :
User-agent: OLABAssistBot
Disallow: /
Les règles définies pour User-agent: * s’appliquent lorsque OLABAssistBot n’est pas nommé. La page d’accueil et les fichiers énumérés ci-dessus sont tout de même lus une fois par analyse, car l’analyse porte sur eux.
Provenance des requêtes
Nos serveurs fonctionnent sur le réseau de Cloudflare ; les requêtes proviennent donc d’adresses Cloudflare.
Questions
Écrivez à [email protected].