OLAB Assist Anmelden
Für Website-Betreiber

OLABAssistBot, unser Crawler

Du hast OLABAssistBot in deinen Server-Logs gefunden? Das ist der Crawler von OLAB Assist. Er liest öffentliche Seiten, um zu prüfen, wie gut eine Website von Suchmaschinen und KI-Assistenten gefunden werden kann.

So gibt er sich zu erkennen

Jede Anfrage sendet diesen User-Agent:

OLABAssistBot/2.0 (+https://olabassist.com/bot)

Wenn er Seiten liest, die KI-Assistenten als Quellen zitieren, sendet er denselben Namen in einem browserähnlichen User-Agent: Mozilla/5.0 (compatible; OLABAssistBot/2.0 (+https://olabassist.com/bot)).

Wann er vorbeikommt

  • Jemand startet auf unserer Startseite eine kostenlose Analyse einer Website.
  • Ein Kunde überwacht seine Website mit uns: ein Scan pro Tag und Scans, die er selbst startet.
  • Ein Kunde des Market Gap Radar vergleicht seine Website mit den Websites von Wettbewerbern.
  • Ein KI-Assistent zitiert eine Seite in einer Antwort zum Thema eines Kunden. Jede dieser Seiten wird höchstens einmal pro Tag gelesen.

Was er liest

  • Die Startseite, /robots.txt, /llms.txt und /sitemap.xml.
  • Bei einer überwachten Website eine begrenzte Zahl weiterer Seiten aus ihrer Sitemap oder aus Links auf der Startseite (je nach Paket zwischen 10 und 250 pro Scan).
  • Nur öffentliche Seiten. Er meldet sich nie an, sendet nie Formulare ab und lädt keine Bilder, PDFs oder Videos herunter.
  • Er liest eine Antwort nach 1,5 MB nicht weiter und wartet auf jede höchstens 8 Sekunden. Er öffnet höchstens 10 Seiten einer Website gleichzeitig.

Zugriff für KI-Such-Crawler prüfen

Teil der Analyse ist die Frage, ob KI-Such-Crawler eine Website erreichen können. Dafür ruft jede Analyse die Startseite einmal mit dem User-Agent jedes dieser Crawler ab: OAI-SearchBot, PerplexityBot und Claude-SearchBot. Diese Anfragen kommen von unseren Servern, nicht von diesen Unternehmen, und lesen nur die Startseite.

So sperrst du ihn aus

OLABAssistBot befolgt die robots.txt, wenn er die weiteren Seiten einer Website öffnet. Um ihn davon auszuschließen, ergänze deine robots.txt um Folgendes:

User-agent: OLABAssistBot
Disallow: /

Regeln für User-agent: * gelten, wenn OLABAssistBot nicht namentlich genannt ist. Die Startseite und die oben genannten Dateien werden trotzdem einmal pro Analyse gelesen, weil die Analyse genau sie betrifft.

Woher die Anfragen kommen

Unsere Server laufen im Netzwerk von Cloudflare, daher kommen die Anfragen von Cloudflare-Adressen.

Fragen

Schreib an [email protected].