Kostenloses Tool · Ohne Konto
Crawler-Check
Gib deine Webadresse ein und sieh Crawler für Crawler, welche KI-Assistenten deine robots.txt deine Website lesen lässt, von ChatGPT und Claude bis Perplexity und Gemini. Dazu prüft er deine llms.txt und Meta-Beschreibung. Kostenlos, ohne Konto.
So funktioniert es
So funktioniert der Crawler-Check
01
Er liest deine robots.txt wie ein Crawler
Quaryan fragt deine robots.txt so ab, wie es ein Crawler tut: Weiterleitungen folgend, eine fehlende Datei als Erlaubnis für alles und einen Serverfehler als „Zutritt verboten“ gewertet.
02
Er ordnet jedem Crawler seine Regeln zu
Für jeden der achtzehn Crawler sucht er die Gruppe, die ihn nennt – oder, wenn keine das tut, die für alle Crawler (*) – und wendet die genaueste Regel auf deine Startseite an, genau wie es der robots.txt-Standard RFC 9309 vorschreibt.
03
Er zeigt dir die entscheidende Zeile
Erlaubt, erlaubt mit Ausnahmen oder gesperrt – mit der Zeile deiner robots.txt, die das entscheidet. So weißt du genau, was du ändern musst, und ob du es so gewollt hast.
04
Er prüft deine llms.txt und Meta-Beschreibung
Er liest deine llms.txt, falls du eine hast, auf die Teile, die das Format erwartet, und darauf, ob KI-Crawler sie lesen dürfen – und Titel und Meta-Beschreibung deiner Seite, gemessen in Pixeln, so wie Google kürzt.
Die Crawler
Die KI-Crawler, die wir prüfen, und was jeder tut
Drei Arten von Crawlern lesen deine Website für KI, und es lohnt sich, sie unterschiedlich zu behandeln. Such-Crawler indexieren Seiten für die Antworten, die Assistenten heute geben, und verlinken zurück. Abrufer lesen eine Seite, wenn jemand den Assistenten danach fragt. Trainings-Crawler sammeln Seiten, um künftige Modelle zu trainieren. Wer die ersten beiden sperrt, fehlt in Antworten; wer die dritten sperrt, hält seine Seiten aus dem Training heraus. Dazu kommen zwei Suchmaschinen – Google und Bing –, aus deren Index KI-Antworten schöpfen.
| User-agent | Unternehmen | Was er tut |
|---|---|---|
| KI-Suche und Antworten | ||
OAI-SearchBot |
OpenAI | Indexiert Seiten, damit die ChatGPT-Suche sie zeigen und verlinken kann. Nicht fürs Training. |
Claude-SearchBot |
Anthropic | Indexiert Seiten, um die Suchergebnisse in Claudes Antworten zu verbessern. |
PerplexityBot |
Perplexity | Indexiert Seiten für die Antworten von Perplexity, die ihre Quellen nennen und verlinken. |
DuckAssistBot |
DuckDuckGo | Ruft Seiten ab, um die KI-gestützten Antworten von DuckDuckGo zu schreiben. |
| Abruf, wenn jemand nach einer Seite fragt | ||
ChatGPT-User |
OpenAI | Ruft eine Seite ab, wenn jemand ChatGPT danach fragt oder einen Link teilt. |
Claude-User |
Anthropic | Ruft eine Seite ab, wenn jemand Claude danach fragt. |
Perplexity-User |
Perplexity | Ruft eine Seite ab, wenn jemand Perplexity danach fragt. |
MistralAI-User |
Mistral AI | Ruft eine Seite ab, wenn jemand in Le Chat von Mistral danach fragt. |
| KI-Training | ||
GPTBot |
OpenAI | Sammelt Seiten, um die Modelle von OpenAI zu trainieren. |
ClaudeBot |
Anthropic | Sammelt Seiten, um Anthropics Claude-Modelle zu trainieren. |
Google-Extended |
Kein Crawler, sondern ein Token: entscheidet, ob von Google gecrawlte Seiten für die Gemini-Modelle genutzt werden dürfen. Ohne Einfluss auf die Google-Suche. | |
Applebot-Extended |
Apple | Ein Token: entscheidet, ob von Applebot gecrawlte Seiten Apples KI-Modelle trainieren dürfen. Ohne Einfluss auf Siri und Spotlight. |
Meta-ExternalAgent |
Meta | Sammelt Seiten für Metas KI, auch zum Training ihrer Modelle. |
Amazonbot |
Amazon | Amazons Crawler, genutzt, um die eigenen Dienste zu verbessern, auch zum Training von KI-Modellen. |
CCBot |
Common Crawl | Der Crawler von Common Crawl. Dessen freies Webarchiv ist eine verbreitete Quelle für KI-Trainingsdaten. |
Bytespider |
ByteDance | Der Crawler von ByteDance, genutzt zum Training seiner KI-Modelle. |
| Suchmaschinen hinter KI-Antworten | ||
Googlebot |
Die Google-Suche, einschließlich KI-Übersichten und KI-Modus. | |
Bingbot |
Microsoft | Die Bing-Suche, aus der auch die Antworten von Microsoft Copilot schöpfen. |
Erlauben oder sperren
So erlaubst oder sperrst du KI-Crawler in der robots.txt
Die robots.txt ist eine einfache Textdatei im Stammverzeichnis deiner Website. Jede Gruppe beginnt mit den Crawlern, für die sie gilt (User-agent), und nennt, was sie nicht lesen dürfen (Disallow) oder doch (Allow). Drei häufige Varianten:
Alle Crawler hereinlassen
Die Voreinstellung – und dasselbe, als gäbe es gar keine robots.txt.
User-agent: *
Allow: /KI-Training aussperren, in KI-Antworten bleiben
Sperrt die Crawler aus, die Seiten fürs Training sammeln, und lässt die herein, die dich in Antworten bringen und Besucher schicken.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
Disallow: /
User-agent: *
Allow: /Einen einzelnen Crawler aussperren
Eine Gruppe nennt ihn; alles andere bleibt, wie es ist.
User-agent: GPTBot
Disallow: /Kostenlos · Ohne Konto · Ein paar Sekunden
Außerdem geprüft
Deine llms.txt und deine Meta-Beschreibung
Die zwei anderen Dinge, die ein Assistent oder eine Suchmaschine zuerst über deine Website liest.
llms.txt
Ob deine Website eine hat, ob sie die Teile hat, die das Format erwartet (einen #-Namen, eine >-Zusammenfassung und Listen mit Links), und ob deine robots.txt die KI-Crawler sie lesen lässt. Auch eine llm.txt, der ein Buchstabe fehlt, fällt auf.
Erstelle eine llms.txt für deine WebsiteMeta-Beschreibung
Titel und Meta-Beschreibung deiner Seite, so wie Google sie zeigen könnte, am Computer und auf dem Smartphone. Google kürzt nach Breite, nicht nach Zeichen – deshalb wird in Pixeln gemessen. Schreib sie im Ergebnis um und sieh, wie sich die Vorschau ändert.
| Was | Breite | Etwa |
|---|---|---|
| Beschreibung, am Computer | 920 px | 155 Zeichen |
| Beschreibung, auf dem Smartphone | 680 px | 120 Zeichen |
| Titel | 600 px | 55 bis 60 Zeichen |
Die Breiten sind aus den Buchstabenbreiten von Arial geschätzt, wie bei den meisten Tools – und Google schreibt viele Beschreibungen passend zur Suche um.
FAQ
Fragen zu KI-Crawlern und robots.txt
Wie prüfe ich, ob meine robots.txt KI-Crawler sperrt?
Was ist der Unterschied zwischen GPTBot, OAI-SearchBot und ChatGPT-User?
Sollte ich KI-Crawler sperren?
Entfernt das Sperren von Google-Extended meine Website aus der Google-Suche oder den KI-Übersichten?
Hält die robots.txt KI-Unternehmen davon ab, meine Inhalte zu nutzen?
Was passiert, wenn meine robots.txt einen Fehler zurückgibt?
Was ist eine llms.txt?
Ist der Crawler-Check kostenlos?
Wie lang sollte eine Meta-Beschreibung sein?
Warum prüft der Crawler-Check meine Meta-Beschreibung?
Kann ChatGPT meine Website sehen?
Weiter
Crawler können dich lesen. Nennt ChatGPT dich auch?
Lesbar zu sein ist der erste Schritt. Der kostenlose ChatGPT-Sichtbarkeits-Check stellt ChatGPT die Fragen deiner Kunden und zeigt, ob es dich nennt – und wen es stattdessen nennt.