Onpage-Crawler
Die Search Console zeigt, wie Google deine Seite sieht. Der Onpage-Crawler zeigt, was auf deiner Seite tatsächlich steht – und wo es klemmt.
Was der Crawler prüft
Der Crawler folgt den internen Links deiner Website und wertet jede Seite aus:
- Meta-Angaben: Titel, Description, Robots, Canonical – fehlend, doppelt oder zu lang
- Struktur: Überschriften-Hierarchie, H1 fehlend oder mehrfach
- Inhalt: Wortzahl, Thin Content, doppelte Inhalte
- Technik: Statuscodes, Weiterleitungsketten, Ladezeit, Komprimierung
- Bilder: fehlende Alt-Texte, Dateigrößen, moderne Formate
- Links: interne Verlinkung, defekte Links, Nofollow
- Strukturierte Daten: JSON-LD auf jeder Seite
Bis zu 150.000 Seiten
Das Limit richtet sich nach dem Tarif. Große Crawls laufen im Hintergrund weiter, während du arbeitest – der Fortschritt ist jederzeit in der Seitenleiste sichtbar. Bis zu drei Crawls können parallel laufen.
Link-Struktur visualisieren
Die interne Verlinkung wird als Graph dargestellt: Welche Seiten bekommen viele interne Links, welche hängen isoliert? Gerade bei gewachsenen Websites zeigt das Verteilungsprobleme, die in Tabellen untergehen.
Angebundene Werkzeuge
- PageSpeed: einzeln oder als Bulk-Prüfung über viele URLs, inklusive Core Web Vitals
- JSON-LD-Validator: strukturierte Daten prüfen – per URL, per Einfügen oder gleich für einen kompletten Crawl
- llms.txt-Validator: prüft die Datei, mit der du KI-Crawlern Struktur vorgibst
Auch hinter dem Passwort
Der Crawler kann sich mit Benutzername und Passwort anmelden. Damit lässt sich eine Staging-Umgebung prüfen, bevor sie live geht – fehlende Titel, kaputte Weiterleitungen und Thin Content vor dem Relaunch zu finden ist billiger als danach. Und es ist der einzige Zeitpunkt, zu dem Google sie noch nicht gesehen hat.
Weitere Stellschrauben vor dem Start: Einstiegs-URL für Teilbereiche, Obergrenze für die Seitenzahl, Bildanalyse und Prüfung externer Links zuschaltbar, robots.txt auf Wunsch ignorierbar.
Crawls miteinander vergleichen
Ein einzelner Crawl ist eine Momentaufnahme. Erst der Crawl-Vergleich zeigt, was sich geändert hat: neue Probleme, behobene Probleme, Seiten die plötzlich einen Fehler werfen.
Report als PDF
Jeder Crawl lässt sich als PDF exportieren – für Agenturkunden auf Wunsch mit eigenem Logo und eigenen Farben.
Häufige Fragen
Wie lange dauert ein Crawl?
Das hängt von der Seitenzahl und der Antwortzeit deines Servers ab. Kleine Websites sind in wenigen Minuten durch, große Projekte mit über 100.000 Seiten laufen mehrere Stunden – im Hintergrund, du musst nicht warten.
Belastet der Crawler meinen Server?
Die Crawl-Geschwindigkeit ist einstellbar. Im Zweifel niedriger ansetzen und über Nacht crawlen lassen.
Werden robots.txt und Nofollow beachtet?
Ja. Der Crawler hält sich an die robots.txt und wertet Nofollow-Links aus.