Onpage Crawler

Überblick

Der Onpage Crawler ist ein integriertes Website-Audit-Tool, das deine gesamte Website crawlt und auf SEO-relevante Probleme prüft. Im Gegensatz zu externen Crawlern wie Screaming Frog ist er direkt in Search-Console.PRO integriert und kann die Ergebnisse mit deinen Search Console Daten verknüpfen.

Was macht der Crawler?

• Crawlt deine Website Seite für Seite (Links werden automatisch verfolgt)
• Führt über 80 einzelne Prüfungen pro Seite durch
• Kategorisiert Ergebnisse nach Schweregrad (Fehler, Warnung, Info)
• Prüft auch externe Links auf Erreichbarkeit
• Vergleicht gecrawlte URLs mit Sitemap und Indexierungsdaten
• Erstellt PDF-Reports mit allen Ergebnissen

6 Prüf-Kategorien

1. SEO Basics

Die grundlegenden SEO-Elemente jeder Seite:

• Title-Tag: Vorhanden, Länge, Keyword-Platzierung
• Meta Description: Vorhanden, Länge
• H1-Überschrift: Vorhanden, Einzigartigkeit, nicht identisch mit Title
• Heading-Hierarchie: Korrekte Verschachtelung (H1 → H2 → H3)
• Canonical-Tag: Vorhanden und korrekt
• Robots-Meta: Indexierungsanweisungen prüfen
• Hreflang-Tags: Korrekte Implementierung
• Charset/UTF-8: Vorhanden und korrekt

2. Technik

Technische Aspekte, die SEO und Nutzererfahrung beeinflussen:

• HTTP-Statuscode: 200, 301, 404, 500 etc.
• HTTPS: SSL korrekt implementiert
• Mixed Content: HTTP-Links auf HTTPS-Seiten
• Ladezeit und Response-Time
• Redirect-Ketten: Mehrfache Weiterleitungen
• Favicon: Vorhanden und korrekt eingebunden
• Security Headers: HSTS, X-Frame-Options, CSP, X-Content-Type-Options, Referrer-Policy, Permissions-Policy
• Tracking-Parameter in internen Links (UTM, GCLID, FBCLID)

3. Content

Content-Qualität und -Struktur:

• Wortanzahl: Thin Content erkennen
• Duplicate Content: Ähnliche Inhalte auf verschiedenen URLs (Simhash-Vergleich)
• Leere Seiten: Seiten ohne oder mit sehr wenig Inhalt
• Text-zu-HTML-Verhältnis

4. Bilder

Bildoptimierung für SEO und Performance:

• Alt-Texte: Fehlend oder leer
• Bildgröße: Überdimensionierte Bilder
• Defekte Bilder: Bild-URLs die auf 404 zeigen (HEAD-Request Prüfung auf bis zu 50 Bilder pro Seite)
• Lazy Loading auf Above-the-fold-Bildern: loading="lazy" auf den ersten sichtbaren Bildern ist ein LCP-Killer
• Moderne Formate: WebP/AVIF-Empfehlungen

5. Links

Interne und externe Verlinkung:

• Broken Links: Interne Links auf 404-Seiten
• Leere Links: Anker ohne Text, Bild oder aria-label
• Nofollow-Links: Interne nofollow-Verlinkungen
• Orphan Pages: Seiten ohne eingehende interne Links
• Link-Juice-Senken: Seiten mit vielen eingehenden aber kaum ausgehenden Links (PageRank-Sackgassen)
• Link-Juice-Verteiler ohne Eingang: Seiten die viel verlinken, aber selbst kaum verlinkt werden
• Pagination: Prüfung auf rel="next"/rel="prev" Markup bei paginierten Seiten

6. Sitemap & robots.txt

Abgleich zwischen Crawl-Ergebnissen, Sitemap und robots.txt:

• Indexierbare Seite nicht in Sitemap: Die Seite ist erreichbar und indexierbar, aber nicht in der XML-Sitemap gelistet
• Nicht-indexierbare Seite in Sitemap: noindex-Seiten oder Fehlerseiten die in der Sitemap stehen
• robots.txt blockiert indexierbare Seite: Erreichbare, indexierbare Seiten die von der robots.txt ausgesperrt werden
• Sitemap-Parsing: Sitemap-Index-Dateien werden bis zu 2 Ebenen tief aufgelöst

Crawl starten

Neuen Crawl anlegen

1. Gehe zu „Onpage Crawler" im Hauptmenü
2. Wähle die Property
3. Klicke auf „Crawl starten"
4. Der Crawler beginnt ab der Startseite und folgt allen internen Links

Crawl-Fortschritt

Während des Crawls siehst du in Echtzeit:

• Anzahl gecrawlter Seiten
• Gefundene Fehler, Warnungen und Infos
• Aktuell gecrawlte URL

Ergebnisse auswerten

Nach Abschluss des Crawls werden die Ergebnisse übersichtlich nach Kategorie und Schweregrad dargestellt. Du kannst nach einzelnen Checks filtern und die betroffenen URLs einsehen. Die Ergebnisse werden paginiert angezeigt, damit auch große Crawls übersichtlich bleiben.

Crawl-Optionen

Vor dem Start lassen sich sechs Dinge festlegen. Die Voreinstellungen passen für den Normalfall – interessant wird es bei den Ausnahmen.

Angebundene Werkzeuge

Ein abgeschlossener Crawl ist die Grundlage für drei weitere Prüfungen – die URL-Liste muss also nicht neu zusammengestellt werden:

• PageSpeed – ein Bulk-Lauf über die Top-Seiten des Crawls
• JSON-LD Validator – alle URLs mit Statuscode 2xx aus dem Crawl auf strukturierte Daten prüfen
• llms.txt Validator – die Datei der Domain gegen Spezifikation und Best Practices

Zwei abgeschlossene Crawls lassen sich außerdem gegenüberstellen – siehe Crawl-Vergleich.

Externe Links Analyse

Der Crawler prüft auch alle ausgehenden externen Links deiner Website:

Was wird geprüft?

• Erreichbarkeit: HTTP-Statuscode per HEAD-Request
• Broken Links: Externe Links die auf 404 oder andere Fehler zeigen
• Redirects: Externe Links die weiterleiten (können aktualisiert werden)
• Timeout: Links die nicht antworten

Export

Die vollständige Liste aller externen Links mit Statuscode kann als CSV exportiert werden – ideal um defekte Links systematisch zu bereinigen.

PDF-Reports

Erstelle professionelle PDF-Reports aus den Crawl-Ergebnissen:

• Zusammenfassung mit Gesamtbewertung
• Ergebnisse nach Kategorie aufgeschlüsselt
• Betroffene URLs pro Check
• Priorisierte Handlungsempfehlungen
• White-Label-fähig: Mit eigenem Logo und Branding für Agentur-Kunden

Crawl-Limits

Die maximale Seitenanzahl pro Crawl hängt von deinem Plan ab. Bei Erreichen des Limits wird der Crawl gestoppt – du kannst ihn danach erneut starten, um weitere Seiten zu erfassen.