Was der SEO-Crawl macht
StoreDesk ruft deinen Shop auf wie eine Suchmaschine und prüft jede Seite, die es findet: Statuscode, Weiterleitungen, Links, Titel, Beschreibung, Überschriften, Canonical und mehr. Im Shop findest du das Ergebnis unter SEO › SEO-Crawl, über alle Shops unter SEO › SEO-Crawl – die Shops mit den meisten Fehlern zuerst. Die wichtigsten Befunde stehen zusätzlich in SEO › Übersicht, zusammengeführt mit der wöchentlichen SEO-Prüfung: derselbe Befund erscheint dort nur einmal.
Geprüft werden bis zu 1.000 Seiten pro Shop, dazu bis zu 500 Bilder und Dateien und bis zu 200 externe Links. Die 1.000 Seiten sind die, die von der Startseite aus zuerst erreicht werden; danach folgen Seiten, die nur in der Sitemap stehen. Wie viel deines Shops geprüft wurde, zeigt die Kachel Shop abgedeckt in Prozent. Hat dein Shop mehr Seiten, steht dort z. B. „1.000 von ca. 3.200 Seiten geprüft“.
Wann und wie schonend
- Jede Woche automatisch für alle Live-Shops, jeder Shop zu seiner eigenen Zeit. Mit „Jetzt crawlen“ startest du ihn einmal am Tag zusätzlich.
- Der Crawl läuft im Hintergrund und dauert bei offener Seite meist 5–15 Minuten, sonst läuft er im Hintergrund weiter: höchstens zwei Seiten und vier Bilder pro Sekunde, nie mehr als zwei Anfragen gleichzeitig. Gibt deine robots.txt ein Crawl-delay vor, gilt das.
- Es gelten die Regeln deiner robots.txt (für den Bot „StoreDesk-Crawler“, sonst „*“). Konto, Warenkorb, Kasse und Suche ruft StoreDesk nie auf, Formulare werden nie abgeschickt.
- Filter, Sortierungen, Seitengrößen, Tracking-Parameter (utm_…) und Blätterseiten ab Seite 6 werden ausgelassen – sie würden sonst tausende gleiche Seiten erzeugen.
- Staging- und Entwicklungs-Shops und Shops mit Zugangsschutz (Passwort) werden nicht gecrawlt.
Was geprüft wird
| Bereich | Befunde |
|---|---|
| Status & kaputte Links | Seiten mit 404/410 (mit „Gefunden auf“), Serverfehler, Seiten ohne Antwort, kaputte externe Links |
| Weiterleitungen | Ketten mit mehreren Schritten, Schleifen, Weiterleitungen auf Fehlerseiten, vorübergehende Weiterleitungen (302/307), interne Links auf Weiterleitungen |
| Indexierung & Canonical | noindex (Meta-Tag und X-Robots-Tag), nofollow, fehlender Canonical, Canonical auf eine andere, kaputte oder gesperrte Seite, Canonical-Ketten, Produkt ohne SEO-URL (nur unter der technischen Adresse erreichbar) |
| Titel & Beschreibung | Seitentitel fehlt, zu lang (über 60 Zeichen) oder zu kurz (unter 30), doppelt; Meta-Beschreibung fehlt, zu lang (über 160) oder zu kurz (unter 70), doppelt; H1 fehlt oder mehrfach; wenig Text (unter 200 Wörtern) |
| Doppelte Inhalte | Shop unter zweiter Domain ohne Weiterleitung (z. B. mit und ohne www), Seiten mit identischem Text und sehr ähnliche Seiten (über 90 % gleicher Text) |
| Bilder | Bilder ohne Alternativtext, Bilder, die nicht laden |
| Sitemap | keine Sitemap, Seiten in der Sitemap, die nirgends verlinkt sind (verwaist), Sitemap-Einträge, die weiterleiten, fehlen oder auf noindex stehen, aufnehmbare Seiten, die in der Sitemap fehlen, Sitemap nennt Adressen einer anderen Domain |
| Sprachversionen | ungültige hreflang-Codes, fehlende Rückverweise, nicht erreichbare Sprachversionen |
| Technik | unsichere Inhalte (http auf https-Seiten), langsame Antworten (über 2 Sekunden), sehr große Seiten, Seiten mehr als 4 Klicks tief |
So liest du das Ergebnis
- Oben: Shop abgedeckt in Prozent (wie viele Seiten geprüft wurden), Fehler, Warnungen und Hinweise, die Statuscodes und die Befunde nach Bereich.
- Was ist zu tun? – jeder Befund einmal, Fehler zuerst. Aufgeklappt: was das bedeutet, wie du es in Shopware behebst, und Beispiele. „URLs ansehen“ öffnet die betroffenen Seiten in der Liste.
- Die Liste darunter hat die Reiter Alle URLs · Probleme · Weiterleitungen · Kaputte Links · Bilder · Duplikate · Sitemap-Abgleich, Filter (Status, Befund, aufnehmbar, in der Sitemap, Tiefe, Seitentyp) und einen CSV-Export. Eine Zeile aufklappen zeigt Details wie die Weiterleitungskette oder wo ein kaputter Link steht.
- „Im Shop öffnen“ und – bei Produkten, Kategorien und Landingpages in Shopware 6 – „Im Admin öffnen“ im Menü „…“ jeder Zeile.
Mit KI beheben – und was nur ein Hinweis bleibt
- Mit KI beheben: fehlende oder doppelte Meta-Titel, fehlende, zu kurze oder zu lange Meta-Beschreibungen und fehlende Alternativtexte von Produktbildern – wenn die Seite einem Shopware-6-Produkt, einer Kategorie oder einer Landingpage zugeordnet werden kann. Es ist derselbe Ablauf wie unter SEO › Inhalte: Vorschlag, Prüfen, Übernehmen; nichts ändert sich ohne deine Freigabe. Mehrere Zeilen wählst du aus und klickst „Mit KI beheben (n)“.
- Nicht gefundene Seiten (404): „301-Ziel vorschlagen“ sucht unter den echten, erreichbaren Seiten des Crawls das passendste Ziel – mit KI, sonst die ähnlichste Adresse. Nie die Startseite, nie eine erfundene Adresse. Übernommene Vorschläge landen in einer Liste (CSV mit .htaccess-Zeilen). Shopware 6 hat keine eigene Maske für beliebige 301-Weiterleitungen; du richtest sie mit einem SEO-Plugin oder in der .htaccess ein.
- Nur Hinweis: zu lange oder zu kurze Titel (oft kommt der Zusatz mit dem Shopnamen aus der Vorlage), fehlende H1, noindex, Canonical, hreflang, Duplikate, wenig Text und kaputte Links in Erlebniswelten – dort zeigt StoreDesk die Fundstelle und den Weg, entscheiden musst du.
Unser Crawler wird blockiert?
Liegt der Shop hinter einem Bot-Schutz (Cloudflare, Sucuri, Akamai, Imperva, DataDome, AWS WAF, eine Firewall des Hosters oder ein Sicherheits-Plugin), bekommen StoreDesk-Crawler und StoreDeskBot manchmal nur eine Prüfseite („Just a moment…“) oder einen Fehler 403/429 statt der echten Seite. StoreDesk erkennt das, umgeht solchen Schutz aber bewusst nicht – keine Tricks, keine wechselnden Adressen. Der Crawl bricht dann sauber ab und meldet „blockiert durch Bot-Schutz“ statt hunderter Fehler; die SEO-Prüfung behält die Werte der letzten Prüfung, die durchkam. Wird der Crawl erst mittendrin blockiert, macht er langsamer und hört dann auf.
So schaltest du die Crawler frei:
- Cloudflare: Security › Security rules › Regel anlegen › Custom rule (ältere Oberfläche: Security › WAF › Custom rules). Bedingung: Feld „User Agent“ enthält
StoreDesk-Crawler– oder enthältStoreDeskBot; Aktion „Skip“ und die Bot- und WAF-Prüfungen zum Überspringen auswählen. Bot Fight Mode im Free-Plan lässt sich durch keine Regel überspringen: dann Bot Fight Mode ausschalten (Cloudflare-Seite „Security settings“, Filter „Bot traffic“) oder einen Plan mit Super Bot Fight Mode nutzen, der die Skip-Regel beachtet. - Sucuri: gibt nur per IP-Adresse frei (Firewall › Access Control › „Allow IP Addresses“). Unsere Crawler laufen auf einem Server ohne fest zugesicherte Adresse – bitte den Sucuri-Support, die User-Agents freizugeben, oder frag uns nach der aktuellen Adresse.
- Andere Anbieter, Hoster-Firewall, Sicherheits-Plugin: den Hoster oder wer den Schutz betreut bitten, die User-Agents
StoreDesk-CrawlerundStoreDeskBotfreizugeben.
Danach in StoreDesk „Nach dem Freischalten erneut prüfen“ klicken – oder auf den nächsten wöchentlichen Lauf warten.
Gut zu wissen
- Der SEO-Crawl ergänzt die wöchentliche SEO-Prüfung (SEO › Inhalte): die prüft jedes Layout einmal und mit dem Plugin die Meta-Angaben aller Produkte in der Datenbank; der Crawl prüft die Seiten, wie Google sie sieht.
- Der Crawl ändert die SEO-Bewertung nicht.
- Für Shopware 5 und 6, in jedem Paket enthalten. „Mit KI beheben“ gibt es für Shopware 6.