Shopware robots.txt – manuell erstellen, gezielt konfigurieren

Shopware liefert keine robots.txt automatisch aus – die Datei muss manuell im Webroot abgelegt werden. Wie die robots.txt in eine vollständige Shopware SEO-Strategie eingebettet wird, beschreibe ich dort im Zusammenhang.

User-agent: *
Disallow: /checkout
Disallow: /account
Disallow: /widgets/
Sitemap: https://ihr-shop.de/sitemap.xml
# steuert Crawling – NICHT die Indexierung

Die robots.txt sperrt Funktionspfade fürs Crawling und verweist auf die Sitemap – eine indexierte Seite entfernt man aber per noindex.

Kostenlos · ohne Anmeldung · Ergebnis sofort

Warum Shopware keine robots.txt nativ ausliefert

Anders als viele Shop-Systeme generiert Shopware 6 die robots.txt nicht automatisch – sie existiert erst, wenn man sie manuell anlegt. Wie das in die Gesamtarchitektur der Shopware Sitemap XML eingebettet wird, beschreibe ich dort.

Das ist kein Konfigurationsfehler, sondern ein bewusster Architekturansatz: Shopware überlässt dem Betreiber die vollständige Kontrolle über die Crawling-Direktiven. Das setzt voraus, dass diese Kontrolle auch aktiv ausgeübt wird.

Welche Bereiche in Shopware per Disallow blockiert werden sollten

Nicht jeder Pfad in Shopware soll gecrawlt werden. Sinnvolle Disallow-Regeln betreffen vor allem:

• /admin/ – Backend-Bereich, der für Crawler nie relevant ist
• /checkout/ – Warenkorbschritte und Bestellprozesse haben kein SEO-Potenzial
• /account/ – Login-Bereiche und persönliche Kontoseiten
• /search? – interne Suchergebnis-URLs mit Query-Parametern, die keinen eigenständigen Inhalt liefern
• /widgets/ – AJAX-Endpunkte, die Shopware für dynamische Inhalte nutzt

Filter-Pfade pauschal per Disallow zu sperren ist ein Fehler: Ein blockierter Pfad kann das noindex-Meta-Tag nicht an Google übermitteln, weil die Seite nicht gecrawlt wird. Die richtige Steuerung von Filter-URLs läuft über Meta-Robots-Tags und Canonical-Logik – die vollständige Strategie dazu findet sich unter Shopware Filter SEO URL.

robots.txt und Meta-Robots: was zusammengehört und was nicht

Die robots.txt steuert, ob Googlebot eine URL überhaupt besucht; das noindex-Meta-Tag steuert, ob eine gecrawlte Seite in den Index aufgenommen wird. Beide Mechanismen sind nicht substituierbar – eine per robots.txt blockierte Seite kann kein noindex kommunizieren. Die Abgrenzung beider Instrumente beschreibe ich ausführlicher unter Shopware Filter SEO URL.

Zwei verschiedene Signale: Crawling steuert die robots.txt, die Indexierung das noindex-Meta-Tag.

In der Praxis blockiert die robots.txt in Shopware technisch irrelevante Bereiche wie Admin und Checkout; Meta-Robots-Tags steuern inhaltliche Entscheidungen wie Filter-Kombinationen oder Paginierungsseiten. Wer beides verwechselt, baut eine Steuerung, die in Teilen nicht greift – die vollständige Strategie dazu beschreibe ich unter Shopware Filter SEO URL.

Sitemap-Verweis in der robots.txt

Die robots.txt ist der direkteste Weg, Googlebot auf die sitemap.xml hinzuweisen – ohne Umweg über die Google Search Console. Wie Shopware die Sitemap generiert, beschreibe ich unter Shopware Sitemap XML.

Sitemap: https://example.com/sitemap.xml

Bei Shopware-Shops mit mehreren Verkaufskanälen sollte jede Domain-robots.txt auf die zugehörige Kanal-Sitemap verweisen. Welche Inhalte Shopware in der Sitemap ausliefert und wie sie aufgebaut ist, behandle ich unter Shopware Sitemap XML.

robots.txt analysieren lassen

Ich bin Andrea Papa und prüfe im Erstgespräch konkret, ob Ihre Shopware-Installation eine robots.txt hat, welche Pfade korrekt blockiert sind und ob der Sitemap-Verweis gesetzt ist. Für eine vollständige technische Einschätzung stehe ich über die Shopware SEO-Beratung zur Verfügung.

Kostenlos · ohne Anmeldung · Ergebnis sofort