Gambio robots.txt: Crawl-Budget gezielt steuern

Die robots.txt ist eine der wenigen Stellen in der technischen SEO, wo ein falscher Eintrag sofort messbare Schäden anrichten kann. In Gambio-Shops betrifft das vor allem den Checkout, den Admin-Bereich und interne Systempfade. Wer diese Bereiche nicht explizit blockiert, verschwendet Crawl-Budget auf Seiten ohne Suchvolumen. Die übergreifende Konfigurationsstrategie beschreibt Gambio SEO.

User-agent: *
Disallow: /checkout
Disallow: /account
Disallow: /admin
Sitemap: https://ihr-shop.de/sitemap.xml
# CSS/JS nicht sperren

Die robots.txt liegt im Gambio-Root und lässt sich bearbeiten – Funktionspfade sperren, CSS/JS und rankfähige Bereiche nicht.

Kostenlos · ohne Anmeldung · Ergebnis sofort

Wo Gambio die robots.txt ablegt – und wie sie bearbeitet wird

Gambio legt keine dynamisch generierte robots.txt an. Die Datei liegt statisch im Shop-Root und muss direkt auf dem Server bearbeitet werden – per FTP, SSH oder dem File-Manager des Hosting-Panels. Sie ist unter https://ihr-shop.de/robots.txt abrufbar. Eine leere oder fehlende robots.txt ist kein neutraler Zustand: Google crawlt dann alles, was erreichbar ist, einschließlich Druckansichten, Warenkorb-Parameter und Session-URLs.

Welche Gambio-Pfade blockiert werden müssen

Für einen typischen Gambio-Shop gehören mindestens diese Bereiche hinter Disallow:

• /admin/ – Admin-Backend, nie crawlbar
• /checkout/ und /shopping_cart.php – kein redaktioneller Inhalt, kein Suchvolumen
• /account.php und /login.php – nutzerspezifische Seiten ohne Indexierungswert; ob diese in der Sitemap auftauchen dürfen, erklärt Gambio Sitemap.
• /templates/ und /themes/ – Theme-Ressourcen, CSS, JS; kein Content
• /print_product_info.php und ähnliche Druckansichten – Duplicate Content
• /?session_id= – In älteren Gambio-Versionen führen Session-ID-Parameter ohne Gegenmaßnahmen zur unkontrollierten URL-Proliferation. Details zur sauberen URL-Struktur im Shop liefert Gambio SEO-URL.

Wer unsicher ist, welche Pfade sein Shop tatsächlich ausliefert, sollte vor der robots.txt-Konfiguration einen Crawl mit Screaming Frog oder einem vergleichbaren Tool durchführen. Die Liste ist shop-individuell – Gambio-Versionen und installierte Module verändern, welche Pfade aktiv sind.

Filterseiten: nicht pauschal blockieren

Eine pauschale Disallow-Regel für alle parameterbasierten URLs ist ein häufiger Fehler. Filter-URLs können reales Suchvolumen bedienen – etwa /kategorie/?color=schwarz&size=xl für Long-Tail-Anfragen. Diese Seiten pauschal zu blockieren verschenkt Potenzial. Welche Filter-Kombinationen indexierbar bleiben sollen und welche per noindex oder Canonical gesteuert werden, ist eine datenbasierte Entscheidung. Das vertieft Gambio Filter.

Filterseiten gehören nicht pauschal in die robots.txt – die bessere Steuerung läuft über Canonical oder noindex.

robots.txt und Sitemap: das Konsistenz-Gebot

URLs, die per robots.txt blockiert sind, dürfen nicht gleichzeitig in der XML-Sitemap stehen – Google wertet diesen Widerspruch als Qualitätssignal. In der Praxis entsteht das Problem, wenn die Sitemap alle Kategorien automatisch aufnimmt und parallel eine zu breite Disallow-Regel greift. Wie robots.txt und Sitemap konsistent gehalten werden, erklärt Gambio Sitemap.

Am Ende der robots.txt sollte der Sitemap-Verweis stehen: Sitemap: https://ihr-shop.de/sitemap.xml. Viele Gambio-Shops lassen das weg – dabei ist es einer der wenigen Punkte, bei dem Google explizit dokumentiert hat, dass es hilft.

Kostenlos · ohne Anmeldung · Ergebnis sofort