Die robots.txt-Datei ist eine der Grundlagen der technischen SEO, um die Sie sich immer kümmern sollten. Sie hilft Ihnen dabei, das Crawling Ihrer Website durch Suchmaschinen zu steuern – damit alle wichtigen Inhalte in den Suchergebnissen erscheinen und alles, was dort nicht angezeigt werden soll, blockiert wird.
Warum ist die Kontrolle über das Crawling und die Indexierung Ihrer Seiten so wichtig?
- Das Crawl-Budget schonen. Die Anzahl der Seiten, die ein Such-Bot in einer bestimmten Zeit verarbeiten kann, ist begrenzt. Um sicherzustellen, dass Ihre wichtigsten Seiten regelmäßig gecrawlt werden, sollten Sie Seiten ausschließen, die nicht in den Suchergebnissen erscheinen müssen.
- Technische Seiten aus der Suche fernhalten. Ihr Shop generiert viele Seiten für den Nutzerkomfort: Login, Checkout, interne Suche usw. Diese sind für die UX entscheidend, müssen aber nicht in der Suche ranken.
- Probleme mit Duplicate Content vermeiden. Die genannten technischen Seiten können Duplikate erzeugen: Verschiedene Sortieroptionen führen beispielsweise zu unterschiedlichen URLs, zeigen aber dieselben Produkte in anderer Reihenfolge. Da Suchmaschinen doppelte Inhalte nicht schätzen, sollten diese Seiten nicht am Ranking teilnehmen.
Wie können Sie die Indexierung Ihres Shops steuern?
Um Ihre wichtigen Seiten aufzuwerten und deren Indexierung durch Such-Bots zu erleichtern, sollten Sie stets eine aktuelle und korrekte Sitemap bereitstellen. Achten Sie zudem auf interne Verlinkungen und externe Quellen, die auf Ihre Inhalte verweisen, damit Ihre Seiten für Suchmaschinen autoritärer wirken.
Diese Maßnahmen garantieren weitgehend, dass Ihre Seiten in der Suche ranken, auch wenn es keine 100-prozentige Garantie für die Indexierung gibt.
Was Sie zu 100 % garantieren können, ist der Ausschluss bestimmter Seiten aus der Suche. Hierfür können Sie die Noindex-Anweisung in der robots.txt-Datei oder das Robots-Meta-Tag verwenden. Das klingt zunächst technisch, ist aber sehr einfach. Besonders für Shopify-Händler, da die Plattform den Großteil der korrekten Indexierung automatisch übernimmt.
Was sollten Sie also in einem Shopify-Shop auf Noindex setzen?
Für Onlineshops ist es sinnvoll, folgende Seitentypen von der Indexierung auszuschließen:
- Alles, was mit Benutzerkonten zu tun hat. Diese Seiten sind für jeden Kunden individuell und in der Suche nicht erforderlich.
- Alles, was mit dem Gast-Checkout zu tun hat. Auch wenn Nutzer kein Konto erstellen und als Gäste kaufen dürfen, sind die für sie generierten Checkout-Schritte nicht für die Suche bestimmt.
- Facettennavigation und interne Suche. Wie bereits erwähnt, verwirren diese URLs Such-Bots nur, verbrauchen Ihr Crawl-Budget und erzeugen Duplicate-Content-Probleme.
- Produkte, die Sie vor der Suche verbergen möchten. Wenn bestimmte Produkte nicht in den Suchergebnissen erscheinen sollen – etwa nicht vorrätige Artikel oder zeitlich begrenzte Angebote, die nicht mehr relevant sind – können Sie diese in Ihrer Shopify robots.txt-Datei ausblenden.
Robots.txt in Shopify
Um die automatisch für Sie generierte robots.txt-Datei zu überprüfen, können Sie /robots.txt an Ihre Shop-Domain anhängen:
Was enthält diese Datei normalerweise? Sie gibt einen bestimmten Such-Bot an (das Feld User-agent) und erteilt Crawling-Anweisungen (Disallow bedeutet Zugriff verweigert). Im obigen Beispiel gilt der erste Regelsatz für alle Such-Bots (der User-agent ist auf * gesetzt). Die Disallow-Anweisung verbietet das Crawlen der angegebenen Seiten. Im Beispiel sehen wir, dass die Datei das Crawlen technischer Seiten wie Admin, Warenkorb, Checkout usw. untersagt.
Die robots.txt enthält auch einen Link zu Ihrer Sitemap, was Such-Crawlern hilft, Ihre Seitenstruktur und Indexierungsprioritäten zu verstehen.
Bis vor Kurzem bot Shopify keine Flexibilität bei dieser Datei. Doch im Juni 2021 erhielten Shopify-Händler die Möglichkeit, die robots.txt zu bearbeiten. Vordefinierte Regeln reichen meist aus, decken aber möglicherweise nicht alle Fälle ab. Wenn Sie eine App für die interne Suche verwenden, ändert diese oft die URL, wodurch die Standardregeln nicht mehr greifen. Oder wenn Sie eine facettierte Navigation nutzen, ändert sich die URL je nach gewähltem Filter, was von den Standardregeln eventuell nicht vollständig berücksichtigt wird. Sie können Ihrer Datei weitere Seiten und Regeln hinzufügen, zusätzliche User-Agents angeben usw.
Um mehr über die anwendbaren Direktiven zu erfahren, lesen Sie Googles Leitfaden zur robots.txt.
Beachten Sie außerdem, dass ständig neue Regeln hinzukommen. Anfang 2022 führte Google beispielsweise ein neues Tag ein, das die Indexierung eingebetteter Inhalte steuert: indexifembedded. Es kann verwendet werden, wenn Sie Widgets in Ihrem Shop haben, die über iframe oder ähnliche HTML-Tags eingebunden sind und nicht indexiert werden sollen.
Wie bearbeite ich die robots.txt in Shopify?
Im Code Ihres Themes finden Sie eine Reihe von Vorlagen (gehen Sie zu Onlineshop > Themes > klicken Sie bei Ihrem aktuellen Theme auf Aktionen > wählen Sie Code bearbeiten > gehen Sie zu Templates). Die Liste sollte die Datei robots.txt.liquid enthalten.
Falls die Datei aus irgendeinem Grund nicht vorhanden ist, können Sie sie erstellen, indem Sie auf Neues Template hinzufügen klicken und robots.txt auswählen.
Lassen Sie uns zum Beispiel die interne Suche von der Indexierung ausschließen – im Template sieht das dann so aus:
Weitere Details finden Sie auf der Shopify-Hilfeseite zum Thema robots.txt bearbeiten.
❗ Beachten Sie, dass eine Seite, selbst wenn sie in der robots.txt gesperrt ist, dennoch indexiert werden kann, wenn sie von externen Quellen verlinkt wird. Wenn Sie also beispielsweise eine alte Seite haben, die früher viel Traffic hatte, aber für Ihren Shop nicht mehr relevant ist, sollten Sie sie besser mit dem Robots-Meta-Tag blockieren oder ganz entfernen.
Shopify-Inhalte mit dem Robots-Meta-Tag von der Indexierung ausschließen
Neben der robots.txt kann die noindex-Direktive mithilfe des Robots-Meta-Tags im <head>-Bereich Ihres Theme-Codes eingefügt werden. Das Tag hat folgende Syntax: <meta name=”robots” content=”noindex”>.
Gehen Sie ähnlich wie beim Bearbeiten oder Erstellen der Shopify robots.txt zu theme.liquid im Bereich Layout. So sieht es beispielsweise aus, wenn Sie eine Regel hinzufügen, um Ihre Seite /new-collection von der Indexierung auszuschließen:
Auf diese Weise schließen Sie eine Seite dauerhaft von der Suche aus.
❗ Beachten Sie, dass Sie noindex zusammen mit den Direktiven nofollow oder follow verwenden können. Mit follow wird die Seite zwar nicht indexiert, Such-Bots können aber weiterhin anderen Links auf dieser Seite folgen. Mit nofollow hingegen sind weder die Seite selbst noch die darauf enthaltenen Links für Such-Bots zugänglich.
Shopify-Inhalte mithilfe von Apps von der Indexierung ausschließen
Wenn Ihnen das alles zu kompliziert erscheint, gibt es noch einfachere Möglichkeiten, die Indexierung Ihrer Seiten zu steuern, ohne eine einzige Zeile Code schreiben zu müssen. Es gibt verschiedene SEO-Apps für Shopify, mit denen Sie Produkte oder andere Seiten in Ihrem Shopify-Shop vor der Suche verbergen können. Zum Beispiel kostet Sitemap Noindex SEO Tools 3,49 $ pro Monat und funktioniert mit allen Seitentypen.
Verbessern Sie Ihr SEO durch eine optimierte Seitenindexierung
Das war’s: Wir hoffen, Sie haben nun ein besseres Verständnis davon, wie die robots.txt von Shopify funktioniert und wie Sie diese zu Ihrem Vorteil nutzen können. Mit der robots.txt und dem Robots-Meta-Tag können Sie die Kontrolle über die Indexierung Ihrer Seiten verbessern, SEO-Probleme vermeiden und Ihren wichtigsten Seiten mehr Gewicht verleihen, damit sie in den Suchergebnissen glänzen und mehr Besucher anziehen.
Wenn Sie weitere SEO-Tipps für Shopify suchen, werfen Sie einen Blick in unseren SEO-Leitfaden.
Und zu guter Letzt: Wenn Sie Hilfe bei Weiterleitungen oder SEO im Allgemeinen benötigen, können Sie uns gerne kontaktieren. Unser Agentur-Team hilft Ihnen gerne weiter.
