Die robots.txt-Datei ist eine der Grundlagen der technischen Suchmaschinenoptimierung, die Sie immer im Auge behalten sollten. Sie hilft Ihnen zu kontrollieren, wie Suchmaschinen Ihre Website crawlen - so dass alles Wichtige in den Suchergebnissen erscheint und alles, was Sie dort nicht angezeigt haben wollen, blockiert wird.

Warum ist die Kontrolle des Crawlings und der Indizierung Ihrer Seite so wichtig?

• Einsparung des Crawling-Budgets. Es gibt eine Grenze dafür, wie viele Seiten ein Suchbot in einer bestimmten Zeit verarbeiten kann. Um sicherzustellen, dass Ihre wichtigsten Seiten gecrawlt und regelmäßig neu gecrawlt werden, sollten Sie diejenigen Seiten ausschließen, die nicht in den Suchergebnissen angezeigt werden müssen.

• Verhindern, dass technische Seiten in der Suche angezeigt werden. Es gibt viele Seiten, die Ihr Shop für die Bequemlichkeit der Nutzer erstellt: Seiten mit Login, Checkout, interner Suche, etc. Sie sind wichtig für die Benutzerfreundlichkeit, aber nicht notwendig, um in der Suche angezeigt zu werden.

• Vermeidung von Problemen mit doppeltem Inhalt. Die technischen Seiten, die wir bereits erwähnt haben, können zu Duplikaten führen: Verschiedene Sortieroptionen sind beispielsweise unter verschiedenen URLs zu finden, zeigen aber die gleichen Produkte, nur in einer anderen Reihenfolge. Sie wollen nicht, dass diese Seiten in die Rangliste aufgenommen werden, da Suchmaschinen doppelte Inhalte nicht schätzen.

Wie können Sie die Indizierung der Seiten Ihres Shops steuern?

Um Ihre wichtigen Seiten aufzuwerten und ihre Indizierung durch die Suchmaschinen zu erleichtern, sollten Sie immer eine aktuelle und korrekte Sitemap haben. Kümmern Sie sich außerdem um die interne Verlinkung und sorgen Sie dafür, dass externe Quellen auf Ihre Inhalte verlinken, damit Ihre Seiten in den Augen der Suchmaschinen einen höheren Stellenwert haben.

Mit diesen Maßnahmen ist so gut wie garantiert, dass Ihre Seiten in den Suchergebnissen auftauchen, auch wenn es keine hundertprozentige Garantie für die Indizierung gibt.

Was Sie zu 100 % garantieren können, ist der Ausschluss bestimmter Seiten, die nicht in der Suche erscheinen sollen. Dazu können Sie die noindex-Direktive in der robots.txt-Datei oder den robots-Meta-Tag verwenden. Klingt auf den ersten Blick sehr technisch, ist aber eigentlich sehr einfach. Vor allem für Shopify-Händler, denn die Plattform kümmert sich automatisch um den größten Teil der korrekten Indizierung.

Was sollten Sie also in einem Shopify-Shop nicht indizieren?

Für Online-Shops ist es sinnvoll, die folgenden Arten von Seiten von der Indizierung auszuschließen:

• Alles, was mit Benutzerkonten verbunden ist. Diese Seiten sind für jeden Kunden einzigartig und werden für die Suche nicht benötigt.
• Alles, was mit dem Gast-Checkout verbunden ist. Selbst wenn sich Nutzer nicht in ihr Konto einloggen und als Gast einkaufen dürfen, sind Seiten mit für sie generierten Checkout-Schritten nicht für die Suche gedacht.
• Facettierte Navigation und interne Suche. Wie wir bereits erwähnt haben, verwirrt das Anbieten dieser URLs für Suchroboter diese nur, belastet Ihr Crawling-Budget und führt zu Problemen mit doppelten Inhalten.
• Produkte, die Sie vor der Suche verbergen möchten. Wenn Sie nicht möchten, dass bestimmte Produkte in den Suchergebnissen angezeigt werden - z. B. Artikel, die nicht mehr vorrätig sind, oder zeitkritische Artikel, die nicht mehr relevant sind - können Sie Produkte in Ihrer Shopify robots.txt-Datei vor der Suche ausblenden.

Robots.txt in Shopify

Um Ihre robots.txt-Datei zu überprüfen, die automatisch für Sie erstellt wird, können Sie die Datei /robots.txt zur Domain Ihres Shops hinzufügen:

Was enthält diese Datei normalerweise? Sie gibt einen bestimmten Suchbot an (das Feld User-agent ) und enthält Crawling-Richtlinien(Disallow bedeutet, dass der Zugriff blockiert wird). Im obigen Beispiel ist der erste Satz von Regeln für alle Suchbots bestimmt (der User-Agent ist auf * gesetzt). Die Disallow-Direktive wiederum verbietet das Crawlen der angegebenen Seiten. Im Beispiel sehen wir, dass die Datei das Crawlen von technischen Seiten wie Admin, Warenkorb, Kasse usw. verbietet.

Die Datei Robots.txt enthält auch einen Link zu Ihrer Sitemap, der für Suchcrawler hilfreich ist, um die Struktur Ihrer Website und die Prioritäten für die Indexierung zu verstehen.

Bis vor kurzem ließ Shopify bei dieser Datei keinerlei Flexibilität zu. Doch im Juni 2021 erhielten Shopify-Händler die Möglichkeit, die robots.txt zu bearbeiten. Vordefinierte Regeln sind meist ausreichend, berücksichtigen aber möglicherweise nicht alle Fälle. Wenn Sie eine App für die interne Suche verwenden, ändert diese oft die URL, und die Standardregeln werden nicht angewendet. Oder wenn Sie eine facettierte Navigation haben, ändert sich die URL je nach ausgewähltem Filter, und die Standardregeln berücksichtigen möglicherweise nicht alles. Sie können weitere Seiten und Regeln zu Ihrer Datei hinzufügen, weitere Benutzeragenten angeben usw.

Informationen zu den vorhandenen Richtlinien, die Sie anwenden können, finden Sie im Google-Leitfaden zu robots.txt.

Beachten Sie auch, dass ständig neue Regeln erscheinen. Anfang 2022 hat Google beispielsweise ein neues Tag eingeführt, das die Indizierung von eingebetteten Inhalten steuert: indexifembedded. Es kann angewendet werden, wenn Sie einige Widgets in Ihrem Shop haben, die über einen iframe oder ein ähnliches HTML-Tag eingefügt wurden, und Sie nicht möchten, dass diese indiziert werden.

Wie bearbeitet man die robots.txt auf Shopify?

Im Code Ihres Themes finden Sie eine Reihe von Vorlagen (gehen Sie zu Online-Shop > Themes > klicken Sie auf Aktionen für Ihr aktuelles Theme > wählen Sie Code bearbeiten > gehen Sie zu Vorlagen). Die Liste sollte die Datei robots.txt.liquid enthalten.

Wenn Sie die Datei aus irgendeinem Grund nicht haben, können Sie sie erstellen, indem Sie auf die Schaltfläche Neue Vorlage hinzufügen klicken und robots.txt wählen.

Wenn Sie zum Beispiel die interne Suche für die Indizierung blockieren, sieht die Vorlage wie folgt aus:

Weitere Informationen finden Sie auf der Shopify-Hilfeseite zur Bearbeitung der robots.txt.

beachten Sie, dass eine Seite auch dann indiziert werden kann, wenn sie Links von externen Quellen enthält, auch wenn dies in der robots.txt untersagt ist. Wenn Sie also zum Beispiel eine alte Seite haben, die in der Vergangenheit viel Traffic erhalten hat, aber für Ihren Shop nicht mehr relevant ist, ist es besser, sie mit dem Robots-Meta-Tag zu sperren oder sie ganz zu entfernen.

Shopify-Inhalte mit dem Robots-Meta-Tag nicht indizieren

Neben robots.txt kann die noindex-Direktive mit Hilfe des robots-Meta-Tags in den <head>-Abschnitt des Codes Ihres Themes eingefügt werden. Der Tag hat die folgende Syntax: <meta name="robots" content="noindex">.

Ähnlich wie Sie einen Shopify robots.txt-Code bearbeiten oder erstellen, gehen Sie zu theme.liquid im Abschnitt Layout. So sieht es zum Beispiel aus, wenn Sie eine Regel für die Indizierung Ihrer /new-collection-Seite hinzufügen:

Auf diese Weise verbergen Sie eine Seite endgültig vor der Suche.

beachten Sie, dass Sie noindex zusammen mit den nofollow- oder follow-Direktiven verwenden können. Mit follow wird Ihre Seite für die Indizierung blockiert, erlaubt aber den Suchrobotern, andere auf dieser Seite platzierte Links zu crawlen, während mit nofollow sowohl die Seite selbst als auch alle Links darauf für die Suchroboter nicht zugänglich sind.

Noindexing von Shopify-Inhalten mit Hilfe von Apps

Wenn Ihnen das alles zu mühsam erscheint, gibt es Möglichkeiten, die Indizierung Ihrer Seiten noch einfacher zu steuern, ohne dass Sie eine einzige Zeile Code schreiben müssen. Es gibt mehrere SEO-Apps für Shopify, mit denen Sie Produkte in Ihrem Shopify-Shop vor der Suche ausblenden oder andere Seiten blockieren können. Sitemap Noindex SEO Tools zum Beispiel kostet 3,49 $ pro Monat und funktioniert mit allen Arten von Seiten.

Verbessern Sie Ihre SEO durch Verbesserung der Seitenindizierung

Das war's: Wir hoffen, Sie haben nun besser verstanden, wie die robots.txt von Shopify funktioniert und wie Sie sie zu Ihrem Vorteil nutzen können. Mit Hilfe von robots.txt und dem robots-Meta-Tag können Sie die Kontrolle über die Seitenindizierung verbessern, SEO-Problemen vorbeugen und Ihre wichtigsten Seiten aufwerten, damit sie in der Suche glänzen und mehr Besucher anziehen.

Wenn Sie weitere SEO-Tipps für Shopify suchen, schauen Sie sich unseren SEO-Leitfaden an.