Soubor robots.txt je základem technického SEO, kterému byste měli věnovat pozornost. Pomáhá vám řídit, jak vyhledávače procházejí váš web – aby se vše důležité zobrazovalo ve výsledcích vyhledávání a vše, co tam nechcete, bylo zablokováno.
Proč je tak důležité mít pod kontrolou procházení a indexování stránek?
- Úspora crawl budgetu. Počet stránek, které může vyhledávací robot v daném čase zpracovat, je omezený. Abyste zajistili, že vaše nejdůležitější stránky budou procházeny pravidelně, měli byste vyloučit ty, které se ve výsledcích vyhledávání zobrazovat nemusí.
- Zabránění zobrazování technických stránek ve vyhledávání. Váš e-shop generuje řadu stránek pro pohodlí uživatelů: přihlášení, košík, interní vyhledávání atd. Jsou klíčové pro UX, ale ve vyhledávání se zobrazovat nemusí.
- Předcházení problémům s duplicitním obsahem. Zmíněné technické stránky mohou vytvářet duplicity: například různé možnosti řazení vytvoří odlišné URL, ale zobrazují stejné produkty v jiném pořadí. Nechcete, aby tyto stránky ovlivňovaly hodnocení, protože vyhledávače duplicitní obsah nemají rády.
Jak můžete ovládat indexování stránek svého e-shopu?
Abyste podpořili své důležité stránky a usnadnili jejich indexaci roboty, měli byste mít vždy aktuální a správnou sitemapu. Dále se zaměřte na interní prolinkování a získávání odkazů z externích zdrojů, aby vaše stránky působily v očích vyhledávačů autoritativněji.
Tato opatření v podstatě zaručují, že se vaše stránky budou ve vyhledávání zobrazovat, i když neexistuje stoprocentní způsob, jak zajistit indexaci všech stránek.
Co však můžete zaručit na 100 %, je vyloučení stránek, které ve vyhledávání nechcete. K tomu můžete použít noindex direktivu v souboru robots.txt nebo meta tag robots. Na první pohled to zní technicky, ale je to velmi snadné. Zejména pro obchodníky na Shopify, protože platforma se o většinu správného indexování stará automaticky.
Co byste tedy měli na e-shopu Shopify označit jako noindex?
U e-shopů dává smysl zablokovat indexaci následujících typů stránek:
- Vše spojené s uživatelskými účty. Tyto stránky jsou unikátní pro každého zákazníka a ve vyhledávání nejsou potřeba.
- Vše spojené s nákupem bez registrace. I když uživatelé nejsou přihlášeni a mohou nakupovat jako hosté, stránky s kroky pokladny pro ně nejsou určeny k vyhledávání.
- Fasetová navigace a interní vyhledávání. Jak jsme již zmínili, nabízení těchto URL robotům je jen zmate, vyčerpá váš crawl budget a vytvoří problémy s duplicitním obsahem.
- Produkty, které chcete před vyhledáváním skrýt. Pokud nechcete, aby se určité produkty zobrazovaly ve výsledcích vyhledávání – například vyprodané položky nebo časově omezené nabídky, které již nejsou relevantní – můžete je v souboru robots.txt na Shopify skrýt.
Robots.txt na Shopify
Chcete-li zkontrolovat soubor robots.txt, který je pro vás generován automaticky, přidejte /robots.txt za doménu svého obchodu:
Co tento soubor obvykle obsahuje? Určuje konkrétního vyhledávacího robota (pole User-agent) a dává pokyny k procházení (Disallow znamená zákaz přístupu). V příkladu výše je první sada pravidel určena všem robotům (User-agent je nastaven na *). Direktiva Disallow následně zakazuje procházení specifikovaných stránek. V příkladu vidíme, že soubor zakazuje procházení technických stránek, jako jsou admin, košík, pokladna atd.
Soubor robots.txt také obsahuje odkaz na vaši sitemapu, což vyhledávacím robotům pomáhá pochopit strukturu webu a priority indexování.
Donedávna Shopify neumožňoval s tímto souborem téměř žádnou manipulaci. V červnu 2021 však obchodníci na Shopify dostali možnost upravovat soubor robots.txt. Předdefinovaná pravidla většinou stačí, ale nemusí pokrýt všechny situace. Pokud používáte aplikaci pro interní vyhledávání, často dochází ke změně URL a výchozí pravidla se na ni nevztahují. Nebo pokud máte fasetovou navigaci, URL se mění podle každého zvoleného filtru a výchozí pravidla nemusí brát vše v úvahu. Do souboru můžete přidat další stránky a pravidla, specifikovat více uživatelských agentů atd.
Chcete-li se dozvědět více o existujících direktivách, které můžete použít, podívejte se na průvodce souborem robots.txt od Googlu.
Vezměte také na vědomí, že se neustále objevují nová pravidla. Například na začátku roku 2022 Google představil novou značku, která řídí indexování vloženého obsahu: indexifembedded. Lze ji použít, pokud máte v obchodě widgety vložené prostřednictvím iframe nebo podobné značky HTML a nechcete, aby byly indexovány.
Jak upravit robots.txt na Shopify?
V kódu šablony uvidíte řadu souborů (přejděte do Online obchod > Motivy > klikněte na Akce u aktuálního motivu > zvolte Upravit kód > přejděte do Šablony). V seznamu by se měl nacházet soubor robots.txt.liquid.
Pokud tento soubor z nějakého důvodu nemáte, můžete jej vytvořit kliknutím na Přidat novou šablonu a výběrem robots.txt.
Například zablokujme indexování interního vyhledávání – v šabloně to bude vypadat takto:
Další podrobnosti naleznete na stránce nápovědy Shopify k úpravám souboru robots.txt.
❗ Pamatujte, že i když je stránka v robots.txt zakázána, může být stále indexována, pokud na ni vedou odkazy z externích zdrojů. Pokud tedy máte například starou stránku, která měla v minulosti slušnou návštěvnost, ale pro váš obchod už není relevantní, je lepší ji zablokovat pomocí meta značky robots nebo ji zcela odstranit.
Zákaz indexování obsahu Shopify pomocí meta značky robots
Kromě souboru robots.txt lze direktivu noindex vložit do sekce <head> kódu vašeho motivu pomocí meta značky robots. Tato značka má následující syntaxi: <meta name=”robots” content=”noindex”>.
Podobně jako při úpravě nebo vytváření kódu robots.txt v Shopify přejděte na theme.liquid v sekci Rozvržení. Takto bude například vypadat přidání pravidla pro zákaz indexování vaší stránky /new-collection:
Tímto způsobem stránku trvale skryjete před vyhledávači.
❗ Pamatujte, že noindex můžete použít společně s direktivami nofollow nebo follow. S follow bude stránka zablokována pro indexování, ale vyhledávací roboti budou moci procházet další odkazy na této stránce, zatímco s nofollow nebudou pro roboty přístupné ani samotná stránka, ani žádné odkazy na ní.
Zákaz indexování obsahu Shopify pomocí aplikací
Pokud vám to všechno připadá příliš složité, existují způsoby, jak indexování stránek ovládat ještě snadněji, aniž byste museli napsat jediný řádek kódu. Existuje několik SEO aplikací pro Shopify, které vám pomohou skrýt produkty z vyhledávání ve vašem obchodě nebo zablokovat jakékoli jiné stránky. Například Sitemap Noindex SEO Tools stojí 3,49 USD měsíčně a funguje se všemi typy stránek.
Vylepšete své SEO optimalizací indexování stránek
To je vše. Doufáme, že nyní lépe rozumíte tomu, jak funguje soubor robots.txt v Shopify a jak jej využít ve svůj prospěch. Pomocí souboru robots.txt a meta značky robots můžete lépe kontrolovat indexování stránek, předcházet problémům se SEO a zvýšit hodnotu svých nejdůležitějších stránek, aby ve vyhledávání vynikly a přilákaly více návštěvníků.
Pokud hledáte další tipy pro SEO na Shopify, podívejte se na našeho SEO průvodce.
A v neposlední řadě, pokud potřebujete pomoc s přesměrováním nebo SEO obecně, neváhejte nás kontaktovat a náš agenturní tým vám rád pomůže.
