John Mueller ze společnosti Google v nedávném příspěvku na LinkedInu prozradil, že Google vedl interní diskuse o zavedení směrnice noindex v souboru robots.txt. Tato směrnice, která v současné době není standardní, by umožnila vydavatelům blokovat procházení i indexování obsahu zároveň.
Mueller vysvětlil, že myšlenka zavedení směrnice noindex byla zvažována již před 10 lety. Důvodem bylo usnadnit vydavatelům blokování indexování obsahu bez nutnosti používat soubor robots.txt i meta tagy robots.
Nakonec se Google rozhodl tuto směrnici nepodporovat. Důvodem byla obava, že by mohlo snadno dojít k omylnému odstranění kritických částí webu z indexu vyhledávače. Mnoho lidí totiž soubory robots.txt kopíruje a vkládá bez důkladného prozkoumání, a tak by mohlo dojít k nechtěnému zablokování důležitého obsahu.
Muellerův soubor robots.txt vyvolal v uplynulém týdnu rozruch kvůli neobvyklému použití nestandardních směrnic. Někteří SEO specialisté se domnívají, že Muellerův soubor robots.txt slouží jako testovací platforma pro různé experimenty. Jiní se domnívají, že Mueller jednoduše dělá chyby.
Ať už je pravda jakákoli, tato epizoda zdůrazňuje důležitost dodržování standardů robots.txt. Používání nestandardních směrnic může vést k nepředvídatelným výsledkům a ztížit práci crawlerům vyhledávačů.
Směrnice nonindex
Vše, co je v souboru robots.txt, se nazývá směrnice. Směrnice je požadavek na webový crawler.
Existují standardy, jak psát směrnice robots.txt, a cokoli, co těmto standardům neodpovídá, bude pravděpodobně ignorováno. Nestandardní směrnice v robots.txt od Muellera zaujala jednoho z uživatelů sítě LinkedIn, který se rozhodl o ní napsat dotaz Johnu Muellerovi, aby zjistil, zda Google tuto nestandardní směrnici podporuje.
Nestandardní direktivou byl v tomto případě noindex. Noindex je součástí standardu meta robots, ale ne standardu robots.txt.
SEO specialista Mahek Giri konkrétně položil otázku:
"V souboru robots.txt Johna Muellera,
je neobvyklý příkaz:"noindex:"
Tento příkaz není součástí standardního formátu robots.txt,
Myslíte si tedy, že to bude mít nějaký vliv na to, jak vyhledávač indexuje jeho stránky?
Proč směrnice Noindex v souboru Robots.txt není podporována společností Google?
John Mueller ze společnosti Google odpověděl, že není podporována.
Mueller odpověděl:
"Jedná se o nepodporovanou směrnici, která nic nedělá."
Mueller dále vysvětlil, že společnost Google svého času zvažovala podporu směrnice noindex v souboru robots.txt, protože by vydavatelům umožnila zablokovat společnosti Google procházení i indexování obsahu zároveň.
V současné době je možné blokovat procházení v souboru robots.txt nebo blokovat indexování pomocí směrnice meta robots noindex. Nelze však současně blokovat indexování pomocí směrnice meta robots a blokovat procházení v souboru robots.txt, protože blokování procházení zabrání tomu, aby procházel "viděl" směrnici meta robots.
Mueller tímto vysvětlil, proč se společnost Google rozhodla nepokračovat v myšlence respektování směrnice noindex v rámci souboru robots.txt.
Konkrétně napsal:
"Mnohokrát se diskutovalo o tom, zda by měl být podporován jako součást standardu robots.txt. Myšlenka, která za tím stála, byla, že by bylo hezké blokovat procházení i indexování zároveň. Pomocí robots.txt můžete blokovat procházení, nebo můžete blokovat indexování (pomocí meta tagu robots, pokud procházení povolíte). Myšlenka byla, že byste mohli mít v robots.txt také "noindex" a blokovat obojí.
Bohužel, protože mnoho lidí soubory robots.txt kopíruje a vkládá, aniž by se na ně podrobně podívali (málokdo se podívá tak daleko jako vy!), bylo by velmi, velmi snadné, aby někdo omylem odstranil kritické části webu. A tak bylo rozhodnuto, že toto by nemělo být podporovaným direktorem ani součástí standardu robots.txt. O tomto bylo rozhodnuto již před 10 lety“
Proč byl v Muellerově souboru Robots.txt uveden Noindex?
Mueller jasně řekl, že je nepravděpodobné, že by Google tento tag podporoval, a že to bylo potvrzeno asi před deseti lety. Odhalení o těchto interních diskusích je zajímavé, ale zároveň prohlubuje pocit podivnosti ohledně Muellerova robots.txt.
Doporučení:
- Používejte pouze standardní směrnice robots.txt. Pokud si nejste jisti, jakou směrnici použít, obraťte se na zkušeného SEO specialistu.
- Pravidelně kontrolujte svůj soubor robots.txt a ujistěte se, že obsahuje pouze relevantní a aktuální informace.
- V případě pochybností se řiďte oficiální dokumentací Google pro robots.txt:
Zdroj: marketingland.com, facebook.com, cpcstrategy.com
Autor: Martina LeVeneur
Foto zdroj: pixabay.com
