Googlebot, známý také pod názvem crawler nebo spider, je speciální vyhledávací program společnosti Google, jehož činnost spočívá v indexování webových stránek. Tento software prochází stránky na internetu, přečte si jejich obsah a následně je přidává do svého indexu, tj. databáze. Odtud se pak stránky poté, co uživatel zadá vyhledávací dotaz, zobrazují na SERP ve formě výsledků vyhledávání.

Firma, která chce zabránit tomu, aby Googlebot procházel obsah jejích webových stránek, by si nejdříve měla rozmyslet, zda chce a) zabránit procházení stránky Googlebotem, b) zabránit indexování stránky Googlebotem, nebo c) zablokovat přístup na stránky jak pro Googlebot, tak pro uživatele.

Blokování přístupu Googlebota k webovým stránkám

Nejjednodušším řešením je soubor robots.txt. Pokud firma přidá příkaz disallow: / pro uživatelského agenta Googlebot, ten pak nechá webové stránky na pokoji tak dlouho, dokud administrátor webu pravidlo v souboru ponechá.

Blokování indexování

Indexování webových stránek lze zabránit pomocí pravidla noindex, které se nastavuje buď prostřednictvím <meta> tagu, nebo hlavičky odpovědi HTTP. Když Googlebot při procházení webové stránky extrahuje tag nebo hlavičku, vyřadí danou stránku z výsledků vyhledávání Google, bez ohledu na to, zda na ni odkazují jiné weby. Předpokladem však je, že stránka ani zdroj nesmí být blokovány souborem robots.txt a musí být pro vyhledávač přístupné.

Blokování přístupu Googlebota k určitým sekcím webové stránky

Procházení určitých sekcí HTML stránky robotem Google nelze zablokovat. Existují dvě možné strategie řešení tohoto problému, nicméně ani jedna z nich nenabízí optimální řešení problému.

První z nich je použití atributu data-nosnippet HTML, který zabrání zobrazení textu ve fragmentu vyhledávání. Druhou možností je použití iframe nebo JavaScriptu se zdrojem blokovaným pomocí robots.txt. Nicméně oba tyto přístupy mají svá úskalí. Použití robotizovaného iframe nebo souboru JavaScript může vést k problémům při procházení a indexování, které se obtížně diagnostikují a řeší.

Změna rychlosti procházení webových stránek Googlebotem

Jestliže Google odesílá na vaše webové stránky příliš velké množství požadavků, může docházet ke zpomalování vašeho serveru. V takovém případě můžete omezit rychlost procházení svého webu Googlebotem. To můžete provést u webů na kořenové úrovni. K nastavení rychlosti slouží stránka Nastavení rychlosti procházení, kde můžete rychlost omezit.

V situaci, kdy vaše stránky čelí problémům s dostupností v případě příliš intenzívního procházení Googlebotem, můžete procházení nouzově zablokovat pomocí souboru robots.txt. Neměli byste však přístup k webu blokovat příliš dlouho, jinak by to mohlo mít negativní vliv na jeho procházení. A také je potřeba mít na paměti, že může trvat až 24 hodin, než se změna projeví. Pak upravte rychlost procházení na stránce Nastavení rychlosti procházení a o několik dní později, až Google rychlost upraví, můžete blokování ze souboru robots.txt opět odstranit.

Zdroj: marketingland.com, facebook.com, cpcstrategy.com

Autor: Vlastimil Malík

Foto zdroj: pixabay.com