Ako používať súbor robots.txt

Začiatkom leta oslovili internetoví obchodníci svoje výročie: súbor robots.txt má 20 rokov. Spoločnosť Google na tento účel rozšírila funkčnosť nástrojov správcu webu pridaním nástroja na overenie súboru robots.txt do sady. Skúsení obchodníci dobre vedia, čo je to súbor a ako s ním pracovať. Začiatočníci získajú základné informácie z tohto článku.

Nechcem čítať? Pozrite si video

Ďalšie užitočné videá sa nachádzajú v našom kanáli YouTube. Predplatiť;)

Teraz prejdite na text.

Prečo je potrebný súbor robots.txt

Súbor robots.txt obsahuje informácie, ktoré vyhľadávacie roboty používajú pri skenovaní lokality. Najmä z robots.txt prehľadávače zistia, ktoré časti stránky, typy stránok alebo konkrétne stránky sa nemajú kontrolovať. Pomocou súboru vylúčite z indexu obsah vyhľadávačov, ktoré nechcete zobrazovať vyhľadávacím nástrojom. Môžete tiež zakázať indexovanie duplicitného obsahu.

Ak použijete súbor robots.txt nesprávne, môže vás to draho zaplatiť. Chybný zákaz skenovania vylúči dôležité časti, stránky alebo dokonca celý obsah z indexu. V tomto prípade je pre vás ťažké počítať s úspešnou propagáciou webových stránok.

Ako pracovať s súborom robots.txt

Textový súbor robots.txt obsahuje pokyny pre roboty vyhľadávačov. Zvyčajne sa používa na zákaz skenovania častí služby na stránke, duplicitného obsahu alebo publikácií, ktoré nie sú určené pre celé publikum.

Ak nepotrebujete zatvoriť žiadny obsah z kontroly, môžete ponechať súbor robots.txt prázdny. V tomto prípade vyzerá položka súboru takto:

User-agent: *

zakázať:

Ak z nejakého dôvodu chcete úplne zablokovať lokalitu pre vyhľadávacie roboty, položka v súbore bude vyzerať takto:

User-agent: *

Disallow: /

Ak chcete správne používať súbor robots.txt, musíte mať predstavu o úrovniach smernice:

  • Úroveň stránky. V tomto prípade vyzerá direktíva takto: Disallow: /primerpage.html.
  • Úroveň priečinkov Na tejto úrovni sú smernice napísané takto: Disallow: / example-folder /.
  • Úroveň typu obsahu Ak napríklad nechcete, aby roboty indexovali súbory .pdf, použite nasledujúcu smernicu: Disallow: /*.pdf.

Buďte opatrní

Zapamätajte si najčastejšie chyby, ktoré sa vyskytli pri kompilácii súboru robots.txt:

  • Úplný zákaz indexovania stránok vyhľadávačmi

V tomto prípade vyzerá smernica takto:

User-agent: *

Disallow: /

Prečo vytvoriť webové stránky, ak to neumožníte vyhľadávacím nástrojom prehľadávať? Využívanie tejto smernice je vhodné vo fáze vývoja alebo globálneho zlepšenia zdroja.

  • Zákaz skenovania indexovaného obsahu

Správca webu môže napríklad zakázať skenovanie priečinkov s videami a obrázkami:

Disallow: / images /

Zakázať: / videá /

Je ťažké si predstaviť situáciu, v ktorej by bol zákaz skenovania indexovaného obsahu opodstatnený. Takéto akcie zvyčajne zbavujú miesto prevádzky.

  • Povoliť atribút atribút

Táto akcia nemá zmysel. Vyhľadávače štandardne kontrolujú všetok dostupný obsah. Pomocou súboru robots.txt môžete zakázať skenovanie, ale nie je potrebné povoliť indexovanie.

Nástroj na verifikáciu súboru Robots.txt

V polovici júla spoločnosť Google predstavila nástroj na kontrolu súboru robots.txt, ktorý je k dispozícii v paneli pre správcov webu. Ak ho chcete nájsť, použite menu „Panel nástrojov stránok - Kontrola - nástroj na overenie súboru robots.txt“.

Nový nástroj rieši nasledujúce úlohy:

  • Zobrazí aktuálnu verziu súboru robots.txt.
  • Úprava a kontrola správnosti súboru robots.txt priamo v paneli pre webmasterov.
  • Zobraziť staré verzie súborov.
  • Skontrolujte blokované adresy URL.
  • Zobrazenie chybových správ pre súbor robots.txt.

Ak spoločnosť Google neindexuje jednotlivé stránky alebo celé časti vašej lokality, nový nástroj vám pomôže do niekoľkých sekúnd skontrolovať, či je to spôsobené chybami robots.txt. Podľa experta spoločnosti Google Asaf Arnon tento nástroj zdôrazňuje špecifickú smernicu, ktorá vedie k blokovaniu indexovania obsahu.

Môžete vykonať zmeny v súbore robots.txt a skontrolovať jeho správnosť. Ak to chcete urobiť, jednoducho zadajte adresu URL, ktorá vás zaujíma, a kliknite na tlačidlo Skontrolovať.

Hovorca spoločnosti Google John Miller odporúča, aby všetci vlastníci stránok skontrolovali súbor robots.txt novým nástrojom. Podľa experta, stráviť niekoľko sekúnd na kontrolu, môže webmaster identifikovať kritické chyby, ktoré bránia Google crawlers.

Ak chcete správne používať ...

... robots.txt súbor, musíte pochopiť jeho praktický význam. Tento súbor sa používa na obmedzenie prístupu k stránkam pre vyhľadávače. Ak chcete zabrániť robotom v skenovaní stránky, časti stránky alebo typu obsahu, zadajte príslušnú smernicu a súbor robots.txt. Overte, či sa súbor používa správne s novým nástrojom dostupným v paneli správcov webu Google. To vám pomôže rýchlo odhaliť a odstrániť chyby, ako aj vykonať potrebné zmeny v súbore robots.txt.

#
Nástroje pre vyhľadávače Marketing

Zanechajte Svoj Komentár