Majoritatea bloggerilor experimentați știu cu siguranță ce este robots.txt și de ce aveți nevoie de acest fișier. Dar puțini autori se grăbesc imediat să creeze un fișier robots.txt după instalarea unui blog pe WordPress.
Robots.txt este un fișier text care este încărcat în directorul rădăcină al site-ului dvs. și conține instrucțiuni pentru crawler. Scopul principal al utilizării sale este interzicerea indexării paginilor și secțiunilor individuale de pe site. Cu toate acestea, utilizând robots.txt, puteți specifica, de asemenea, oglinda de domeniu corectă, puteți prescrie calea către sitemap și altele asemenea.
Majoritatea motoarelor de căutare moderne au învățat să navigheze bine în popularul CMS și, de obicei, nu încearcă să indexeze conținutul care nu este destinat acestui lucru. De exemplu, Google nu va indexa zona de administrare a blogului dvs. WordPress chiar dacă nu o specificați direct în robots.txt. Cu toate acestea, în unele cazuri, utilizarea interdicțiilor directe poate fi în continuare utilă. Și vorbim în primul rând despre interzicerea conținutului duplicat.
Unii administratori web merg atât de departe încât să interzică indexarea paginilor de categorii și etichete, deoarece conținutul lor dublează parțial conținutul paginii principale. Dar majoritatea se limitează la interzicerea paginilor de trackback și feed, care duplică complet conținutul articolului și nu sunt destinate deloc motoarelor de căutare. O astfel de măsură de precauție nu numai că va face rezultatele site-ului „mai curate”, ci vă va salva și de posibile filtre de căutare, mai ales după introducerea noului algoritm Google Panda.
Iată directivele recomandate pentru un fișier robots.txt (va funcționa pentru aproape orice blog WordPress):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Vă rugăm să rețineți că în robots.txt folderele administrative wp-admin și wp-include sunt complet închise pentru indexare. Dosarul wp-content este închis doar parțial, deoarece conține directorul de încărcare, care conține toate imaginile de pe blogul dvs. care ar trebui indexate.
Tot ce trebuie să faceți este să copiați directivele din codul de mai sus (rețineți că fiecare directivă trebuie să fie scrisă pe un nou rând), să le salvați într-un fișier text numit robots.txt și să le încărcați în directorul rădăcină al site-ului dvs.
Puteți verifica oricând dacă robots.txt funcționează corect prin intermediul interfețelor Google Webmaster Tools și Yandex Webmaster.
