Unul dintre instrumentele pentru gestionarea indexării site-urilor de către motoarele de căutare este fișierul robots.txt. Este utilizat în principal pentru a preveni descărcarea conținutului anumitor grupuri de pagini de către toți sau numai anumiți roboți. Acest lucru vă permite să scăpați de „gunoi” în rezultatele motorului de căutare și, în unele cazuri, să îmbunătățiți semnificativ clasarea resursei. Este important să aveți fișierul robots.txt corect pentru aplicarea cu succes.
Necesar
editor de text
Instrucțiuni
Pasul 1
Faceți o listă a roboților pentru care vor fi stabilite reguli speciale de excludere sau vor fi utilizate directive ale standardului extins robots.txt, precum și directive non-standard și specifice (extensii ale unui anumit motor de căutare). Introduceți în această listă valorile câmpurilor User-Agent ale anteturilor cererii HTTP trimise de roboții selectați către serverul site-ului. Numele roboților pot fi găsite și în secțiunile de referință ale site-urilor motorului de căutare.
Pasul 2
Selectați grupurile de adrese URL ale resurselor site-ului la care accesul ar trebui refuzat fiecăruia dintre roboții din lista compilată la primul pas. Efectuați aceeași operație pentru toți ceilalți roboți (un set nedefinit de roboți de indexare). Cu alte cuvinte, rezultatul ar trebui să fie mai multe liste care să conțină linkuri către secțiuni ale site-ului, grupuri de pagini sau surse de conținut media cărora li se interzice indexarea. Fiecare listă trebuie să corespundă unui robot diferit. De asemenea, ar trebui să existe o listă de adrese URL interzise pentru toți ceilalți roboți. Faceți liste pe baza comparației structurii logice a site-ului cu locația fizică a datelor de pe server, precum și prin gruparea adreselor URL ale paginilor în funcție de caracteristicile lor funcționale. De exemplu, puteți include în listele de refuzare conținutul oricăror cataloage de servicii (grupate după locație) sau ale tuturor paginilor de profil utilizator (grupate după scop).
Pasul 3
Selectați semnele URL pentru fiecare dintre resursele conținute în listele compilate în al doilea pas. Atunci când procesați liste de excludere pentru roboți care utilizează numai directive standard robots.txt și roboți nedefiniți, evidențiați porțiunile URL unice de lungime maximă. Pentru restul seturilor de adrese, puteți crea șabloane în conformitate cu specificațiile motoarelor de căutare specifice.
Pasul 4
Creați un fișier robots.txt. Adăugați grupuri de directive, fiecare dintre ele corespunzând unui set de reguli de interzicere pentru un anumit robot, a cărui listă a fost compilată în primul pas. Acestea din urmă ar trebui să fie urmate de un grup de directive pentru toți ceilalți roboți. Separați grupurile de reguli cu o singură linie goală. Fiecare set de reguli trebuie să înceapă cu o directivă User-agent care identifică robotul, urmată de o directivă Disallow, care interzice indexarea grupurilor URL. Faceți liniile obținute în al treilea pas cu valorile directivelor Disallow. Separați directivele și semnificațiile acestora cu două puncte. Luați în considerare următorul exemplu: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Acest set de directive instruiește robotul principal al Motorul de căutare Yandex să nu indexeze adresa URL. Care conține șirul / temp / date / imagini /. De asemenea, împiedică toți ceilalți roboți să indexeze adresele URL care conțin / temp / data /.
Pasul 5
Adăugați robots.txt cu directive standard extinse sau directive specifice motorului de căutare. Exemple de astfel de directive sunt: Host, Sitemap, Request-rate, Visit-time, Crawl-delay.
