Kaip pašalinti puslapį iš „Google“: robots.txt ar noindex?
Nenorite, kad puslapis būtų matomas Google paieškoje, pavyzdžiui, padėkos puslapis, testinis puslapis ar sena akcija? Daugelis tokiu atveju pagalvoja apie failą robots.txt. Tačiau robots.txt neapsaugo puslapio nuo patekimo į Google. Tam skirtas noindex. Šiame straipsnyje sužinosite skirtumą, kaip naudoti abu šiuos būdus ir ką daryti su puslapiu, kurį ištrynėte. Kaip pavyzdį naudosime example.com.
Skirtumas trumpai
| robots.txt | noindex | |
|---|---|---|
| Ką tai reiškia | "Negauti šio puslapio." | "Neįtraukti šio puslapio į paieškos rezultatus." |
| Ar tai apsaugo puslapį nuo patekimo į Google? | Ne. Jei kiti pateikia nuorodas į puslapį, adresas vis tiek gali pasirodyti, be aprašymo. | Taip, kai tik Google iš naujo aplanko puslapį. |
| Kur tai nurodoma? | Viename faile adresu https://example.com/robots.txt | Pačiame puslapyje arba kaip antraštė, kurią siunčia serveris |
| Kam tai naudojama? | Naršymo srauto valdymui, pavyzdžiui, praleidžiant savo svetainės paieškos rezultatų puslapius | Puslapiams, kurie išlieka pasiekiami, bet neturėtų būti Google |
Nei vienas iš šių būdų nėra apsauga. Bet kas gali perskaityti Jūsų robots.txt, o puslapis su noindex lieka paprastai pasiekiamas. Jei kažką tikrai reikia apsaugoti, uždenkite tai slaptažodžiu. Žr. Katalogo apsauga slaptažodžiu naudojant DirectAdmin.
noindex naudojimas
Įterpkite šią eilutę į puslapio <head> dalį:
<meta name="robots" content="noindex">
Failams be HTML, pavyzdžiui, pdf, serveris gali pateikti tą pačią instrukciją kaip antraštę: X-Robots-Tag: noindex. Rezultatas yra toks pat.
Paprastai to nereikia rašyti patiems:
- DI Bouwer: atidarykite skiltį SEO, pasirinkite puslapį ir ties Daugiau šiam puslapiui išjunkite jungiklį Šis puslapis matomas Google paieškoje. Puslapis liks pasiekiamas, bet gaus noindex žymą. Po to publikuokite iš naujo.
- WordPress: SEO papildinys turi kiekvienam puslapiui nustatymą, leidžiantį neindeksuoti puslapio. Žymė Atgrasinti paieškos sistemas nuo šios svetainės indeksavimo, esanti Nustatymai, Skaitymas, galioja visai svetainei.
- Kiti svetainių kūrimo įrankiai: ieškokite nustatymo, pavyzdžiui, "slėpti nuo paieškos sistemų".
robots.txt kūrimas arba keitimas
Prieglobos pakete robots.txt yra Jūsų domeno žiniatinklio kataloge, DirectAdmin atveju tai katalogas public_html. Failą galite kurti arba redaguoti per Failų tvarkyklę arba FTP, žr. Failų tvarkyklės atidarymas: katalogai Jūsų pakete. Pavyzdys:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *galioja visiems paieškos robotams.Disallow:su keliu draudžia viską, kas prasideda tuo keliu.Disallow: /draudžia visą svetainę.- Jei sukuriate ir grupę
User-agent: Googlebot, Google seks tik tą grupę ir ignoruos grupę*. Todėl pakartokite joje visas taisykles, kurios taip pat turi galioti Google. - Neblokuokite katalogų su stilių lapais, skriptais ar vaizdais, kurių reikia Jūsų puslapiui.
- Jei robots.txt nėra, tai nėra problema: tuomet leidžiama viskas. Jei adresas grąžina serverio klaidą, Google laikinai nustoja gauti duomenis.
WordPress pats sukuria robots.txt, jei žiniatinklio kataloge jo dar nėra. DI Bouwer, publikuodamas svetainę, pats sukuria robots.txt su Sitemap: eilute.
Google paprastai saugo Jūsų robots.txt iki 24 valandų. Search Console, skiltyje Nustatymai, rasite robots.txt ataskaitą: kurią versiją Google paskutinį kartą gavo, su klaidomis ir įspėjimais, bei mygtuką, leidžiantį paprašyti ją gauti iš naujo.
Ištrintas puslapis: 404 arba 410, ne soft 404
Jei ištrynėte puslapį, jo adresas turėtų grąžinti būsenos kodą 404 (nerasta) arba 410 (pašalinta). Kito apsilankymo metu Google tada pašalins adresą iš paieškos rezultatų. Jei puslapis turi pakaitalą, nukreipkite seną adresą su 301 kodu į naująjį puslapį, žr. Site Omleiden: domeno arba puslapio nukreipimas.
Vadinamasis soft 404 yra puslapis, kuris nurodo, kad jo nėra, arba yra beveik tuščias, tačiau vis tiek grąžina kodą 200 (rasta). Google tai dažnai atpažįsta ir neįtraukia tokio puslapio. Search Console tai matote kaip priežastį Soft 404. Visų ištrintų puslapių nukreipimas į pagrindinį puslapį taip pat gali būti laikomas soft 404. Todėl pasirūpinkite, kad puslapis, kurio tikrai nebėra, grąžintų tikrą 404 arba 410 kodą.
Ar puslapis turi greitai dingti iš rezultatų, pavyzdžiui, dėl to, kad jame netyčia buvo asmens duomenys? Naudokite Pašalinimus Search Console. Tai veikia laikinai, apie šešis mėnesius. Todėl taip pat pasirūpinkite, kad puslapis turėtų 404, 410, slaptažodį arba noindex žymą.
Skaitykite toliau
- Google: indeksavimo blokavimas naudojant noindex (anglų kalba)
- Google: įvadas į robots.txt (anglų kalba)
- Google: robots.txt ataskaita
- Failų blokavimas per .htaccess
Naudojate WordPress? Pamokoje Matomumas: pagrindai, kuri yra nemokamo WordPress kurso dalis, daugiau sužinosite apie robots.txt ir žymę Atgrasinti paieškos sistemas.