Kaip neleisti puslapiui patekti į Google: robots.txt ar noindex?
Norite, kad puslapio nebūtų Google, pavyzdžiui, padėkos puslapio, bandomojo puslapio ar senos akcijos? Tada daugelis pagalvoja apie failą robots.txt. Tačiau robots.txt neišlaiko puslapio už Google ribų. Tam skirtas noindex. Šiame straipsnyje sužinosite, kuo jie skiriasi, kaip naudoti abu ir ką daryti su puslapiu, kurį pašalinote. Kaip pavyzdį naudojame example.com.
Skirtumas trumpai
| robots.txt | noindex | |
|---|---|---|
| Ką jis sako | „Nenuskaitykite šio puslapio.“ | „Neįtraukite šio puslapio į paieškos rezultatus.“ |
| Ar jis išlaiko puslapį už Google ribų? | Ne. Jei kiti nurodo nuorodą į puslapį, adresas vis tiek gali būti rodomas, tik be aprašymo. | Taip, kai tik Google vėl apsilanko puslapyje. |
| Kur jis yra? | Vienas failas adresu https://example.com/robots.txt | Pačiame puslapyje arba kaip antraštės eilutė, kurią siunčia serveris |
| Kam jis naudojamas? | Nuskaitymo srautui valdyti, pavyzdžiui, praleisti Jūsų svetainės vidinės paieškos rezultatų puslapius | Puslapiams, kurie lieka pasiekiami, bet neturi būti Google |
Nė vienas iš jų nėra apsauga. Jūsų robots.txt gali perskaityti bet kas, o puslapis su noindex lieka įprastai pasiekiamas. Jei ką nors tikrai reikia apsaugoti, apsaugokite tai slaptažodžiu. Žr. Aplanko apsaugojimas slaptažodžiu DirectAdmin.
Kaip naudoti noindex
Įrašykite šią eilutę į puslapio <head>:
<meta name="robots" content="noindex">
Failams be HTML, pavyzdžiui, PDF, serveris gali siųsti tą pačią instrukciją kaip antraštės eilutę: X-Robots-Tag: noindex. Poveikis toks pat.
Dažniausiai to rašyti patiems nereikia:
- AI Builder: atidarykite skiltį SEO, pasirinkite puslapį ir dalyje Daugiau šiam puslapiui išjunkite jungiklį Šis puslapis randamas Google. Puslapis lieka pasiekiamas, tačiau gauna noindex. Po to paskelbkite svetainę iš naujo.
- WordPress: SEO įskiepis kiekvienam puslapiui turi nustatymą, leidžiantį puslapio neindeksuoti. Žymimasis langelis Neleisti paieškos sistemoms indeksuoti šios svetainės skiltyje Nustatymai, Skaitymas taikomas visai svetainei.
- Kiti svetainių kūrimo įrankiai: ieškokite nustatymo, pavyzdžiui, „slėpti nuo paieškos sistemų“.
Kaip sukurti ar pakeisti robots.txt
Prieglobos plane robots.txt yra Jūsų domeno žiniatinklio aplanke, DirectAdmin tai aplankas public_html. Failą sukurti ar redaguoti galite per Failų tvarkyklę arba FTP, žr. Failų tvarkyklės atidarymas: aplankai Jūsų plane. Pavyzdys:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *taikomas visiems paieškos robotams.Disallow:su keliu draudžia viską, kas prasideda tuo keliu.Disallow: /draudžia visą svetainę.- Jei sukuriate ir grupę
User-agent: Googlebot, Google laikysis tik tos grupės ir nepaisys grupės*. Todėl ten pakartokite visas taisykles, kurios taikomos ir Google. - Neblokuokite aplankų su stilių failais, scenarijais ar paveikslėliais, kurių reikia Jūsų puslapiui.
- Jei robots.txt nėra, tai ne problema: tada leidžiama viskas. Jei adresas grąžina serverio klaidą, Google laikinai nustoja nuskaityti.
WordPress pats sukuria robots.txt, kol žiniatinklio aplanke nėra failo. AI Builder skelbdamas svetainę pats sukuria robots.txt su eilute Sitemap:.
Išsamus paaiškinimas su ekrano nuotraukomis: Sitemap ir robots.txt naudojant AI Builder ir Sitemap ir robots.txt naudojant WordPress ir Jūsų pačių svetainę vadove „Būkite randami internete“.
Google Jūsų robots.txt paprastai saugo iki 24 valandų. Search Console skiltyje Nustatymai rasite robots.txt ataskaitą: kurią versiją Google paskutinę nuskaitė, su klaidomis ir įspėjimais, bei mygtuką, leidžiantį jį nuskaityti iš naujo.
Pašalintas puslapis: 404 arba 410, ne soft 404
Jei pašalinote puslapį, adresas turi grąžinti būsenos kodą 404 (nerasta) arba 410 (pašalinta). Kito apsilankymo metu Google tada pašalins adresą iš paieškos rezultatų. Jei puslapis turi įpėdinį, seną adresą nukreipkite į tą naują puslapį 301 peradresavimu, žr. Svetainės peradresavimas: domeno ar puslapio nukreipimas.
Soft 404 yra puslapis, kuriame teigiama, kad jo nėra, arba kuris beveik tuščias, tačiau vis tiek grąžina kodą 200 (rasta). Google tai dažnai atpažįsta ir tokio puslapio neįtraukia. Search Console tai matysite kaip priežastį Soft 404. Visų pašalintų puslapių nukreipimas į pagrindinį puslapį taip pat gali būti laikomas soft 404. Todėl puslapis, kurio tikrai nebėra, turi grąžinti tikrą 404 arba 410.
Ar puslapį reikia greitai pašalinti iš rezultatų, pavyzdžiui, todėl, kad jame per klaidą buvo paskelbti asmens duomenys? Tada naudokite Pašalinimai Search Console. Tai veikia laikinai, maždaug šešis mėnesius. Todėl taip pat pasirūpinkite, kad puslapis grąžintų 404, 410, būtų apsaugotas slaptažodžiu arba turėtų noindex.
Skaitykite toliau
- Google: indeksavimo blokavimas naudojant noindex (anglų kalba)
- Google: įvadas į robots.txt (anglų kalba)
- Google: robots.txt ataskaita
- Failų blokavimas per .htaccess
Naudojate WordPress? Nemokamo WordPress kurso pamokoje Randamumas: pagrindai sužinosite daugiau apie robots.txt ir žymimąjį langelį, neleidžiantį paieškos sistemoms indeksuoti svetainės.
Norite sužinoti daugiau? Pasirinkite nemokamą kursą „Būkite randami internete“, pamoką 3.3 robots.txt: ką blokuoti, o ko ne.
Norite sužinoti daugiau? Išklausykite nemokamo kurso Matomumas internete pamoką 3.3 robots.txt: ką blokuoti, o ko ne.