Indeksavimas: kas patenka į indeksą, o kas ne

1 modulis: Kaip veikia paieškos sistemos · Skaitymo laikas: 11 min.

Mokymosi tikslas: Po šios pamokos galėsite įvertinti, ar puslapis gali patekti į indeksą, o jei ne, kuri iš keturių „spynų“ jį sulaiko: būsenos kodas, robots.txt, noindex ar canonical.

Pagrindinės sąvokos: indeksavimas, Google techniniai reikalavimai, noindex (meta robots ir X-Robots-Tag), robots.txt nėra noindex, kanonizavimas, dubliuotas turinys, soft 404, „Crawled - currently not indexed“, „Discovered - currently not indexed“, jokios garantijos

Kas vyksta indeksuojant

Kai tikrintuvas (crawler) parsisiunčia puslapį (pamoka 1.2), paieškos sistema jį perskaito. Google analizuoja tekstą, pavadinimą, antraštes, paveikslėlius ir vaizdo įrašus bei nustato, kokia kalba parašytas puslapis. Google taip pat išsiaiškina, ar puslapis nėra kito puslapio kopija ir kuri iš tų kopijų yra „tikroji“. Tik tada Google nusprendžia, ar puslapis pateks į indeksą.

Google šiuo klausimu pabrėžia du dalykus, kuriuos verta gerai įsiminti:

• Įtraukimas nėra garantuotas. Net jei Jūsų puslapis atitinka visus reikalavimus, Google gali nuspręsti jo neįtraukti.
• Normalu, kad įtraukta ne viskas. Google indeksavimo ataskaitos pagalboje tiesiai rašo, kad nereikėtų tikėtis, jog bus suindeksuotas kiekvienas Jūsų svetainės adresas, ir kad tai visiškai gerai. Svarbiausia, kad būtų suindeksuoti Jūsų svarbūs puslapiai.

Trys techniniai reikalavimai

Google nurodo tris techninius reikalavimus, kad puslapis galėtų patekti į indeksą:

1. Googlebot nėra blokuojamas. Puslapis pasiekiamas, o robots.txt nedraudžia jo parsisiųsti.
2. Puslapis veikia. Serveris grąžina būsenos kodą 200, o ne klaidą.
3. Puslapyje yra indeksuojamo turinio. Tekstas yra Google skaitomo formato faile, ir nepažeidžiama šlamšto politika.

Praktikoje prie to prisideda du svetainės savininko pasirinkimai: noindex („neįtraukti šio puslapio“) ir canonical, nurodantis kitą adresą („ne šį, o aną“). Iš viso tai sudaro keturias spynas, pro kurias puslapis turi praeiti.

Spyna 1: būsenos kodas

Į indeksą gali patekti tik puslapis su būsena 200. 301 arba 308 nukreipia paieškos sistemą į naują adresą; tada vertinamas tas naujas adresas. 404 arba 410 pašalina anksčiau įtrauktą adresą iš indekso.

Klastingas atvejis yra soft 404 iš pamokos 1.2: būsena 200, bet turinys yra klaidos pranešimas arba beveik tuščias puslapis. Google tai dažnai atpažįsta ir tokio puslapio neįtraukia. Soft 404 gali būti laikomas ir tuščias e. parduotuvės kategorijos puslapis („produktų nerasta“).

Spyna 2: robots.txt

Naudodami robots.txt Jūs uždraudžiate tikrintuvui puslapį parsisiųsti. Tai ne tas pats, kas uždrausti jį įtraukti. Google tai aiškiai sako: robots.txt nėra būdas išlaikyti puslapį už Google ribų. Jei kitos svetainės nurodo į užblokuotą puslapį, adresas vis tiek gali atsirasti rezultatuose, tik be aprašymo. Search Console tai vadinama „Indexed, though blocked by robots.txt“.

Robots.txt skirtas tikrinimo srautui valdyti: pavyzdžiui, kad tikrintuvas nenaršytų tūkstančių Jūsų pačių svetainės paieškos rezultatų puslapių. Išsamiau apie tai pamokoje 3.3.

Spyna 3: noindex

Jei tikrai norite, kad puslapis nepatektų į paieškos rezultatus, naudokite noindex. Tai galima padaryti dviem būdais, rezultatas tas pats:

<!-- puslapio <head> dalyje -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Antrasis būdas yra HTTP antraštės eilutė, kurią siunčia serveris. Ji veikia ir ne HTML failams, pavyzdžiui, pdf. Reikšmė none reiškia tą patį, ką noindex, nofollow. Su <meta name="googlebot" content="noindex"> taisyklė galioja tik Google; kitos paieškos sistemos bendrą taisyklę gali aiškinti kitaip.

O dabar labai dažnai pasitaikantys spąstai: noindex ir blokavimas robots.txt kartu neveikia. Jei robots.txt blokuoja puslapį, Google jo neparsisiunčia, todėl noindex niekada nepamato. Tada puslapis per kitų svetainių nuorodas vis tiek gali patekti į indeksą. Jei norite pašalinti puslapį iš Google: leiskite jį parsisiųsti ir pridėkite noindex.

Kur noindex gali atsirasti netyčia?

• WordPress skiltyje Nustatymai, Skaitymas yra žymimasis langelis, kuriuo paieškos sistemų prašoma neindeksuoti svetainės (angl. „Discourage search engines from indexing this site“). Jis uždeda noindex visai svetainei. Patogu kuriant svetainę, bet pražūtinga, jei pamirštate jį išjungti.
• AI Builder galite nustatyti svetainę ar puslapį kaip „neindeksuoti“; tada į puslapį įrašomas noindex, nofollow. Nemokama demonstracinė svetainė taip pat niekada neindeksuojama.
• SEO įskiepis ar tema su neteisingu nustatymu konkrečiam puslapiui ar puslapių tipui.

Kiti svetainių kūrimo įrankiai turi panašius jungiklius, dažnai pavadintus panašiai kaip „slėpti nuo paieškos sistemų“.

Spyna 4: canonical

Daugelyje svetainių tas pats puslapis pasiekiamas keliais adresais: su www ir be jo, su http ir https, su parametru gale, pavyzdžiui, ?utm_source=nieuwsbrief. Iš tokių grupių Google pasirenka vieną adresą kaip kanoninę versiją ir rezultatuose rodo tik jį. Kiti yra dublikatai.

Galite padėti Google pasirinkti nukreipimu (stiprus signalas) arba canonical nuoroda puslapyje:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Canonical yra signalas, o ne įsakymas: Google gali pasirinkti kitą adresą. Jei Jūsų canonical nurodo kitą adresą, pats puslapis sako: „neįtraukite manęs, įtraukite aną“. Tai gerai, jei tai teisinga, ir problema, jei tai klaida, pavyzdžiui, kai kiekvienas puslapis nurodo į pagrindinį puslapį. Plačiau apie tai pamokoje 3.5.

Pasak Google, dubliuotas turinys Jūsų pačių svetainėje nėra šlamšto politikos pažeidimas ir nesukelia rankinio veiksmo. Tačiau tai neefektyvu: tikrintuvai tą patį parsisiunčia kelis kartus, o Jūs patys nenusprendžiate, kuris adresas rodomas rezultatuose.

Pranešimai Search Console

Search Console ataskaitoje Pages (pamoka 2.4) prie kiekvieno nesuindeksuoto puslapio matote priežastį. Joje atsispindi visos keturios spynos:

Paskutiniai du nėra techninė klaida. „Crawled - currently not indexed“ pasitaiko dažnai; Google sako, kad tai ne visada problema. Jei tai svarbus puslapis, patikrinkite, ar jis tikrai suteikia vertės: unikalus, naudingas puslapis turi daugiau galimybių nei skurdus puslapis, panašus į dešimt kitų.

Santrauka

• Po tikrinimo paieškos sistema nusprendžia, ar puslapis pateks į indeksą; tai niekada nėra garantuota, ir ne viskas turi ten būti.
• Keturios spynos: būsena 200, neblokuojama robots.txt, nėra noindex, canonical nenurodytas arba nurodo į save.
• robots.txt draudžia parsisiųsti, o ne įtraukti. Norėdami išlaikyti puslapį už rezultatų ribų, naudokite noindex ir tada neblokuokite to puslapio robots.txt.
• Canonical yra stiprus signalas, o ne įsakymas. Dubliuotas turinys nėra šlamštas, bet yra neefektyvus.
• „Crawled - currently not indexed“ nėra techninė klaida; įvertinkite puslapio vertę.

Testas (quiz)

Užduotis

Užduotis A1.3: Ar šis puslapis gali patekti į indeksą? Įveskite puslapio adresą (savo svetainės puslapį arba puslapį, kurį sąmoningai slepiate, pavyzdžiui, padėkos puslapį). Tada pasirinkite savo lūkestį: „gali patekti į indeksą“ arba „negali patekti į indeksą“, o jei pasirinksite „negali“, nurodykite, kuri spyna jį sulaiko (būsenos kodas, robots.txt, noindex, canonical į kitą adresą). Programa patikrins keturias spynas, kaip aprašyta šioje pamokoje, ir palygins savo rezultatą su Jūsų atsakymu.

Skaitykite daugiau

• Google, Google paieškos techniniai reikalavimai: https://developers.google.com/search/docs/essentials/technical
• Google, Indeksavimo blokavimas naudojant noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Įvadas į robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Dubliuotų URL sujungimas (kanonizavimas): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Google Search Console pagalba, Puslapių indeksavimo ataskaita: https://support.google.com/webmasters/answer/7440203