Svetainės žemėlapis ir robots.txt WordPress ir Jūsų pačių sukurtoje svetainėje

Svetainės žemėlapis yra adresų, kuriuos norite matyti paieškos sistemose, sąrašas. Failas robots.txt nurodo paieškos sistemoms, kurių adresų jos negali lankyti ir kur yra Jūsų svetainės žemėlapis. Štai kaip juos patikrinti WordPress ir pačių sukurtoje svetainėje.

WordPress

Nuo 5.5 versijos WordPress pati sukuria svetainės žemėlapį ir robots.txt:

• Svetainės žemėlapis yra adresu https://jouwdomein.nl/wp-sitemap.xml.
• Failas robots.txt yra virtualus: Jūsų žiniatinklio aplanke tokio failo nėra, tačiau WordPress jį rodo adresu https://jouwdomein.nl/robots.txt, su nuoroda į svetainės žemėlapį.
• Naudojate SEO įskiepį, pavyzdžiui, Yoast SEO ar Rank Math? Tada jis dažnai sukuria savo svetainės žemėlapį, pavyzdžiui, sitemap_index.xml. Adresą rasite įskiepio nustatymuose. Būtent šį adresą pateikite Google ir Bing.

Standartinis WordPress robots.txt atrodo maždaug taip:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Ar WordPress neblokuoja paieškos sistemų?

1. Prisijunkite prie WordPress ir eikite į Nustatymai, tada Skaityti.
2. Prie matomumo paieškos sistemoms raskite žymimąjį langelį Prašyti paieškos sistemų neindeksuoti šios svetainės.
3. Šis langelis turi būti nepažymėtas. Spustelėkite Išsaugoti pakeitimus.

Jei langelis pažymėtas, WordPress prašo paieškos sistemų praleisti visą Jūsų svetainę. Jis dažnai įjungiamas kuriant svetainę, o vėliau pamirštamas.

Daugiau apie svetainės matomumą WordPress skaitykite straipsnyje Matomumas paieškos sistemose: pagrindai.

Savas robots.txt

Jei patys įkelsite failą robots.txt į savo žiniatinklio aplanką, jis turės pirmenybę prieš virtualų WordPress robots.txt. WebOké talpinimo plane žiniatinklio aplankas yra Jūsų domeno public_html. Failą galite įkelti naudodami DirectAdmin File Manager (žr. File Manager atidarymas: Jūsų plano aplankai) arba per FTP.

Paprastas robots.txt, kuris leidžia viską ir nurodo Jūsų svetainės žemėlapį:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Pačių sukurta svetainė

Svetainę kuriate patys arba su kita programa? Tada patikrinkite, ar ta programa sukuria svetainės žemėlapį. Jei ne, galite apsieiti ir be jo: nedidelė svetainė su gerais saitais tarp puslapių taip pat randama. Vis dėlto svetainės žemėlapis padeda. Įkelkite jį į savo žiniatinklio aplanką ir nurodykite jį robots.txt faile, kaip parodyta aukščiau.

Patikrinimas

• Atidarykite https://jouwdomein.nl/robots.txt. Ar po User-agent: * yra eilutė Disallow: /? Tada jokia paieškos sistema negali lankyti Jūsų svetainės. Pašalinkite šią eilutę, kai svetainė bus baigta.
• Ar yra eilutė Sitemap:? Atidarykite tą adresą naršyklėje. Turėtumėte matyti savo svetainės adresų sąrašą su https ir savo domenu.

Patarimas: robots.txt nepašalina puslapio iš Google. Puslapis, kurio lankyti neleidžiama, vis tiek gali patekti į paieškos rezultatus, jei į jį nukreipia kitos svetainės. Jei tikrai norite, kad puslapio nebūtų Google, naudokite noindex. Apie skirtumą skaitykite kurso „Kaip būti randamam internete“ pamokoje robots.txt: ką blokuojate, o ko ne.