DI robotų įleidimas arba blokavimas: robots.txt ir llms.txt
DI paslaugos, tokios kaip ChatGPT, Claude, Gemini ir Perplexity, renka tinklalapius: modeliams mokyti, paieškos atsakymams pateikti arba naudotojo klausimui atsakyti. Faile robots.txt galite nurodyti, kuriems iš šių robotų leidžiama lankytis Jūsų svetainėje. Be to, egzistuoja llms.txt pasiūlymas. Šiame straipsnyje sužinosite, kokie robotai egzistuoja, kaip juos įsileisti arba blokuoti ir ką llms.txt daro, o ko nedaro. Pavyzdžiui naudojame example.com.
1. Svarbiausi DI robotai
Dauguma DI bendrovių naudoja atskirus pavadinimus mokymui, paieškai ir puslapių gavimui naudotojo prašymu. Taip galite, pavyzdžiui, blokuoti mokymą, bet vis tiek būti rodomi paieškos atsakymuose.
| Pavadinimas robots.txt faile | Kieno | Kam skirtas |
|---|---|---|
GPTBot | OpenAI | Renka puslapius, kurie gali būti naudojami modeliams mokyti |
OAI-SearchBot | OpenAI | ChatGPT paieškos funkcija. Jei jį užblokuosite, Jūsų svetainė nebus rodoma ChatGPT paieškos atsakymuose |
ChatGPT-User | OpenAI | Gauna puslapį, kai to paprašo naudotojas. Pasak OpenAI, robots.txt čia gali būti netaikomas |
ClaudeBot | Anthropic | Renka puslapius, kurie gali būti naudojami modeliams mokyti |
Claude-SearchBot | Anthropic | Indeksuoja puslapius Claude paieškos funkcijai |
Claude-User | Anthropic | Gauna puslapį, kai to paprašo naudotojas |
Google-Extended | Tai ne atskiras robotas, o pavadinimas, kuriuo nurodote, ar Google gali naudoti Jūsų turinį Gemini modeliams mokyti ir grounding funkcijai. Pasak Google, tai neturi įtakos Jūsų pozicijai Google paieškoje | |
PerplexityBot | Perplexity | Rodo svetaines ir pateikia į jas nuorodas Perplexity paieškos rezultatuose, nenaudojamas mokymui |
Perplexity-User | Perplexity | Gauna puslapį, kai to paprašo naudotojas. Pasak Perplexity, šis robotas dažniausiai nepaiso robots.txt |
Šis sąrašas reguliariai keičiasi. Aktualius pavadinimus rasite OpenAI, Anthropic, Google ir Perplexity dokumentacijoje.
2. robots.txt pavyzdys
Šis pavyzdys blokuoja modelių mokymą, tačiau leidžia paieškos robotus ir įprastas paieškos sistemas:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Robotas laikosi tik grupės su savo pavadinimu, o jei tokios nėra, grupės
*. Taigi pavyzdyje GPTBot negali lankytis niekur, oDisallow: /winkelmand/GPTBot netaikomas. - Jei norite įsileisti visus DI robotus, nieko daryti nereikia: be taisyklių leidžiama viskas.
- Jei netyčia užblokuosite paieškos robotą, pavyzdžiui,
OAI-SearchBot,Claude-SearchBotarbaPerplexityBot, Jus bus sunkiau rasti tose DI paieškos paslaugose. - Blokavimas veikia tik ateičiai. Tai, kas jau surinkta anksčiau, juo nesugrąžinsite.
public_html. Jį sukurti arba redaguoti galite per Failų tvarkyklę arba FTP. WordPress pats sukuria robots.txt, kol tokio failo nėra, o AI Builder jį įkelia publikuodamas svetainę. Daugiau apie tai, kaip veikia robots.txt, skaitykite straipsnyje Kaip neleisti puslapiui patekti į Google: robots.txt ar noindex?.3. Kas yra llms.txt?
llms.txt yra 2024 m. pasiūlymas dėl tekstinio failo adresu https://example.com/llms.txt. Jame Markdown formatu pateikiate trumpą svetainės aprašymą ir nuorodas į svarbiausius puslapius, kad DI paslauga greitai matytų, kur yra reikalinga informacija. Paprastas pavyzdys:
# Kepykla Pavyzdys > Amatininkų kepykla Kaune: duona, pyragaičiai ir tortai pagal užsakymą. ## Svarbūs puslapiai - [Asortimentas](https://example.com/assortiment): duona, pyragaičiai ir tortai - [Užsakymas](https://example.com/bestellen): torto užsakymas ir atsiėmimas - [Kontaktai](https://example.com/contact): adresas ir darbo laikas
Naudinga žinoti:
- llms.txt nėra oficialus standartas, o tik pasiūlymas. Nėra garantijos, kad DI paslaugos šį failą skaitys. Google pranešė, kad Google paieška jo nenaudoja.
- llms.txt nieko neblokuoja. Jei norite neįsileisti robotų, naudokite robots.txt.
- Failas neatsiranda savaime: jį sukuriate patys arba leidžiate jį sukurti papildiniui.
4. llms.txt kūrimas WordPress
Žinomi SEO papildiniai gali sukurti ir atnaujinti llms.txt už Jus:
- Yoast SEO: eikite į Yoast SEO, Nustatymai, Svetainės funkcijos ir DI funkcijų skiltyje įjunkite llms.txt. Galite leisti Yoast parinkti puslapius arba nurodyti juos patys.
- Rank Math: Rank Math Valdymo skydelyje įjunkite modulį LLMS Txt. Nustatymus po to rasite skiltyje Bendrieji nustatymai.
Meniu pavadinimai skiriasi priklausomai nuo versijos. Jei parinkties nematote, atnaujinkite papildinį. Po to failą galite peržiūrėti adresu https://jusudomenas.lt/llms.txt.
Be WordPress failą sukuriate patys: tekstinį failą llms.txt kataloge public_html, kaip ir robots.txt.
Išsamus paaiškinimas su ekrano nuotraukomis: Sitemap ir robots.txt WordPress ir Jūsų svetainėje bei Sitemap ir robots.txt su AI Builder vadove „Būkite randami internete“.
Norite sužinoti daugiau? Išklausykite nemokamą kursą „Būkite randami internete“, pamoka 3.3 robots.txt: ką blokuoti, o ko ne.