Besplatan alat

Robots.txt generator i tester za Google i AI robote

Robots.txt je kratka datoteka s velikim posljedicama. Jedan krivo postavljen redak može vas maknuti iz ChatGPT pretraživanja, a pravilo koje ste napisali za sve robote može tiho vrijediti samo za jednog. Danas uz Google i Bing vaš web čitaju i roboti OpenAI-ja, Anthropica, Perplexityja, Applea i Mete, i svaki od njih ima drugu svrhu.

Ovdje možete složiti novi robots.txt, provjeriti postojeći prema standardu RFC 9309 i sastaviti llms.txt iz svog sitemapa. Sve se izvršava u vašem pregledniku: robots.txt zalijepite sami, ništa se ne šalje Siiteu i ništa se ne sprema.

Kako se koristi

1 U generatoru odaberite polaznu postavku. Za većinu tvrtki dobar izbor je dopustiti pretraživanje i AI citiranje, a blokirati treniranje modela.
2 Po potrebi uključite ili isključite pojedine robote. Uz svakoga piše čemu služi i što gubite ako ga blokirate.
3 Upišite putanje koje roboti ne trebaju otvarati, poput administracije ili košarice, i punu adresu sitemapa. Alat upozorava kad je za neku stranicu bolji noindex.
4 Kopirajte ili preuzmite datoteku i postavite je u korijen domene, na vasadomena.hr/robots.txt.
5 U testeru zalijepite postojeći robots.txt, upišite adresu i odaberite robota. Vidjet ćete je li adresa dopuštena, koja grupa vrijedi i koje je pravilo odlučilo.
6 Na kartici llms.txt zalijepite sitemap, imenujte odjeljke i preuzmite gotovu datoteku.

Česta pitanja

Česta pitanja — robots.txt i llms.txt

Hoće li robots.txt maknuti stranicu iz Googlea?

Ne. Robots.txt zabranjuje dohvaćanje, a ne indeksiranje. Google adresu koju ne smije otvoriti i dalje može uvrstiti u rezultate ako na nju vode poveznice, samo bez opisa. Ako stranicu želite izvan Googlea, stavite na nju oznaku noindex i ostavite dohvat otvoren. Robot kojem robots.txt zabrani pristup nikad ne pročita noindex, pa blokada i noindex zajedno postižu suprotno od onoga što ste htjeli.

Kako da me ChatGPT i Claude citiraju, a da ne treniraju modele na mom sadržaju?

OpenAI i Anthropic za to koriste odvojene robote. OAI-SearchBot i Claude-SearchBot grade indekse za pretraživanje i citiranje, a GPTBot i ClaudeBot prikupljaju sadržaj za treniranje. Dopustite prve, a blokirajte druge. Isto vrijedi za Google-Extended i Applebot-Extended, koji odlučuju o korištenju sadržaja za Gemini i Appleove modele, a ne utječu na Google ni Apple pretraživanje. PerplexityBot prema Perplexityju ne služi za treniranje, pa ga nema razloga blokirati ako želite biti citirani.

Mogu li isključiti Google AI Overviews preko robots.txt?

Ne zasebno. AI Overviews i AI Mode koriste isti Googlebot kao i obično pretraživanje, a Google-Extended prema Googleovoj dokumentaciji ne utječe na Google pretraživanje. Blokiranjem Googlebota nestajete iz cijelog Googlea. Google upućuje na oznake poput nosnippet i max-snippet za ograničavanje onoga što se prikazuje iz vaših stranica, ali one vrijede i za klasične rezultate.

Zašto pravila ispod praznog retka vrijede samo za jednog robota?

Prema standardu RFC 9309 grupa počinje retkom User-agent i traje do sljedećeg retka User-agent. Prazan redak je dopušten, ali grupu ne završava. Ako ispod „User-agent: Google-Extended“ ostavite prazan redak i nastavite s pravilima Disallow, ta pravila i dalje vrijede samo za Google-Extended, a Googlebot ih nikad ne vidi. Tester takav slučaj označava upozorenjem, a primjer s tom greškom možete učitati jednim klikom.

Kako robot odlučuje kad se na adresu odnosi više pravila?

Prvo bira grupu: onu s najpreciznijim tokenom koji odgovara njegovu imenu, bez obzira na velika i mala slova, a tek ako takve nema, grupu „*“. Više grupa za istog robota spaja se u jednu. Zatim među pravilima iz te grupe pobjeđuje ono s najduljom putanjom, a kod jednake duljine Allow pobjeđuje Disallow. Zvjezdica znači bilo koji niz znakova, a znak $ kraj adrese. Grupe za druge robote, uključujući „*“, za njega tada uopće ne vrijede.

Poštuju li AI roboti robots.txt?

Veliki operateri u svojoj dokumentaciji navode da njihovi roboti za pretraživanje i treniranje poštuju robots.txt. Iznimka su dohvati koje pokreće korisnik: OpenAI za ChatGPT-User navodi da se pravila možda neće primijeniti, Perplexity da Perplexity-User u pravilu zanemaruje robots.txt, a Amazon da Amzn-User ne mora slijediti sva pravila. Robots.txt je zamolba, a ne zaštita. Ako sadržaj ne smije biti javan, zaštitite ga lozinkom.

Što je Content-Signal i trebam li ga?

Content-Signal je Cloudflareov prijedlog retka u robots.txt kojim izjavljujete za što se sadržaj smije koristiti: search za pretraživanje, ai-input za AI odgovore u stvarnom vremenu i ai-train za treniranje modela. To je izjava o vašoj volji, a ne tehnička blokada, i nije dio standarda RFC 9309, pa ga roboti koji ga ne podržavaju jednostavno preskaču. Ne šteti, ali stvarnu kontrolu i dalje daju retci Allow i Disallow.

Što je llms.txt i koristi li ga Google?

Llms.txt je prijedlog s llmstxt.org iz 2024.: Markdown datoteka na vasadomena.hr/llms.txt s nazivom stranice, kratkim sažetkom i popisom najvažnijih adresa, kako bi jezični modeli brže našli bitno. Nije službeni standard. Google ga ne koristi: u dokumentaciji o AI značajkama pretraživanja navodi da za njih nema dodatnih tehničkih zahtjeva, pa llms.txt ne utječe na Google. Može pomoći alatima i agentima koji ga čitaju, a izrada traje nekoliko minuta.