SEO

Robots.txt

robots.txt datoteka · Disallow pravilo

Tekstualna datoteka u korijenu domene koja botovima tražilica govori koje dijelove web mjesta smiju pregledavati, a koje ne. Ne skriva iz indeksa.

Robots.txt je obična tekstualna datoteka u korijenu domene (siite.hr/robots.txt) koja botovima govori koje dijelove web mjesta smiju pregledavati. Pristojni botovi pročitaju je prije nego što dotaknu ijednu stranicu. Datoteka upravlja pregledavanjem, a ne indeksom: zabranjena adresa i dalje se može pojaviti u rezultatima.

Kako robots.txt radi

Datoteka mora stajati točno na adresi /robots.txt u korijenu, a u podmapi je botovi ne traže. Vrijedi samo za host, protokol i port na kojem se nalazi. Pravila s https://vasafirma.hr/robots.txt ne vrijede za https://shop.vasafirma.hr/ ni za http://vasafirma.hr/, pa svaka poddomena treba vlastitu datoteku.

Google datoteku obično pamti do 24 sata, pa se promjena ne vidi odmah. Čita najviše 500 KiB, a sve iza te granice zanemaruje. Datoteka mora biti spremljena kao UTF-8, a nazivi polja nisu osjetljivi na velika i mala slova, dok putanje jesu: /Admin/ i /admin/ za bota su dvije različite adrese.

Standard iza datoteke zove se Robots Exclusion Protocol. Postoji od 1994., a IETF ga je u rujnu 2022. objavio kao RFC 9309. Specifikacija izričito kaže da pravila nisu oblik kontrole pristupa. Robots.txt je zamolba botovima i ništa ne zaključava.

Sintaksa: četiri polja

Google podržava četiri polja:

  • User-agent određuje na kojeg se bota odnosi skupina pravila. Zvjezdica * znači sve botove koji nemaju vlastitu skupinu.
  • Disallow navodi putanju koju bot ne smije pregledavati.
  • Allow navodi putanju koju smije, i kad je šire pravilo zabranjuje.
  • Sitemap daje punu adresu sitemapa. Ne pripada nijednoj skupini i može ih biti više.

U putanjama vrijede dva zamjenska znaka: * znači bilo koji niz znakova, a $ kraj adrese. Pravilo Disallow: /*.pdf$ tako zabranjuje sve PDF datoteke.

Dva pravila o prednosti često iznenade. Prvo, redoslijed pravila nije bitan: vrijedi najspecifičnije pravilo, odnosno ono s najduljom putanjom, a kad su jednako specifična, Google bira manje restriktivno. Drugo, bot slijedi samo jednu skupinu, onu koja ga najpreciznije imenuje. Ako za Googlebot napišete vlastitu skupinu, on pravila iz skupine * više ne čita.

Primjer: robots.txt za webshop

Ovako bi mogla izgledati datoteka zamišljene trgovine na WooCommerceu:

# robots.txt za vasafirma.hr
User-agent: *
Disallow: /kosarica/
Disallow: /blagajna/
Disallow: /moj-racun/
Disallow: /*orderby=
Disallow: /*?s=
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

Sitemap: https://vasafirma.hr/sitemap_index.xml

Prva skupina vrijedi za sve botove. Košarica, blagajna i korisnički račun nemaju što tražiti u rezultatima, a sortiranje (orderby=) i interna pretraga (?s=) stvaraju bezbroj adresa s istim proizvodima. Pravilo Allow: /wp-admin/admin-ajax.php dulje je od Disallow: /wp-admin/, pa pobjeđuje i ta jedna datoteka ostaje dostupna, iako je ostatak mape zabranjen.

Druga skupina zabranjuje GPTBotu cijelu stranicu. Kako GPTBot sad ima vlastitu skupinu, pravila iz prve za njega više ne vrijede, što je ovdje svejedno jer mu je zabranjeno sve. OpenAI-jev OAI-SearchBot nije imenovan, pa slijedi prvu skupinu i trgovina se i dalje može pojaviti u ChatGPT pretrazi.

Što Google ne podržava

Polja izvan ta četiri Google zanemaruje. Crawl-delay, kojim neki botovi usporavaju pregledavanje, Googlebot ne čita, a ni noindex u robots.txt-u nema nikakav učinak. Neki drugi botovi Crawl-delay poštuju, među njima i Anthropicovi.

Koristan detalj je i što Google radi kad datoteka ne odgovara. Ako vraća grešku 4xx, osim 429, Google pretpostavlja da ograničenja nema. Ako vraća grešku 5xx, Google prvih 12 sati uopće ne pregledava stranicu, a do 30 dana zatim koristi posljednju ispravnu verziju koju ima. Detaljnije o kodovima piše pod HTTP statusni kodovi.

AI botovi u robots.txt-u

Datoteka upravlja i botovima AI tvrtki, ali njihovi nazivi nisu međusobno zamjenjivi. Isti dobavljač često ima odvojenog bota za treniranje modela, za pretragu i za dohvat na zahtjev korisnika:

User-agentTvrtkaČemu služi
GPTBotOpenAIprikuplja sadržaj za treniranje modela
OAI-SearchBotOpenAIprikazuje stranice u ChatGPT pretrazi
ChatGPT-UserOpenAIdohvaća stranicu kad korisnik nešto pita, robots.txt se možda ne primjenjuje
Google-ExtendedGoogleoznaka za treniranje Gemini modela i uzemljenje u Gemini aplikacijama, bez vlastitog bota
ClaudeBotAnthropicprikuplja sadržaj za treniranje modela
Claude-SearchBotAnthropicindeksira za odgovore u pretrazi
Claude-UserAnthropicdohvaća stranicu na zahtjev korisnika
PerplexityBotPerplexityprikazuje stranice u Perplexity rezultatima, ne trenira modele
Perplexity-UserPerplexitydohvaća stranicu na zahtjev korisnika, uglavnom zanemaruje robots.txt

Praktična posljedica je da možete zabraniti treniranje, a ostati vidljivi u AI pretrazi: blokirate GPTBot i ClaudeBot, a OAI-SearchBot, Claude-SearchBot i PerplexityBot ostavite. Google-Extended ne utječe na pojavljivanje u Googleovoj pretrazi ni na rangiranje. Tko blokira i botove za pretragu, sam se isključuje iz tog kanala.

U Hrvatskoj uz to vrijedi i Zakon o autorskom pravu i srodnim pravima (NN 111/21). Članak 188. dopušta rudarenje teksta i podataka ako nositelj prava to nije pridržao, a kao primjerene načine pridržaja navodi strojno čitljiv način koji uključuje metapodatke, opće uvjete mrežne stranice, ugovorne odredbe ili jednostrane izjave. Smatra li se sama zabrana u robots.txt-u dovoljnim pridržajem, sudovi još nisu ustalili, pa se pridržaj obično navodi i u uvjetima korištenja. Šire o tome piše pod web scraping.

Disallow i noindex nisu isto

Disallow kaže botu da ne pregledava adresu. Google tada ne vidi sadržaj stranice, ali adresu i dalje može indeksirati ako na nju vode poveznice, samo bez opisa. Za izbacivanje iz indeksa koristi se meta oznaka noindex, a ona radi jedino ako stranica nije blokirana u robots.txt-u, jer bot koji ne smije otvoriti stranicu oznaku nikad ne pročita. Blokiranjem stranice s oznakom noindex postižete suprotno od namjere.

Ispravan redoslijed je zato: noindex za stranice koje ne želite u rezultatima, Disallow za dijelove koji samo troše robotovo vrijeme opisano pod crawling. Ono što mora ostati tajno ne štiti ni jedno ni drugo, nego lozinka.

Česte pogreške

  • Disallow: / zaostao sa staging okruženja blokira cijelu stranicu. Simptom je nagli pad indeksiranih stranica u Search Consoleu nakon redizajna, pa datoteku provjerite prvog dana nakon lansiranja.
  • Blokirani CSS i JavaScript. Google tada ne može iscrtati stranicu kako je vidi posjetitelj.
  • Vlastita skupina za jednog bota u koju niste prepisali opća pravila, pa taj bot odjednom smije sve.
  • Datoteka koja zbog greške servera vraća 5xx i tako na sate zaustavi pregledavanje.
  • Skrivanje osjetljivih adresa navođenjem u robots.txt-u. Datoteka je javna, pa je to zapravo popis onoga što ste htjeli sakriti.

Česta pitanja

Gdje se nalazi robots.txt i kako ga provjeriti?

Uvijek na adresi vasadomena.hr/robots.txt, pa ga možete otvoriti u pregledniku. U Google Search Consoleu izvješće o datoteci robots.txt pokazuje koju je verziju Google zadnju preuzeo i je li javio greške.

Treba li svakoj stranici robots.txt?

Nije obavezan. Bez njega, ili ako vraća grešku 404, Google pretpostavlja da smije pregledavati sve. Datoteka postaje korisna kad imate dijelove stranice koje bot ne treba pregledavati ili kad želite navesti sitemap.

Kako blokirati ChatGPT, a ostati u Google pretrazi?

Dodajte skupinu User-agent: GPTBot s pravilom Disallow: /. To ne dira Googlebot ni Googleovu pretragu. Ako želite ostati vidljivi u ChatGPT pretrazi, OAI-SearchBot ne blokirajte.

Uklanja li Disallow stranicu iz Googlea?

Ne. Zabranjena adresa može ostati u indeksu bez opisa ako na nju vode poveznice. Za uklanjanje koristite noindex, a stranicu ostavite dostupnu dok je Google ponovno ne pregleda.

Spremni za rast vašeg poslovanja?

Dogovorimo kratki razgovor. Pregledat ćemo vašu web stranicu, oglase, SEO i recenzije te vam poslati pisani plan, bez obzira angažirate li nas ili ne.