Crawling je proces kojim tražilica automatski obilazi web: program koji se zove crawler, bot ili pauk prati poveznice, otkriva nove adrese i preuzima sadržaj stranica. Googleov crawler zove se Googlebot. Stranicu koju bot nije preuzeo Google ne može ni indeksirati ni prikazati u rezultatima.
Kako Googlebot pronalazi i preuzima stranice
Googlebot nove adrese najčešće otkriva preko poveznica na stranicama koje već poznaje. Drugi važan izvor je sitemap, popis adresa koji vlasnik sam pošalje. Za svaku adresu bot pošalje zahtjev serveru, kao preglednik, i zabilježi što je dobio natrag.
Nekoliko pojedinosti iz Googleove dokumentacije objašnjava ponašanje koje vlasnici često ne očekuju:
- Googlebot postoji u dvije inačice, za mobitel i za računalo. Google većinu stranica indeksira prema mobilnoj inačici, pa najveći dio zahtjeva šalje mobilni bot.
- Za pretragu Googlebot preuzima prvih 2 MB podržane datoteke i prvih 64 MB PDF-a. Što je iza te granice, ne čita. Svaka CSS ili JavaScript datoteka preuzima se zasebno, uz istu granicu.
- Na većinu stranica Googlebot u prosjeku ne bi trebao dolaziti češće od jednom u nekoliko sekundi.
- Nakon preuzimanja Google stranicu i iscrtava, kao preglednik. Sadržaj koji se pojavljuje tek nakon izvršavanja JavaScripta zato stiže kasnije i nesigurnije od onoga koji je već u HTML-u.
Crawling, indeksiranje i rangiranje
To su tri odvojena koraka i u svakome stranica može zapeti. Crawling je preuzimanje. Indeksiranje je Googleova odluka hoće li preuzetu stranicu spremiti u indeks. Rangiranje je redoslijed u kojem se indeksirane stranice prikazuju za neki upit.
Iz toga proizlazi razlika koju je lako pobrkati. Datoteka robots.txt zabranjuje preuzimanje, ali ne i indeksiranje: adresa blokirana za crawling i dalje se može pojaviti u rezultatima, samo bez opisa, ako na nju vode poveznice. Za izbacivanje iz indeksa služi oznaka noindex, a nju bot može pročitati samo ako stranicu smije preuzeti.
Crawl budget: koga se stvarno tiče
Crawl budget je količina adresa koju Google na jednom webu može i želi preuzeti u nekom razdoblju. Određuju ga dvije stvari. Prva je kapacitet: Google pazi da ne preoptereti server, pa šalje više zahtjeva kad server brzo i stabilno odgovara, a manje kad usporava ili vraća pogreške 5xx i 429. Druga je potražnja: koliko adresa Google zna, koliko su popularne i koliko često se mijenjaju. Budžet se računa po nazivu hosta, tako da www.primjer.hr i shop.primjer.hr imaju svaki svoj.
Googleov vodič o crawl budgetu izričito je namijenjen velikim webovima: onima s više od milijun stranica koje se mijenjaju jednom tjedno, onima s više od 10.000 stranica koje se mijenjaju svakodnevno i onima kod kojih Search Console velik dio adresa vodi pod “Discovered - currently not indexed”. Ako se vaše nove stranice preuzimaju isti dan kad ih objavite, vodič vam ne treba. Ažuran sitemap i povremen pogled u izvješće o indeksiranju tada su dovoljni. Za tipičnu hrvatsku stranicu tvrtke s nekoliko desetaka ili stotina stranica crawl budget nije problem. Problem nastaje kad stranica sama od sebe stvara adrese.
Primjer: koliko adresa stvara webshop s filterima
Zamislite webshop s 300 proizvoda u 20 kategorija. Svaka kategorija ima filter boje s pet vrijednosti, filter veličine s četiri i tri načina sortiranja, a svaka kombinacija dobiva svoju adresu.
| Vrsta adrese | Izračun | Broj adresa |
|---|---|---|
| Proizvodi | 300 | 300 |
| Kategorije bez filtera | 20 | 20 |
| Kategorija + boja | 20 × 5 | 100 |
| Kategorija + boja + veličina | 20 × 5 × 4 | 400 |
| Sve to × sortiranje | (20 + 100 + 400) × 3 | 1.560 |
Webshop koji ima 320 stvarno korisnih stranica tako Googleu pokazuje gotovo 1.900 adresa, a straničenje i parametri iz kampanja taj broj još povećaju. Brojke su izmišljene, ali omjer je čest kod trgovina na WooCommerceu i sličnim sustavima. Rješenje nije jedno: kombinacije koje nitko ne traži blokirate u robots.txt, za varijante iste stranice postavite canonical na glavnu inačicu, a filtere koje ljudi stvarno traže, recimo crne tenisice, pretvorite u pravu kategoriju s vlastitim tekstom. Isto vrijedi za turističke stranice s pet jezičnih inačica: svaka nova stranica tamo znači pet adresa.
Kako usmjeriti crawling
Najviše utjecaja imate na popis adresa koje Google zna. Dobra praksa iz Googleove dokumentacije, prevedena na malu stranicu:
- Duplikate spojite u jednu adresu, a nevažne kombinacije blokirajte u robots.txt.
- Za trajno uklonjene stranice vraćajte status 404 ili 410. To je jak signal da adresu više ne treba preuzimati. Blokirana adresa, za razliku od toga, dugo ostaje u redu čekanja.
- Uklonite meke 404 stranice, one koje kažu “nema proizvoda”, a vraćaju status 200. Bot ih i dalje preuzima.
- Izbjegavajte lance preusmjeravanja. Svaki korak u lancu bot broji kao zaseban zahtjev, pa redirect neka vodi izravno na konačnu adresu.
- Sitemap držite ažurnim, s oznakom
lastmodsamo kad se sadržaj stvarno promijenio. Jedan sitemap smije imati najviše 50.000 adresa ili 50 MB. - Važne stranice povežite iz izbornika i iz teksta. Interno linkanje je put kojim bot dolazi do dubljih stranica.
- Ubrzajte odgovor servera i podržite status 304, kojim server kaže da se stranica nije promijenila.
Brz hosting pomaže iz istog razloga: kad server odgovara brzo i bez pogrešaka, Google postupno podiže granicu zahtjeva. Zamoliti Google da crawla više ne možete.
Izvješće Crawl Stats u Search Consoleu
U Google Search Consoleu izvješće Crawl stats nalazi se u postavkama svojstva i dostupno je samo za svojstvo na korijenskoj razini, dakle za cijelu domenu ili adresu poput https://primjer.hr. Pokazuje ukupan broj zahtjeva, količinu preuzetih podataka, prosječno vrijeme odgovora, stanje hosta te raspodjelu po statusnim kodovima, vrsti datoteke, svrsi i vrsti Googlebota. Svrha razlikuje otkrivanje, kad bot adresu preuzima prvi put, i osvježavanje već poznate stranice.
Google kaže da stranici s manje od tisuću adresa ovo izvješće uglavnom ne treba. Ipak se isplati otvoriti ga u tri situacije: kad stanje hosta nije zeleno, kad nakon selidbe ili redizajna želite vidjeti prevladavaju li 301 odgovori i kad prosječno vrijeme odgovora naglo skoči. Među HTTP statusnim kodovima najveća je opasnost nedostupan robots.txt. Ako ga Google ne može preuzeti, prvih 12 sati uopće ne crawla stranicu. Odgovor 404 za robots.txt u redu je i znači samo da datoteke nema.
Česte greške
- Cijeli web blokiran u robots.txt nakon izrade na probnom serveru. Pravilo
Disallow: /preživi objavu i stranica nestaje iz pretrage. - CSS i JavaScript blokirani u robots.txt, pa Google stranicu iscrtava bez rasporeda i sadržaja.
- Sadržaj koji se učitava tek klikom ili beskonačnim pomicanjem, bez obične poveznice na koju bot može naići.
- Interni linkovi na stare adrese koje preusmjeravaju, umjesto izravno na nove.
- Tisuće adresa iz pretrage na stranici ili iz filtera koje vode na prazne rezultate.
Česta pitanja
Koliko često Googlebot dolazi na moju stranicu?
Ovisi o veličini, brzini servera i tome koliko se često sadržaj mijenja. Popularne stranice i one koje se često osvježavaju bot obilazi češće. Točan ritam vidite u izvješću Crawl Stats, gdje je broj zahtjeva prikazan po danima.
Kako ubrzati crawling nove stranice?
Dodajte je u sitemap, povežite je s početne ili neke posjećene stranice i u Search Consoleu pomoću provjere URL-a zatražite indeksiranje. To ne jamči da će stranica odmah ući u indeks, ali bot do nje stiže brže.
Je li crawling isto što i indeksiranje?
Nije. Crawling je preuzimanje stranice, a indeksiranje je odluka da se ona spremi i prikazuje u rezultatima. Status “Crawled - currently not indexed” znači upravo to: Google je stranicu pročitao i odlučio je zasad ne uvrstiti.
Trebam li se brinuti o crawl budgetu?
Ako imate manje od nekoliko tisuća stranica i nove se pojavljuju u Googleu unutar dana ili dva, gotovo sigurno ne. Brigu zaslužuju veliki webshopovi, portali i stranice koje kroz filtere i parametre stvaraju velik broj adresa.
Povezani pojmovi
Sitemap
XML datoteka koja tražilicama popisuje sve važne stranice web sjedišta. Pomaže Googleu brže i potpunije indeksirati sadržaj.
SEO
Optimizacija za tražilice — skup tehnika kojima web stranica postiže bolju vidljivost u organskim (neplaćenim) rezultatima Googlea.
Canonical tag
HTML oznaka koja Googleu govori koja je 'glavna' verzija stranice kad postoji više sličnih ili dupliciranih URL-ova. Sprječava probleme s duplikatima.
Organski promet
Posjetitelji koji dolaze na stranicu kroz neplaćene rezultate tražilica. Najvredniji dugoročan kanal — ne plaćate po kliku i ne nestaje kad ugasite budžet.
Greška 404
HTTP odgovor koji server vraća kad tražena adresa ne postoji. Posjetitelj vidi poruku da stranica nije pronađena, a Google je s vremenom izbaci iz indeksa.
