Indeksiranje je korak u kojem Google odlučuje hoće li stranicu koju je pročitao dodati u svoj indeks, bazu iz koje se slažu rezultati pretrage. Dolazi nakon crawlanja: bot je stranicu preuzeo, ali to još ne znači da će je zadržati. Stranica koja nije u indeksu ne može se pojaviti ni za jedan upit.
Kako stranica ulazi u indeks
Kad Googlebot preuzme stranicu, Google je obradi: pročita tekst, naslove, slike i poveznice, po potrebi pokrene JavaScript i usporedi sadržaj sa sličnim stranicama. Ako nađe više adresa s gotovo istim sadržajem, jednu proglasi glavnom, a ostale ne prikazuje. To je odabir kanonske adrese, a vaš canonical pritom je samo jedan od signala.
Na kraju Google odluči hoće li stranicu spremiti. Odluka je selektivna i Google to otvoreno kaže: ne očekujte da će svaka adresa vašeg weba biti indeksirana. Stranica koja ne nudi ništa novo u odnosu na ono što je već u indeksu može ostati vani iako je tehnički ispravna.
Kako provjeriti je li stranica indeksirana
Upit site:vasafirma.hr u Googleu daje grubu sliku, ali broj rezultata nije pouzdan i ne kaže zašto neke stranice nema. Za pojedinu adresu koristite alat URL Inspection u Google Search Consoleu. On kaže je li adresa na Googleu, kad ju je Googlebot zadnji put posjetio, koju je kanonsku adresu Google izabrao i je li na stranici pronašao pravilo noindex.
Za cijeli web služi izvještaj Page indexing (indeksiranje stranica). Gornji grafikon dijeli poznate adrese na indeksirane i neindeksirane, a ispod je popis razloga s brojem adresa uz svaki.
Najčešći razlozi u izvještaju Page indexing
Search Console razloge prikazuje na engleskom, pa ih ovdje navodimo izvorno:
| Razlog | Što znači | Treba li nešto učiniti |
|---|---|---|
| Crawled - currently not indexed | Google je stranicu pročitao, ali je nije uključio | samo ako je stranica važna: poboljšajte sadržaj i interne poveznice |
| Discovered - currently not indexed | Google zna za adresu, ali je još nije preuzeo | najčešće ne; kod velikog broja provjerite brzinu servera |
| Duplicate without user-selected canonical | duplikat bez vašeg canonicala, Google je izabrao drugu adresu | provjerite je li izabrao pravu |
| Duplicate, Google chose different canonical than user | Google se ne slaže s vašim canonicalom | usporedite sadržaj dviju adresa |
| Alternate page with proper canonical tag | stranica ispravno upućuje na glavnu verziju | ne |
| Page with redirect | adresa preusmjerava na drugu | ne, ako je preusmjeravanje namjerno |
| URL marked ‘noindex’ | stranica traži da ne bude u indeksu | provjerite je li to namjerno |
| Not found (404) i Soft 404 | stranica ne postoji ili izgleda kao greška 404 | samo za adrese s prometom ili poveznicama |
| Blocked by robots.txt | robots.txt brani preuzimanje | provjerite pravilo |
Kod razloga Crawled - currently not indexed Google sam navodi da je to česta poruka koja ne mora značiti problem. Discovered - currently not indexed obično znači da je Google odgodio preuzimanje kako ne bi preopteretio server, zato uz takve adrese nema datuma zadnje posjete.
Primjer: izvještaj malog webshopa
Recimo da izvještaj za webshop s otprilike 200 proizvoda pokazuje 210 indeksiranih i 470 neindeksiranih adresa. Brojke su izmišljene za primjer, ali raspored je tipičan:
| Razlog | Adresa | Što se ispostavilo | Odluka |
|---|---|---|---|
| Alternate page with proper canonical tag | 230 | adrese filtara i sortiranja s canonicalom na kategoriju | ništa |
| Page with redirect | 90 | stare adrese nakon selidbe | ništa |
| URL marked ‘noindex’ | 70 | košarica i korisnički račun, ali i 12 kategorija | maknuti noindex s kategorija |
| Crawled - currently not indexed | 45 | proizvodi s opisom od jedne rečenice, prepisanim od dobavljača | napisati vlastite opise, prvo za najprodavanije |
| Discovered - currently not indexed | 20 | novi proizvodi, do kojih vodi samo sitemap | povezati ih iz kategorija |
| Not found (404) | 15 | obrisani proizvodi | 301 na nasljednika gdje postoji |
Od 470 neindeksiranih adresa stvarni problem je u oko 77, točnije u 12 kategorija, 45 proizvoda i 20 nepovezanih novih adresa. Ostalo je Google dobro procijenio. Takav izvještaj se ne čita po ukupnom broju, nego po tome jesu li među isključenima adrese koje želite vidjeti u rezultatima.
Noindex: kako stranicu namjerno isključiti
Neke stranice ne trebaju biti u indeksu: košarica, zahvala nakon slanja obrasca, interna pretraga, testna verzija weba. Google za to nudi dva jednako vrijedna načina. Prvi je oznaka u <head> stranice:
<meta name="robots" content="noindex">
Drugi je HTTP zaglavlje X-Robots-Tag: noindex, koje se koristi za datoteke bez HTML-a, na primjer PDF-ove i slike.
Pravilo noindex radi samo ako ga Googlebot može pročitati. Ako je ista adresa zabranjena u robots.txt, bot stranicu ne preuzme, ne vidi oznaku, a adresa može završiti u indeksu ako netko na nju linka. U izvještaju se tada pojavi kao Indexed, though blocked by robots.txt. Za isključivanje zato maknite zabranu iz robots.txt i ostavite noindex.
Najskuplja greška ide u suprotnom smjeru. Novi web izrađen na stagingu ode u produkciju s oznakom noindex na svim stranicama, a promet počne padati tek tjednima kasnije. Nakon svake objave provjerite izvorni kod nekoliko stranica.
Kako zatražiti indeksiranje
Za novu ili popravljenu stranicu:
- U Search Consoleu upišite punu adresu u polje za pregled na vrhu.
- Ako alat javi da adresa nije na Googleu, pokrenite test uživo da vidite može li je Googlebot preuzeti.
- Kliknite Request indexing.
Google upozorava da za pojedinačne adrese postoji kvota i da ponovljeni zahtjevi za istu adresu ne ubrzavaju posjet. Preuzimanje može trajati od nekoliko dana do nekoliko tjedana, a zahtjev ne jamči da će stranica ući u indeks. Za veći broj adresa predajte sitemap. Kad popravite razlog iz izvještaja Page indexing, gumb Validate fix pokreće provjeru, koja prema Googleu obično traje do oko dva tjedna.
Brže od zahtjeva često radi poveznica. Nova stranica do koje vodi interno linkanje s naslovnice ili jake kategorije bit će otkrivena pri sljedećem posjetu tih stranica.
Česta pitanja
Koliko traje indeksiranje nove stranice?
Ne postoji fiksan rok. Google navodi da samo preuzimanje može trajati od nekoliko dana do nekoliko tjedana, a odluka o indeksiranju dolazi nakon toga. Stranice na webu koji Google često posjećuje obično uđu brže.
Je li loše ako dio stranica nije indeksiran?
Ne nužno. Filteri, preusmjerene adrese i stranice s ispravnim canonicalom ne trebaju biti u indeksu. Problem je samo kad među neindeksiranima nađete stranice koje donose upite ili prodaju.
Stranica je indeksirana, zašto je ne nalazim na Googleu?
Indeksiranje znači da stranica može biti prikazana, a ne da će biti visoko. Možda je na trećoj stranici rezultata ili je pretražujete drugim riječima nego što piše u njoj. U izvještaju Performance u Search Consoleu filtrirajte tu adresu i vidite za koje se upite pojavljuje.
Kako ukloniti stranicu iz Googlea?
Trajno: dodajte noindex ili neka adresa vraća 404 ili 410, pa će ispasti nakon sljedećeg posjeta. Ako mora nestati odmah, alat za uklanjanje u Search Consoleu privremeno je skriva iz rezultata dok trajno rješenje ne proradi.
Povezani pojmovi
Crawling
Proces kojim Googleovi botovi 'pregledavaju' web stranice kako bi otkrili i pročitali sadržaj. Prvi korak prije indeksacije i rangiranja.
Google Search Console
Besplatan Googleov alat koji pokazuje kako Google vidi vašu stranicu — indeksaciju, pozicije u pretrazi, upite, klikove i tehničke greške.
Sitemap
XML datoteka koja tražilicama popisuje sve važne stranice web sjedišta. Pomaže Googleu brže i potpunije indeksirati sadržaj.
Canonical tag
HTML oznaka koja Googleu govori koja je 'glavna' verzija stranice kad postoji više sličnih ili dupliciranih URL-ova. Sprječava probleme s duplikatima.
Greška 404
HTTP odgovor koji server vraća kad tražena adresa ne postoji. Posjetitelj vidi poruku da stranica nije pronađena, a Google je s vremenom izbaci iz indeksa.
