SEO

Indeksiranje

Indeksacija · Google indeks

Proces u kojem Google odlučuje hoće li pročitanu stranicu dodati u svoj indeks. Bez indeksacije stranica se ne može pojaviti u rezultatima.

Indeksiranje je korak u kojem Google odlučuje hoće li stranicu koju je pročitao dodati u svoj indeks, bazu iz koje se slažu rezultati pretrage. Dolazi nakon crawlanja: bot je stranicu preuzeo, ali to još ne znači da će je zadržati. Stranica koja nije u indeksu ne može se pojaviti ni za jedan upit.

Kako stranica ulazi u indeks

Kad Googlebot preuzme stranicu, Google je obradi: pročita tekst, naslove, slike i poveznice, po potrebi pokrene JavaScript i usporedi sadržaj sa sličnim stranicama. Ako nađe više adresa s gotovo istim sadržajem, jednu proglasi glavnom, a ostale ne prikazuje. To je odabir kanonske adrese, a vaš canonical pritom je samo jedan od signala.

Na kraju Google odluči hoće li stranicu spremiti. Odluka je selektivna i Google to otvoreno kaže: ne očekujte da će svaka adresa vašeg weba biti indeksirana. Stranica koja ne nudi ništa novo u odnosu na ono što je već u indeksu može ostati vani iako je tehnički ispravna.

Kako provjeriti je li stranica indeksirana

Upit site:vasafirma.hr u Googleu daje grubu sliku, ali broj rezultata nije pouzdan i ne kaže zašto neke stranice nema. Za pojedinu adresu koristite alat URL Inspection u Google Search Consoleu. On kaže je li adresa na Googleu, kad ju je Googlebot zadnji put posjetio, koju je kanonsku adresu Google izabrao i je li na stranici pronašao pravilo noindex.

Za cijeli web služi izvještaj Page indexing (indeksiranje stranica). Gornji grafikon dijeli poznate adrese na indeksirane i neindeksirane, a ispod je popis razloga s brojem adresa uz svaki.

Najčešći razlozi u izvještaju Page indexing

Search Console razloge prikazuje na engleskom, pa ih ovdje navodimo izvorno:

RazlogŠto značiTreba li nešto učiniti
Crawled - currently not indexedGoogle je stranicu pročitao, ali je nije uključiosamo ako je stranica važna: poboljšajte sadržaj i interne poveznice
Discovered - currently not indexedGoogle zna za adresu, ali je još nije preuzeonajčešće ne; kod velikog broja provjerite brzinu servera
Duplicate without user-selected canonicalduplikat bez vašeg canonicala, Google je izabrao drugu adresuprovjerite je li izabrao pravu
Duplicate, Google chose different canonical than userGoogle se ne slaže s vašim canonicalomusporedite sadržaj dviju adresa
Alternate page with proper canonical tagstranica ispravno upućuje na glavnu verzijune
Page with redirectadresa preusmjerava na drugune, ako je preusmjeravanje namjerno
URL marked ‘noindex’stranica traži da ne bude u indeksuprovjerite je li to namjerno
Not found (404) i Soft 404stranica ne postoji ili izgleda kao greška 404samo za adrese s prometom ili poveznicama
Blocked by robots.txtrobots.txt brani preuzimanjeprovjerite pravilo

Kod razloga Crawled - currently not indexed Google sam navodi da je to česta poruka koja ne mora značiti problem. Discovered - currently not indexed obično znači da je Google odgodio preuzimanje kako ne bi preopteretio server, zato uz takve adrese nema datuma zadnje posjete.

Primjer: izvještaj malog webshopa

Recimo da izvještaj za webshop s otprilike 200 proizvoda pokazuje 210 indeksiranih i 470 neindeksiranih adresa. Brojke su izmišljene za primjer, ali raspored je tipičan:

RazlogAdresaŠto se ispostaviloOdluka
Alternate page with proper canonical tag230adrese filtara i sortiranja s canonicalom na kategorijuništa
Page with redirect90stare adrese nakon selidbeništa
URL marked ‘noindex’70košarica i korisnički račun, ali i 12 kategorijamaknuti noindex s kategorija
Crawled - currently not indexed45proizvodi s opisom od jedne rečenice, prepisanim od dobavljačanapisati vlastite opise, prvo za najprodavanije
Discovered - currently not indexed20novi proizvodi, do kojih vodi samo sitemappovezati ih iz kategorija
Not found (404)15obrisani proizvodi301 na nasljednika gdje postoji

Od 470 neindeksiranih adresa stvarni problem je u oko 77, točnije u 12 kategorija, 45 proizvoda i 20 nepovezanih novih adresa. Ostalo je Google dobro procijenio. Takav izvještaj se ne čita po ukupnom broju, nego po tome jesu li među isključenima adrese koje želite vidjeti u rezultatima.

Noindex: kako stranicu namjerno isključiti

Neke stranice ne trebaju biti u indeksu: košarica, zahvala nakon slanja obrasca, interna pretraga, testna verzija weba. Google za to nudi dva jednako vrijedna načina. Prvi je oznaka u <head> stranice:

<meta name="robots" content="noindex">

Drugi je HTTP zaglavlje X-Robots-Tag: noindex, koje se koristi za datoteke bez HTML-a, na primjer PDF-ove i slike.

Pravilo noindex radi samo ako ga Googlebot može pročitati. Ako je ista adresa zabranjena u robots.txt, bot stranicu ne preuzme, ne vidi oznaku, a adresa može završiti u indeksu ako netko na nju linka. U izvještaju se tada pojavi kao Indexed, though blocked by robots.txt. Za isključivanje zato maknite zabranu iz robots.txt i ostavite noindex.

Najskuplja greška ide u suprotnom smjeru. Novi web izrađen na stagingu ode u produkciju s oznakom noindex na svim stranicama, a promet počne padati tek tjednima kasnije. Nakon svake objave provjerite izvorni kod nekoliko stranica.

Kako zatražiti indeksiranje

Za novu ili popravljenu stranicu:

  1. U Search Consoleu upišite punu adresu u polje za pregled na vrhu.
  2. Ako alat javi da adresa nije na Googleu, pokrenite test uživo da vidite može li je Googlebot preuzeti.
  3. Kliknite Request indexing.

Google upozorava da za pojedinačne adrese postoji kvota i da ponovljeni zahtjevi za istu adresu ne ubrzavaju posjet. Preuzimanje može trajati od nekoliko dana do nekoliko tjedana, a zahtjev ne jamči da će stranica ući u indeks. Za veći broj adresa predajte sitemap. Kad popravite razlog iz izvještaja Page indexing, gumb Validate fix pokreće provjeru, koja prema Googleu obično traje do oko dva tjedna.

Brže od zahtjeva često radi poveznica. Nova stranica do koje vodi interno linkanje s naslovnice ili jake kategorije bit će otkrivena pri sljedećem posjetu tih stranica.

Česta pitanja

Koliko traje indeksiranje nove stranice?

Ne postoji fiksan rok. Google navodi da samo preuzimanje može trajati od nekoliko dana do nekoliko tjedana, a odluka o indeksiranju dolazi nakon toga. Stranice na webu koji Google često posjećuje obično uđu brže.

Je li loše ako dio stranica nije indeksiran?

Ne nužno. Filteri, preusmjerene adrese i stranice s ispravnim canonicalom ne trebaju biti u indeksu. Problem je samo kad među neindeksiranima nađete stranice koje donose upite ili prodaju.

Stranica je indeksirana, zašto je ne nalazim na Googleu?

Indeksiranje znači da stranica može biti prikazana, a ne da će biti visoko. Možda je na trećoj stranici rezultata ili je pretražujete drugim riječima nego što piše u njoj. U izvještaju Performance u Search Consoleu filtrirajte tu adresu i vidite za koje se upite pojavljuje.

Kako ukloniti stranicu iz Googlea?

Trajno: dodajte noindex ili neka adresa vraća 404 ili 410, pa će ispasti nakon sljedećeg posjeta. Ako mora nestati odmah, alat za uklanjanje u Search Consoleu privremeno je skriva iz rezultata dok trajno rješenje ne proradi.

Spremni za rast vašeg poslovanja?

Dogovorimo kratki razgovor. Pregledat ćemo vašu web stranicu, oglase, SEO i recenzije te vam poslati pisani plan, bez obzira angažirate li nas ili ne.