Recimo da vodite blog šest mjeseci i objavili ste 50 članaka. Search Console pokazuje da ih je 17 indeksirano, a 33 stoje pod razlogom Crawled - currently not indexed. Brojke su izmišljene, ali situacija je česta: stranica postoji, Google za nju zna, a u rezultatima je nema.
Do rezultata pretrage stranica prolazi tri koraka. Googlebot je mora pronaći i preuzeti, Google mora odlučiti da je spremi u indeks, i tek tada ona može rangirati za neki upit. Ovaj vodič bavi se drugim korakom: kako u Search Consoleu vidjeti gdje je stranica zapela, koji razlozi traže popravak i kako zatražiti ponovnu provjeru.
Prvo provjerite je li stranica stvarno izvan indeksa
Google u pomoći za izvještaj Page indexing piše nešto što mnoge iznenadi: webu s manje od 500 stranica taj izvještaj vjerojatno ne treba. Za mali web brže je u Google upisati site:vasafirma.hr i potražiti nekoliko ključnih adresa izravno, recimo site:vasafirma.hr/usluge/. Ako se važne stranice pojave, indeksiranje nije vaš problem, nego rangiranje.
Za pojedinu adresu najpouzdaniji odgovor daje alat URL Inspection. Upišete punu adresu u polje na vrhu Search Consolea i vidite je li adresa na Googleu, kad ju je bot zadnji put preuzeo, smije li je preuzimati i indeksirati, te koju ste kanonsku adresu deklarirali vi, a koju je izabrao Google. Ako se ta dva polja razlikuju, Google vašu stranicu smatra kopijom neke druge.
Kako čitati izvještaj Page indexing
Izvještaj se nalazi pod Indexing, Pages. Grafikon dijeli poznate adrese na indeksirane i neindeksirane, a tablica Why pages aren’t indexed navodi razloge s brojem adresa uz svaki. Navodimo ih izvorno, na engleskom, jer ih je tako najlakše pronaći u pomoći.
Prvo pravilo čitanja: Google ne očekuje da će svaka adresa biti indeksirana, nego samo kanonske stranice. Duplikati, preusmjerene adrese i filteri trebaju ostati vani.
| Razlog | Što se dogodilo | Prvi korak |
|---|---|---|
| Server error (5xx) | bot nije dobio odgovor ili je zahtjev istekao | stanje hosta u izvještaju Crawl stats |
| Redirect error | predug lanac, petlja ili prazna adresa u preusmjeravanju | preusmjeriti izravno na konačnu adresu |
| URL blocked by robots.txt | pravilo u robots.txt brani preuzimanje | provjeriti je li pravilo namjerno |
| URL marked ‘noindex’ | stranica sama traži da ne bude u indeksu | maknuti oznaku ako stranicu želite u rezultatima |
| Soft 404 | vraća status 200, a izgleda kao prazna stranica | vratiti 404 ili dodati sadržaj |
| Not found (404) | adresa ne postoji | 301 samo ako postoji nasljednik |
| Crawled - currently not indexed | pročitana, ali zasad nije uključena | procijeniti sadržaj i interne poveznice |
| Discovered - currently not indexed | poznata, ali još nije preuzeta | povezati je i provjeriti brzinu servera |
| Duplicate without user-selected canonical | duplikat, Google je sam izabrao glavnu adresu | provjeriti je li izabrao pravu |
| Duplicate, Google chose different canonical than user | Google se ne slaže s vašim canonicalom | razlikovati sadržaj ili ispraviti canonical |
| Alternate page with proper canonical tag | ispravno upućuje na glavnu verziju | ništa |
| Page with redirect | adresa preusmjerava na drugu | ništa, ako je preusmjeravanje namjerno |
Prvih šest redaka su tehnički razlozi koji se popravljaju na serveru ili u postavkama. Crawled i Discovered su Googleove odluke o vrijednosti i prioritetu, a zadnja četiri retka uglavnom pokazuju da sustav radi kako treba.
Crawled - currently not indexed: kad je to stvarno problem
Google za ovaj razlog piše da je čest, jer ne indeksira sve stranice na webu, i da ne mora značiti da išta treba popraviti. To vrijedi za arhive oznaka, stare vijesti i stranice koje nitko ne traži. Problem je kad pod tim razlogom stoji stranica usluge, kategorija ili članak koji ste pisali da donosi upite.
Za takvu stranicu prođite tri pitanja. Prvo, nudi li nešto što već indeksirane stranice ne nude? Otvorite prva tri rezultata za upit koji ciljate i usporedite. Ako je vaš tekst kraći, općenitiji ili sažima isto što piše drugdje, Google nema razlog dodati još jednu verziju. Kod hrvatskih webshopova čest je uzrok opis proizvoda preuzet od dobavljača, isti na desetak trgovina.
Drugo, odgovara li format onome što Google za taj upit prikazuje? Ako su u rezultatima opširni vodiči, stranica s tri rečenice i obrascem neće proći, a vrijedi i obrnuto. Treće, vodi li do nje ijedna interna poveznica iz teksta? Stranica do koje se dolazi samo preko sitemapa Googleu poručuje da ni vama nije osobito važna.
Kad stranicu stvarno poboljšate, zatražite ponovnu provjeru. Sama promjena datuma objave ne pomaže. Google u smjernicama za koristan sadržaj izričito navodi mijenjanje datuma bez bitne promjene sadržaja kao znak teksta pisanog za tražilicu.
Discovered - currently not indexed: Google još nije ni došao
Ovdje Google zna da adresa postoji, ali je nije preuzeo. Prema Googleovoj pomoći, najčešće je htio, ali je procijenio da bi posjet preopteretio server, pa ga je odgodio. Zato uz te adrese u izvještaju nema datuma zadnje posjete.
Nekoliko takvih adresa nakon objave novog sadržaja je normalno. Velik i rastući broj obično znači spor server ili web koji sam stvara tisuće adresa kroz filtere i sortiranje. Googleov vodič o crawl budgetu pisan je za webove s više od milijun stranica, ali isti mehanizam pogađa i manju trgovinu kojoj filteri napuhnu broj adresa. Lijek je smanjiti nepotrebne adrese, ubrzati server i nove stranice povezati iz kategorija ili s naslovnice, a ne samo iz sitemapa.
Duplikati i canonical
Razlog Duplicate without user-selected canonical znači da je Google našao više gotovo istih adresa, a vi niste rekli koja je glavna, pa je izabrao sam. Google naglašava da to nije greška. Reagirajte samo ako je izabrao krivu adresu, što vidite u URL Inspection pod Google-selected canonical.
Na hrvatskim webovima duplikati najčešće nastaju na tri mjesta. Ista stranica odgovara na http i https, sa www i bez njega, pa postoji četiri puta. Adrese s dijakriticima i bez njih, /usluge/održavanje/ i /usluge/odrzavanje/, vraćaju istu stranicu. Turističke stranice s nekoliko jezičnih verzija imaju njemačku ili englesku verziju koja još nosi hrvatski tekst. Za prva dva slučaja rješenje je trajno preusmjeravanje 301 na jednu verziju i canonical na nju:
<link rel="canonical" href="https://vasafirma.hr/usluge/odrzavanje/" />
Za jezične verzije pravilo je drugačije: svaka mora biti stvarno prevedena i povezana oznakama hreflang, o čemu piše vodič o stranicama na više jezika.
Kod razloga Duplicate, Google chose different canonical than user Google se ne slaže s vama. Ako su dvije stranice sadržajem gotovo iste, vjerojatno je u pravu i treba ih spojiti.
Noindex ili robots.txt: što kada
Stari savjeti često preporučuju da se ista stranica i blokira u robots.txt i označi s noindex. Ta dva alata rade različite stvari i na istoj adresi poništavaju jedan drugoga.
noindex je oznaka u samoj stranici koja traži da stranica ne bude u indeksu, a follow dopušta botu da prati poveznice s nje:
<meta name="robots" content="noindex, follow">
Disallow u robots.txt brani botu da stranicu uopće preuzme. Bot koji stranicu ne smije otvoriti nikad ne pročita njezin noindex. Googleova pomoć za URL Inspection to kaže izravno: kad je stranica blokirana u robots.txt, polje Indexing allowed uvijek pokazuje Yes, jer Google oznaku ne vidi. Takva adresa može ući u indeks ako na nju vode poveznice, samo bez opisa, i tada se u izvještaju pojavi kao Indexed, though blocked by robots.txt.
Pravilo je zato jednostavno. Stranica koju ne želite u rezultatima, poput zahvale nakon obrasca, interne pretrage, košarice ili arhive oznaka, dobiva noindex i ostaje dostupna botu. Robots.txt služi za dijelove koji samo troše vrijeme bota, recimo beskrajne kombinacije filtara. Ono što mora ostati tajno ne štiti ni jedno ni drugo, nego lozinka.
Najskuplja greška ide u suprotnom smjeru. Novi web prijeđe s probnog servera u produkciju s noindex na svim stranicama ili s Disallow: / u robots.txt, a promet počne padati tek nakon nekoliko tjedana, kad Google ponovno posjeti stranice. Nakon svakog lansiranja provjerite izvorni kod nekoliko stranica i robots.txt, kako opisuje vodič o redizajnu bez gubitka prometa.
Soft 404, 404 i preusmjeravanja
Soft 404 je stranica koja posjetitelju kaže da ovdje nema ničega, a vraća status 200. Tipični primjeri su prazna kategorija, pretraga bez rezultata i stranica s natpisom “uskoro”. Google preporučuje da stvarno nepostojeće stranice vraćaju 404, a one koje trebaju postojati dobiju pravi sadržaj.
Not found (404) sam po sebi nije problem. Prema Googleu, 404 je u redu kad je stranica uklonjena bez zamjene, a bot će takvu adresu još neko vrijeme provjeravati, sve rjeđe. Za preseljenu stranicu postavite 301 na novu adresu. Preusmjerena adresa se ne indeksira, nego odredište, i zato Page with redirect nije greška.
Primjer: blog s 50 članaka
Vratimo se blogu iz uvoda. Recimo da URL Inspection i izvještaj daju ovakvu sliku. Podaci su izmišljeni, ali raspored je tipičan za blog koji je rastao bez plana:
| Skupina članaka | Broj | Status | Što se ispostavilo | Odluka |
|---|---|---|---|---|
| Vodiči s primjerima, 1.200 riječi i više | 14 | indeksirano | donose gotovo sav promet | ništa |
| Vijesti o firmi i najave | 3 | indeksirano | bez prometa iz pretrage | ostaviti |
| Kratki tekstovi od 300 riječi | 18 | Crawled - currently not indexed | šest tema, svaka obrađena tri puta | spojiti u šest jačih tekstova, ostale adrese preusmjeriti 301 |
| Prijevodi stranih članaka | 9 | Crawled - currently not indexed | isti sadržaj postoji drugdje | prepisati s vlastitim primjerima ili ukloniti |
| Članci objavljeni prošli tjedan | 6 | Discovered - currently not indexed | do njih vodi samo sitemap | povezati iz starijih srodnih članaka |
Tehničkog problema u ovom primjeru nema: razlozi su u sadržaju i povezivanju. Nakon čišćenja blog ima 38 članaka umjesto 50, ali svaki ima razlog postojati, što je bolja polazna točka od objave još pedeset sličnih. Kako takve tekstove povezati u cjelinu, objašnjava članak o sadržajnim klasterima.
Kako zatražiti indeksiranje i koliko zahtjeva imate
Za pojedinu adresu postupak je kratak:
- U Search Consoleu upišite punu adresu u polje za pregled na vrhu. Za to morate biti vlasnik ili korisnik s punim pravima na svojstvu.
- Pokrenite test uživo da vidite može li Googlebot stranicu preuzeti sada, a ne pri zadnjem posjetu.
- Kliknite Request indexing.
Zahtjevi imaju dnevnu kvotu po svojstvu. Google za ručne zahtjeve ne objavljuje točan broj, ali upozorava da ponovljeni zahtjev za istu adresu ne ubrzava posjet. Preuzimanje može trajati od nekoliko dana do nekoliko tjedana, a zahtjev ne jamči ulazak u indeks. Kvotu zato trošite na nove i stvarno popravljene važne stranice, ne na svaku sitnu izmjenu.
URL Inspection API, kojim alati provjeravaju puno adresa, ima granicu od 2.000 provjera dnevno i 600 u minuti po svojstvu, ali samo čita status. Googleov Indexing API, koji se ponekad nudi kao prečac, službeno služi samo za stranice s oglasima za posao (JobPosting) i prijenosima uživo (BroadcastEvent).
Za veći broj adresa predajte sitemap. WordPress od verzije 5.5 sam generira sitemap na /wp-sitemap.xml, a Yoast i Rank Math svoj na /sitemap_index.xml. Kad popravite razlog iz izvještaja, gumb Validate fix pokreće provjeru svih pogođenih adresa, koja prema Googleu obično traje do oko dva tjedna, a ponekad i znatno dulje.
Česte greške
- Ista adresa i u robots.txt i s
noindex, pa oznaka nikad ne bude pročitana. - Canonical prema naslovnici na svim stranicama, ugrađen u temu, pa Google sve ostalo smatra duplikatom.
- Sitemap pun preusmjerenih, obrisanih ili
noindexadresa. U njega idu samo kanonske adrese koje vraćaju 200. - Masovno dodavanje ili brisanje članaka da bi web izgledao svježije. Google u smjernicama izričito kaže da to ne pomaže.
Izvještaj Page indexing dovoljno je otvoriti jednom mjesečno i nakon svake veće promjene na webu, uz izvještaj Performance, o kojem piše vodič kroz izvještaje Search Consolea. Taj pregled dio je redovnog rada na SEO-u.
