Crawling je proces kojim Googleovi botovi (Googlebot) “pregledavaju” web — prate linkove, otkrivaju stranice i čitaju njihov sadržaj. To je prvi korak prije nego što stranica može biti indeksirana i rangirana.
Tri koraka do rangiranja
- Crawling — bot otkrije i pročita stranicu
- Indeksacija — Google odluči dodati je u indeks
- Rangiranje — pojavljuje se u rezultatima
Stranica koja nije crawl-ana ne može biti indeksirana ni rangirana.
Crawl budget
Google ima ograničen “budžet” koliko stranica crawla po vašem sjedištu. Trošite ga mudro:
- Noindex slabe stranice (tagovi, filteri)
- Smanjite nepotrebne URL-ove
- Brz hosting (bot crawla više sa bržeg servera)
Kako pomoći crawlanju
- Sitemap — popis svih važnih stranica
- Interno linkanje — botovi prate linkove
- robots.txt — usmjerava botove (što da crawla, što ne)
- Brz server — više crawla u istom budžetu
Česti problemi
- “Discovered - currently not indexed” — Google zna za stranicu ali je nije crawl-ao (crawl budget ili slaba stranica)
- “Crawled - currently not indexed” — crawl-ao ali odlučio ne indeksirati (kvaliteta sadržaja)
Oba se rješavaju boljim sadržajem, internim linkanjem i tehničkim SEO-om.
Povezani pojmovi
Sitemap
XML datoteka koja tražilicama popisuje sve važne stranice web sjedišta. Pomaže Googleu brže i potpunije indeksirati sadržaj.
SEO
Optimizacija za tražilice — skup tehnika kojima web stranica postiže bolju vidljivost u organskim (neplaćenim) rezultatima Googlea.
Canonical tag
HTML oznaka koja Googleu govori koja je 'glavna' verzija stranice kad postoji više sličnih ili dupliciranih URL-ova. Sprječava probleme s duplikatima.
Organski promet
Posjetitelji koji dolaze na stranicu kroz neplaćene rezultate tražilica. Najvredniji dugoročan kanal — ne plaćate po kliku i ne nestaje kad ugasite budžet.