Web scraping je automatsko prikupljanje podataka s web stranica: program otvara stranice, čita njihov kod i iz njega izvlači ono što traži, primjerice cijene, nazive proizvoda ili kontakte. Od crawlinga se razlikuje po cilju. Googlebot pregledava stranice da bi ih indeksirao, a scraper uzima podatke da bi ih koristio negdje drugdje.
Kako radi web scraper
Posao ide u četiri koraka. Scraper najprije dobije popis adresa koje treba posjetiti, upisan ručno ili pronađen praćenjem poveznica. Zatim svaku adresu zatraži od servera, isto kao preglednik, i dobije HTML stranice. Treći korak je raščlanjivanje: program u kodu traži elemente po njihovim oznakama, recimo svaki element s klasom cijena unutar kartice proizvoda. Na kraju podatke očisti i spremi, najčešće u CSV datoteku, tablicu ili bazu.
Stranice koje sadržaj učitavaju JavaScriptom traže više posla. Jednostavan scraper na njima vidi samo prazan okvir, pa se koristi preglednik bez sučelja (headless browser) koji stranicu stvarno prikaže prije čitanja. To je sporije i opterećuje server više od običnog zahtjeva.
Alati idu od dodataka za preglednik i usluga bez programiranja do Python biblioteka poput Beautiful Soupa i Scrapyja.
Primjer: praćenje cijena kod dva konkurenta
Recimo da prodajete maslinovo ulje i svako jutro želite znati što naplaćuju dva konkurenta. Na njihovoj stranici proizvoda cijena u kodu izgleda otprilike ovako:
<article class="proizvod">
<h1>Maslinovo ulje 0,5 l</h1>
<span class="cijena">12,90 €</span>
<span class="zaliha">Na stanju</span>
</article>
Scraper otvori stranicu, pročita tekst iz elemenata cijena i zaliha, pretvori „12,90 €” u broj i zapiše ga uz datum. Nakon jednog jutra tablica izgleda ovako (proizvodi i cijene su izmišljeni):
| Proizvod | Vaša cijena | Konkurent A | Konkurent B | Najjeftiniji |
|---|---|---|---|---|
| Maslinovo ulje 0,5 l | 13,50 € | 12,90 € | 13,90 € | A |
| Maslinovo ulje 1 l | 24,00 € | 24,50 € | nema na stanju | vi |
| Poklon paket 3 × 0,25 l | 19,90 € | 21,00 € | 18,50 € | B |
Iz tablice odmah vidite dvije stvari koje ručnim pregledom lako promaknu: kod najmanjeg pakiranja niste najjeftiniji, a jedan konkurent nema litru na zalihi. Ako konkurent sutra promijeni dizajn i klasu cijena preimenuje u price, scraper vrati prazna polja. Zato svaki scraper treba provjeru koja javi kad podaci odjednom nestanu.
Za što se koristi
Najčešće za praćenje cijena i zaliha konkurencije, za agregatore koji uspoređuju cijene ili skupljaju oglase za nekretnine i posao te za istraživanje tržišta, primjerice prikupljanje recenzija da se vidi na što se kupci žale. Na isti način prikuplja se i tekst na kojem se treniraju veliki jezični modeli: njihovi crawleri obilaze milijune stranica.
Je li web scraping legalan u EU i Hrvatskoj
Ne postoji jedan zakon o web scrapingu. Je li neko prikupljanje dopušteno, ovisi o tome što se prikuplja, kako i čemu služi, a uređuje ga nekoliko propisa istodobno. Pregled ispod opisuje te propise. Za konkretan projekt odluku treba donijeti pravnik.
Osobni podaci
Ako scraper prikuplja imena, e-adrese, telefone ili profile ljudi, to je obrada osobnih podataka po GDPR-u, iako su podaci javno objavljeni. Treba vam pravna osnova iz članka 6. Uredbe. Bez privole to je u pravilu legitimni interes, koji vrijedi samo ako ga ne nadjačaju interesi i temeljna prava osoba čiji su podaci. Članak 14. traži i da ljude obavijestite kad podatke niste dobili izravno od njih. U Hrvatskoj nadzor provodi AZOP. Popis e-adresa izvučen s tuđih stranica radi slanja ponuda teško prolazi takvu procjenu.
Baze podataka
Direktiva 96/9/EZ daje stvaratelju baze podataka posebno pravo ako je znatno uložio u prikupljanje, provjeru ili prikaz njezina sadržaja. On može spriječiti izvlačenje i ponovno korištenje cjelokupnog ili znatnog dijela sadržaja. Zabranjeno je i ponavljano, sustavno izvlačenje neznatnih dijelova kad je u suprotnosti s redovitim korištenjem baze. Katalog oglasa ili cjenik s tisućama stavki može biti takva baza. Pravo traje 15 godina, a svaka znatna izmjena sadržaja pokreće novi rok.
Autorsko pravo i rudarenje teksta i podataka
Tekstovi, fotografije i opisi proizvoda zaštićeni su autorskim pravom. Direktiva (EU) 2019/790 u članku 4. dopušta umnožavanje radi rudarenja teksta i podataka, odnosno automatske analize koja traži uzorke, trendove i korelacije. Uvjeti su da se sadržaju može zakonito pristupiti i da nositelj prava korištenje nije izričito pridržao. Za sadržaj na internetu direktiva kao primjeren način pridržaja navodi alat za strojno čitanje. Članak 3. daje širu iznimku istraživačkim organizacijama i institucijama kulturne baštine.
Hrvatska je obje iznimke prenijela u člancima 187. i 188. Zakona o autorskom pravu i srodnim pravima (NN 111/21). Za djela dostupna na internetu članak 188. kao jedini primjeren način pridržaja prava navodi strojno čitljiv način koji uključuje metapodatke i opće uvjete mrežne stranice ili usluge. Kako će sudovi tumačiti tu formulaciju, još nije ustaljeno. Zato vlasnici pridržaj obično izraze na više mjesta: u datoteci robots.txt, u metapodacima i u uvjetima korištenja.
AI Act i modeli opće namjene
AI Act (Uredba (EU) 2024/1689) od 2. kolovoza 2025. obvezuje dobavljače AI modela opće namjene da uvedu politiku poštivanja autorskog prava. Posebno moraju prepoznati i poštovati pridržaj prava iz članka 4. stavka 3. Direktive 2019/790 te javno objaviti dovoljno detaljan sažetak sadržaja na kojem su model trenirali. Zabrana izražena u strojno čitljivom obliku time dobiva težinu i prema tvrtkama koje grade velike modele.
Uvjeti korištenja i tehničke zaštite
Uvjeti korištenja mogu scraping izričito zabraniti, a zaobilaženje prijave, plaćenog pristupa ili CAPTCHA provjere puno je teže opravdati od čitanja javne stranice. Robots.txt sam po sebi nije brava. Standard RFC 9309 izričito kaže da ta pravila nisu oblik autorizacije pristupa. Pristojni botovi ih poštuju, a tko ih ignorira, teško može tvrditi da nije znao što vlasnik želi.
Kad netko scrapea vašu stranicu
Agresivan scraper može usporiti server, potrošiti prijenos podataka i kopirati opise proizvoda za koje ste platili. Tragove vidite u zapisima servera: stotine zahtjeva u minuti s iste adrese, nepoznat user-agent ili obilazak stranica redom kojim čovjek ne bi išao.
Pomaže nekoliko slojeva. Ograničenje broja zahtjeva po IP adresi zaustavlja najgrublje botove. Zaštita na razini CDN-a, primjerice Cloudflare, prepoznaje botove po ponašanju. CAPTCHA na obrascima i prijavi čuva mjesta gdje bot može napraviti štetu. U robots.txt možete zabraniti određene botove, uključujući AI crawlere, ako ne želite da vaš sadržaj služi za treniranje modela. Isti proizvođači često imaju i botove za AI pretraživanje, pa preširoka blokada može smanjiti šanse da vas ChatGPT ili Perplexity citiraju.
Prije svake blokade provjerite da ne blokirate i Googlebot. Lažni botovi često se predstavljaju njegovim imenom, a pravog prepoznajete obrnutim DNS upitom, kako Google opisuje u svojoj dokumentaciji.
Web scraping i API
API je uredan put do istih podataka kad ga vlasnik nudi. Podaci stižu strukturirani, u dogovorenom formatu, s jasnim pravilima o broju zahtjeva i korištenju, i ništa se ne lomi kad se promijeni dizajn stranice. Kad API postoji, gotovo je uvijek bolji izbor. Scraping ostaje za slučajeve kad ga nema.
Česte greške
Prva je pretpostavka da je javno isto što i slobodno. Javno objavljen kontakt i dalje je osobni podatak, a javno objavljen tekst i dalje ima autora.
Druga je scraper bez kočnice. Bez stanke između zahtjeva i bez ograničenja istovremenih veza i mali projekt može srušiti manju stranicu, a vlasnik će vas blokirati prije nego dobijete podatke.
Treća je scraper bez nadzora. Stranice mijenjaju dizajn, a scraper koji ne javlja greške tjednima puni tablicu praznim ili krivim vrijednostima.
Četvrta je kopiranje umjesto analize. Praćenje tuđih cijena jedna je stvar, a preuzimanje tuđih opisa i fotografija na vlastiti webshop sasvim druga: to dira u autorsko pravo, a Google preuzeti sadržaj ionako rijetko nagrađuje.
Česta pitanja
Je li web scraping zabranjen u Hrvatskoj?
Nije zabranjen sam po sebi. Dopušten je ili nije ovisno o podacima i načinu prikupljanja. Osobne podatke štiti GDPR, baze podataka posebno pravo iz Direktive 96/9/EZ, a tekstove i slike autorsko pravo, uz iznimku za rudarenje teksta i podataka koju vlasnik može isključiti.
Kako zabraniti AI botovima da preuzimaju moj sadržaj?
U robots.txt dodajte pravila za njihove user-agente, primjerice GPTBot ili CCBot, a pridržaj prava navedite i u uvjetima korištenja. Pristojni botovi to poštuju. Za one koji ne poštuju trebate tehničku zaštitu na serveru ili CDN-u.
Smijem li pratiti cijene konkurencije?
Povremeno bilježenje nekoliko javnih cijena manje je osjetljivo od preuzimanja tekstova i fotografija, jer cijena sama nije autorsko djelo. Problem nastaje kad sustavno preuzimate velik dio tuđeg kataloga, zaobilazite zaštitu ili kršite uvjete korištenja koje ste prihvatili.
Povezani pojmovi
Crawling
Proces kojim Googleovi botovi 'pregledavaju' web stranice kako bi otkrili i pročitali sadržaj. Prvi korak prije indeksacije i rangiranja.
Robots.txt
Tekstualna datoteka u korijenu domene koja botovima tražilica govori koje dijelove web mjesta smiju pregledavati, a koje ne. Ne skriva iz indeksa.
API
Application Programming Interface: dogovoreni način na koji dva programa razmjenjuju podatke, na primjer webshop i knjigovodstvo ili web obrazac i CRM.
LLM
Veliki jezični model: AI sustav naučen na golemoj količini teksta koji piše odgovore predviđajući sljedeću riječ. Na njemu rade ChatGPT, Claude i Gemini.
GDPR
Europska uredba o zaštiti osobnih podataka. Traži pravnu osnovu za svaku obradu, jasnu politiku privatnosti i poštivanje prava na uvid i brisanje.
CAPTCHA
Automatska provjera na obrascu koja razlikuje čovjeka od programa: zadatak sa slikama, kućica ili nevidljiva procjena ponašanja. Štiti forme od spama.
