Analitika

A/B testiranje

A/B testing · Split testiranje

Usporedba dvije verzije stranice, oglasa ili emaila kako bi se utvrdilo koja bolje konvertira. Odluke na temelju podataka, ne pretpostavki.

A/B testiranje je metoda u kojoj dvije verzije iste stranice, oglasa ili e-poruke istodobno prikazujete različitim posjetiteljima i mjerite koja više njih dovede do željene radnje. Verzija A je postojeće stanje, verzija B ista stvar s jednom promjenom. O pobjedniku odlučuje ponašanje stvarnih posjetitelja, a ne ukus onoga tko je verziju napravio.

Kako A/B test radi

Prije testa zapišite pretpostavku: što mijenjate, zašto mislite da će pomoći i po kojoj brojci ćete to prepoznati. Na primjer: „Ako u naslov landing pagea stavimo rok montaže, više posjetitelja poslat će upit, jer nas kupci to najčešće pitaju telefonom.” Iz takve rečenice odmah slijede metrika (poslani upiti) i jedina stvar koja se mijenja (naslov).

Alat zatim nasumično dijeli posjetitelje, obično pola-pola. Nasumičnost je bit metode. Obje skupine dolaze u istom razdoblju, iz istih kanala i uz iste cijene, pa razlika u rezultatu može doći samo od promjene ili od slučaja. Posjetitelj koji se vrati mora opet dobiti istu verziju, inače se skupine miješaju. Zato alat u pregledniku sprema oznaku, najčešće kolačić.

Kad se skupi dovoljno podataka, usporedite konverzijsku stopu obiju verzija i provjerite je li razlika veća od onoga što može proizvesti slučaj. Ako jest, pobjednička verzija postaje nova polazna točka i sljedeći test kreće od nje.

Što se testira i gdje

Na web stranici najčešće se testiraju naslov, glavna slika, tekst i položaj CTA gumba, duljina obrasca, redoslijed sekcija i način na koji su prikazani rokovi ili troškovi dostave. U webshopu su to stranica proizvoda i koraci blagajne. Za web se koriste namjenski alati poput VWO-a, Optimizelyja ili AB Tastyja. Google Optimize, besplatni alat koji su mnogi koristili, Google je ugasio 30. rujna 2023.

Oglasni sustavi imaju testiranje ugrađeno. U Google Adsu dio prometa kampanje kroz Eksperimente odlazi na izmijenjenu verziju, na primjer s drugom odredišnom stranicom ili drugom strategijom licitiranja. Meta u Ads Manageru nudi A/B test u kojem se publika dijeli tako da ista osoba ne vidi obje verzije. Responzivni oglasi u Google Adsu sami kombiniraju naslove i opise, ali to je automatska optimizacija bez čiste usporedbe dviju verzija pod jednakim uvjetima.

Alati za e-poštu uglavnom nude test naslova poruke: dvije verzije idu manjem dijelu liste, a ostatak dobije onu koja je bolje prošla. Ako alat pobjednika bira po otvaranjima, prebacite ga na klikove. Otvaranja su otkako Apple Mail unaprijed učitava poruke postala nepouzdana mjera.

Primjer: koliko posjetitelja treba

Recimo da landing page za montažu klima-uređaja konvertira 3 %: od 100 posjetitelja troje pošalje upit. Želite znati podiže li novi naslov tu stopu na 4 %. Uz uobičajene postavke (razina značajnosti 5 % i snaga testa 80 %) za to treba oko 5.300 posjetitelja po verziji, ukupno oko 10.600. Što je razlika koju tražite manja, to uzorak brže raste:

Polazna stopaŽelite otkritiPosjetitelja po verziji (približno)
3 %4 % (relativno +33 %)5.300
3 %3,6 % (relativno +20 %)13.900
3 %3,3 % (relativno +10 %)53.200

Brojke su izračunate standardnom formulom za usporedbu dviju proporcija i služe kao primjer. Stranici s 2.000 posjeta mjesečno test na razliku od 10 % trajao bi više od četiri godine. Takva stranica treba testirati velike promjene, poput nove ponude, drukčijeg rasporeda ili upola kraćeg obrasca, a sitnice provjeravati heatmapom, snimkama sesija i razgovorom s kupcima.

Sad čitanje rezultata. Nakon tri tjedna alat pokazuje ovo:

VerzijaPosjetiteljiUpitiKonverzijska stopa
A (stari naslov)4.0001203,0 %
B (naslov s rokom)4.0001523,8 %

B je relativno bolja za 27 %, a p-vrijednost je oko 0,048, tik ispod granice od 0,05. Izgleda kao pobjeda, ali test je planiran na 5.300 posjetitelja po verziji i još nije gotov. Pustite ga do kraja. Da na 5.300 posjetitelja omjer bude 160 prema 215 upita (3,0 % prema 4,1 %), p-vrijednost bila bi oko 0,004 i na takav rezultat možete se osloniti.

Statistička značajnost, bez formula

p-vrijednost odgovara na jedno pitanje: koliko bi bilo vjerojatno vidjeti ovoliku razliku da obje verzije zapravo konvertiraju jednako. Granica od 0,05, u alatima često prikazana kao „95 % pouzdanosti”, dogovor je koji se ustalio u praksi. Vrijedi samo ako veličinu uzorka odredite prije starta. Ako rezultat gledate svaki dan i stanete čim prvi put prijeđe granicu, lažnih pobjednika bit će mnogo više od 5 %.

Trajanje neka obuhvati pune tjedne, najmanje dva. Ponedjeljkom i subotom kupuju različiti ljudi, a test od utorka do petka mjeri samo dio njih. Kod sezonskih poslova, recimo u turizmu, test iz svibnja malo govori o kolovozu.

Značajna razlika ne mora biti velika. Uz p-vrijednost gledajte i interval pouzdanosti, raspon u kojem se stvarni učinak vjerojatno nalazi. Ako se proteže od +1 % do +50 %, znate da je B bolja, ali ne znate koliko.

Kolačići i privola u Hrvatskoj

Alat za A/B test u pregledniku sprema podatak o tome koju je verziju posjetitelj dobio. Zakon o elektroničkim komunikacijama (NN 76/22) u članku 43. stavku 4. takvu pohranu dopušta samo uz privolu korisnika, nakon jasne i potpune obavijesti o svrsi. Kolačić za testiranje nije potreban da bi stranica radila, pa alat mora biti obuhvaćen cookie bannerom i pokretati se tek nakon pristanka. Nadzor nad obradom osobnih podataka u Hrvatskoj provodi AZOP.

Posljedica za sam test: u njega ulaze samo posjetitelji koji su prihvatili kolačiće. Uzorak se puni sporije, a ta se skupina ne mora ponašati isto kao oni koji su odbili. Rezultat se obično dobro prenosi i na njih, ali to je pretpostavka koju test sam ne može provjeriti.

Najčešće pogreške

Najčešća je promjena više stvari odjednom. Ako verzija B ima novi naslov, novu sliku i kraći obrazac, a pobijedi, ne znate što je djelovalo. Kad vas zanimaju kombinacije, to je drukčija vrsta testa, opisana niže.

Druga je kriva metrika. Klikovi na gumb nisu upiti, a upiti nisu prodaja. Verzija koja privuče više klikova može dovesti slabije kupce, pa mjerite ono što vam donosi novac, koliko god to mjerenje bilo sporije.

Treća je pokvareno mjerenje. Ako se konverzija u jednoj verziji bilježi drukčije nego u drugoj, rezultat ne vrijedi ništa. Provjerite i podjelu: kad je plan bio pola-pola, a dobijete 4.000 prema 3.600 posjetitelja, nešto u alatu ne radi i taj test treba ponoviti.

Četvrta je efekt novosti. Stalni posjetitelji primijete promjenu i prvih dana na nju reagiraju više nego što će kasnije. To je još jedan razlog da test traje pune tjedne.

A/B test, multivarijantni test i split URL test

A/B/n test uspoređuje tri ili više verzija iste stvari. Svaka nova verzija dobiva svoj dio prometa, pa test traje dulje. Multivarijantni test istodobno mijenja više elemenata i mjeri sve kombinacije: dva naslova, dvije slike i dva gumba daju osam kombinacija, a svakoj treba dovoljan uzorak. To je izvedivo tek na stranicama s puno prometa.

Split URL test šalje posjetitelje na dvije različite adrese, što ima smisla kad testirate potpuno novu stranicu. Google za takve testove preporučuje da varijanta upućuje na original oznakom canonical i da preusmjeravanje na varijantu bude privremeno (302) umjesto trajnog (301).

A/B testiranje je alat, a CRO je cijeli proces oko njega: analiza gdje posjetitelji odustaju, pretpostavke, testovi i primjena rezultata.

Česta pitanja

Koliko dugo treba trajati A/B test?

Dok ne skupite unaprijed izračunat broj posjetitelja po verziji, a najmanje dva puna tjedna. Na stranicama s malo prometa to može trajati mjesecima. Tada je bolje testirati veću promjenu nego čekati.

Mogu li A/B testirati ako imam malo prometa?

Možete, ali samo velike razlike. S nekoliko tisuća posjeta mjesečno sitnice poput boje gumba nikad neće dati pouzdan rezultat. Usporedite dvije bitno različite ponude ili rasporeda, a ostalo provjeravajte heatmapom i razgovorom s kupcima.

Šteti li A/B testiranje SEO-u?

Ne šteti, ako tražilici ne prikazujete drukčiji sadržaj nego posjetiteljima i ako varijante upućuju na original oznakom canonical. Kad test završi, uklonite varijante i preusmjeravanja.

Koji alat koristiti nakon gašenja Google Optimizea?

Za web stranice to su namjenski alati poput VWO-a, Optimizelyja ili AB Tastyja, a dio platformi za webshop ima testiranje ugrađeno. Za oglase koristite Eksperimente u Google Adsu i A/B test u Metinom Ads Manageru. Za e-poštu je dovoljna funkcija koju već ima vaš alat za slanje.

Spremni za rast vašeg poslovanja?

Dogovorimo kratki razgovor. Pregledat ćemo vašu web stranicu, oglase, SEO i recenzije te vam poslati pisani plan, bez obzira angažirate li nas ili ne.