English
Datart, medlem av HP TRONIC-gruppens portefølje, er en av lederne innen detaljsalg av forbrukerelektronikk i Tsjekkia og Slovakia. Enten i fysiske butikker eller salg gjennom e-butikker, har Datart vært med oss i 32 år. Det er mottaker av Mastercard Merchant of the Year 2021-prisene i kategorien elektroteknikk, og Most Trusted Brand 2020 og 2021. I 2022 økte HP TRONIC-gruppen, inkludert DATART, omsetningen med 5% til 25,3 milliarder CZK. EBITDA-fortjeneste på 942 millioner CZK.
I denne artikkelen vil du lære at:
- det er alltid en grunn til å teste
- distribusjonen av testen må være perfekt
- en A/B-test kan være en flott start
- det er mulig å jobbe for betydelige resultater på relativt kort tid
- sporadisk testing kan overraske
Var det analyser, nysgjerrighet eller intuisjon i begynnelsen?
Flere høyprofilerte klienter startet med Luigi’s Box på samme sted som Datart. I begynnelsen distribuerte de Luigi’s Box Analytics på e-butikken sin. Siden analysen allerede hadde gitt mye informasjon, var spørsmålet om Luigi’s Box kunne være en like pålitelig partner innen søk eller autofullføring når de brukte Luigi’s Box Search som den var med analysen.
Datart innser hvor viktig søk er for e-butikkene sine og hva som kan påvirke den korrekte eller ukorrekte innstillingen. Bortsett fra kostnader, finnes det også andre viktige metrikker, som generert inntekt, konverteringsrate, antall fullførte kjøp. En ansvarlig tilnærming inkluderer sikkert testing og verifisering av hypoteser. Datart innoverer, noe som kan ses på flere områder. Det gjør sitt beste for å forbedre brukeropplevelsen, og forståelig nok leter de etter bedre løsninger som hjelper brukere og øker fortjenesten samtidig.
De utviklet søket sitt internt, og på et tidspunkt var det nødvendig å verifisere at eksternt søk kunne være like bra, eller bedre, enn internt.
Distribusjonen av en test er ikke bare noen få klikk
Uansett hva vi ønsker å teste, er det avgjørende å ha alt gjennomtenkt på forhånd. For eksempel metodologi, sammenlignede verdier, gjennomførbarheten av testen eller evalueringsmetode. På den annen side er teknisk implementering, vanskelighet og krav til utviklere eller andre tekniske spesialiseringer eller spesifikasjoner. Testen kan kjøres på både frontend- og backend-integrasjon. I tilfelle Datart var det den mer kompliserte og komplekse backend-integrasjonen. De fleste klienter er faglig og personlig forberedt på lignende testing, så håndtering av slike oppgaver presenterer vanligvis ingen komplikasjoner.
Takk og pris hadde Datart et team av spesialister som ikke bagatelliserte noen aspekter, ga trinn-for-trinn informasjon og spesifikasjoner, og justerte de nødvendige verdiene for å kommunisere med systemet vårt gjennom API-en korrekt.
Even før man kjører en A/B-test, er det nødvendig med et sett med tester for å eliminere mulige feil som kunne påvirke resultatet av en slik test betydelig.
Hvorfor A/B-test?
Det finnes mange måter å prøve eller teste noe på. Det første alternativet er å erstatte en løsning med en annen og undersøke om den nye løsningen er mer effektiv. Imidlertid oppstår en fundamental risiko her. Med størrelsen på en klient som Datart, kan selv en liten avvik på lave prosentenheter manifestere seg som et betydelig fall i fortjenesten, noe som er uakseptabelt for ethvert selskap.
Men et sikrere alternativ er først å bruke den såkalte offline A/B-test. Eksisterende søkeresultater, for eksempel over en stund, sammenlignes med resultatene som tilbys av det testede verktøyet. Vi har utviklet denne testingsmetoden og har brukt den lenge, takket være hvilken vi fundamentalt eliminerer risikoen for at et nytt søk for enkelte fraser ville vise dårligere eller ingen resultater. Dette gjør testing sikrere selv for mer fremtredende klienter, der gitt antallet søk etter individuelle fraser, selv en liten avvik kan ha en betydelig innvirkning.
Etter en offline A/B-test, beveger klienter seg jevnt til en “live” online A/B-test. Grunnlaget er en metodologi der noen besøkende tildeles en versjon og andre en annen. Visningsforholdet mellom en og en annen løsning velges, som kan være 50:50. Likevel, i begynnelsen, for eksempel bare 80:20, slik at klienten kan forsikre seg om at den testede varianten er bedre eller det samme som den opprinnelige varianten. Til slutt, sammenlignes begge resultater relativt, og hvis inngangsverdiene, for eksempel antall økter, var betydelige, kan vi gå videre til evalueringen.
Resultatet på mindre enn to uker
Hvis vi skulle teste særlige tilfeller, eller hvis vi hadde en e-butikk med lav trafikk, ville testen tatt for lang tid fordi det lave antallet besøk ikke ville være betydelig nok. Det ville rett og slett ikke være mulig å avgjøre hvilken av de sammenlignede løsningene som er vinneren av testen.
Noen klienter tester i en uke, andre i måneder. Med tanke på størrelsen på trafikken og antallet konverteringer, kan vi estimere hvor lenge testen vil ta. Deretter vil vi sjekke resultatet gjennom statistisk signifikans for å redusere risikoen for et uventet resultat. Alt er alltid definert på forhånd. Slik at begynnelsen og slutten av testen, samt de sammenlignede metikkene og evalueringsmetoden, er klare. Reglene må ikke endres “under spillet.”
I dette tilfellet hadde vi nok inngangsverdier, god timing og presis evaluering av testen. Testen på Datart fant sted fra 1. til 12. september 2022. På mindre enn to uker ble de nødvendige dataene samlet inn – og det var mulig å evaluere testen og bestemme vinneren.
Luigi’s Box som A/B-testvinner
Den komparative A/B-testen ble distribuert på de tsjekkiske og slovakiske versjonene av e-butikken. Begge testene skiller seg i noen verdier, da hvert marked i hvert land fungerer annerledes når de søker.
På begge testede e-butikkene var distribusjonsforholdet 50:50. Der 50% av brukerne fikk den opprinnelige versjonen av søket, og 50% fikk versjonen med Luigi’s Box Search.
Resultatene av begge testene var betydelige i henhold til den valgte metodologien.
Hovedsammenligningsmetrikken var “Konverteringsrate” – konverteringsrate fra søkebrukere.
Etter å ha evaluert testene, fant vi at sammenlignet med den opprinnelige søkeversjonen, Luigi’s Box Search var påviselig bedre på begge språkversjonene av e-butikken.
En annen interessant informasjon er at løsningen vår eliminerte feilaktige resultater og søk uten resultater for noen kategorier. Luigi’s Box kan være et pålitelig svar hvis du løser et lignende problem med relevans.
Konklusjon
De valgte metikkene viste at den kunstige intelligensen og maskinlæringen som brukes av Luigi’s Box kunne øke konverteringsraten, i dette tilfellet med 14-19%. Avhengig av segment og søkestatus, kan forskjellen i konverteringsrate være enda høyere. Sammen med økningen i konverteringsrate, økte salget selvfølgelig også – noe som er ønsket tilstand. Etter slike testresultater er det ikke overraskende at Datart vil bruke Luigi’s Box Search som sitt søk- og autofullføringsverktøy på begge testede e-butikkene.
Dette eksemplet viser tydelig at årene med forskning og utvikling av verktøyet vårt har høy merverdi for klienten.
