Optimizely Intelligence Cloud: Stats Engine gebruiken om A/B-tests slimmer en sneller te maken

Optimaliseer Stats Engine en A/B-teststrategieën

Als u op zoek bent naar een experimenteerprogramma om uw bedrijf te helpen testen en leren, is de kans groot dat u gebruik maakt van Optimizely Intelligence Cloud – of je hebt er in ieder geval naar gekeken. Optimizely is een van de krachtigste tools in het spel, maar net als elke andere tool kun je het verkeerd gebruiken als je niet begrijpt hoe het werkt. 

Wat maakt Optimizely zo krachtig? De kern van zijn functieset is de meest geïnformeerde en intuïtieve statistieken-engine in een tool van derden, zodat u zich meer kunt concentreren op het live krijgen van belangrijke tests - zonder dat u zich zorgen hoeft te maken dat u uw resultaten verkeerd interpreteert. 

Net als een traditionele blinde studie in de geneeskunde, A / B-testen zal willekeurig anders laten zien behandelingen van uw site aan verschillende gebruikers om vervolgens de werkzaamheid van elke behandeling te vergelijken. 

Statistieken helpen ons dan om conclusies te trekken over hoe effectief die behandeling op de lange termijn kan zijn. 

De meeste A/B-testtools zijn gebaseerd op een van de twee soorten statistische inferentie: frequentistische of Bayesiaanse statistieken. Elke school heeft verschillende voor- en nadelen - Frequentistische statistieken vereisen dat een steekproefomvang wordt vastgesteld voordat een experiment wordt uitgevoerd, en Bayesiaanse statistieken geven vooral om het nemen van goede richtingsbeslissingen in plaats van het specificeren van één enkel cijfer voor impact, om twee voorbeelden te noemen. De superkracht van Optimizely is dat het de enige tool op de markt is die vandaag de dag een beste van twee werelden nadering.

Het eindresultaat? Met Optimizely kunnen gebruikers experimenten sneller, betrouwbaarder en intuïtiever uitvoeren.

Om daar optimaal van te profiteren, is het echter belangrijk om te begrijpen wat er achter de schermen gebeurt. Hier zijn 5 inzichten en strategieën waarmee u de mogelijkheden van Optimizely als een professional kunt gebruiken.

Strategie # 1: Begrijp dat niet alle statistieken gelijk zijn

In de meeste testtools is een probleem dat vaak over het hoofd wordt gezien, dat hoe meer statistieken u toevoegt en bijhoudt als onderdeel van uw test, hoe groter de kans is dat u onjuiste conclusies ziet vanwege willekeurige toeval (in statistieken wordt dit het "meervoudige testprobleem" genoemd. ”). Om de resultaten betrouwbaar te houden, gebruikt Optimizely een reeks controles en correcties om de kans dat dit gebeurt zo laag mogelijk te houden. 

Die controles en correcties hebben twee implicaties wanneer u tests gaat instellen in Optimizely. Ten eerste, de statistiek die u aanwijst als uw Primaire statistiek zal het snelst statistische significantie bereiken, alle andere dingen constant. Ten tweede, hoe meer statistieken u aan een experiment toevoegt, hoe langer het duurt voordat uw latere statistieken statistische significantie bereiken.

Bij het plannen van een experiment, zorg ervoor dat u weet welke statistiek uw ware noorden zal zijn in uw besluitvormingsproces, maak dat uw primaire statistiek. Houd vervolgens de rest van uw lijst met statistieken beperkt door alles te verwijderen dat te overbodig of te oppervlakkig is.

Strategie # 2: Bouw uw eigen aangepaste attributen

Optimizely biedt u verschillende interessante en handige manieren om uw experimentresultaten te segmenteren. U kunt bijvoorbeeld onderzoeken of bepaalde behandelingen beter presteren op desktop versus mobiel, of verschillen tussen verkeersbronnen waarnemen. Naarmate uw experimentprogramma echter volwassener wordt, zult u snel nieuwe segmenten wensen – deze kunnen specifiek zijn voor uw gebruik, zoals segmenten voor eenmalige aankopen versus abonnementsaankopen, of zo algemeen als "nieuwe versus terugkerende bezoekers" (wat, eerlijk gezegd kunnen we er nog steeds niet achter komen waarom dat niet uit de doos wordt geleverd).

Het goede nieuws is dat via Optimizely's Project Javascript-veld ingenieurs die bekend zijn met Optimizely een willekeurig aantal interessante aangepaste kenmerken kunnen bouwen waaraan bezoekers kunnen worden toegewezen en waarop ze kunnen worden gesegmenteerd. Bij Cro Metrics hebben we een aantal voorraadmodules gebouwd (zoals "nieuwe versus terugkerende bezoekers") die we voor al onze klanten installeren via hun Project Javascript. Het benutten van dit vermogen is een belangrijke onderscheidende factor tussen volwassen teams die over de juiste technische middelen beschikken om hen te helpen bij de uitvoering, en teams die moeite hebben om het volledige potentieel van experimenten te realiseren.

Strategie # 3: Ontdek de statistiekenversneller van Optimizely

Een vaak overgehypte testtoolfunctie is de mogelijkheid om "meerarmige bandieten" te gebruiken, een type machine learning-algoritme dat dynamisch verandert waar uw verkeer wordt toegewezen in de loop van een experiment, om zoveel mogelijk bezoekers naar de "winnende" variatie mogelijk. Het probleem met meerarmige bandieten is dat hun resultaten geen betrouwbare indicatoren zijn voor prestaties op lange termijn, dus de use case voor dit soort experimenten is beperkt tot tijdgevoelige gevallen zoals verkooppromoties.

Optimizely heeft echter een ander type bandit-algoritme beschikbaar voor gebruikers met hogere abonnementen: Stats Accelerator (nu bekend als de optie "Accelerate Learnings" binnen Bandits). In deze opstelling, in plaats van te proberen dynamisch verkeer toe te wijzen aan de best presterende variant, wijst Optimizely dynamisch verkeer toe aan de varianten die waarschijnlijk het snelst statistische significantie bereiken. Op deze manier kunt u sneller leren en de repliceerbaarheid van traditionele A/B-testresultaten behouden.

Strategie #4: voeg emoji's toe aan uw metrische namen

Op het eerste gezicht klinkt dit idee waarschijnlijk niet op zijn plaats, zelfs zinloos. Een belangrijk aspect om ervoor te zorgen dat u de juiste experimentresultaten leest, begint echter met ervoor te zorgen dat uw publiek de vraag kan begrijpen. 

Soms, ondanks onze inspanningen, kunnen de namen van meetwaarden verwarrend worden (wacht, wordt die meetwaarde geactiveerd wanneer de bestelling wordt geaccepteerd of wanneer de gebruiker op de bedankpagina komt?), of heeft een experiment zoveel meetwaarden dat omhoog en omlaag scrollen door de resultaten pagina leidt tot totale cognitieve overbelasting.

Het toevoegen van emoji's aan de namen van uw statistieken (doelen, groene vinkjes, zelfs de grote geldzak zou kunnen werken) kan resulteren in pagina's die veel beter scanbaar zijn. 

Vertrouw ons - het uitlezen van resultaten zal veel gemakkelijker aanvoelen.

Strategie # 5: Heroverweeg uw statistische significantieniveau

Resultaten worden als afdoend beschouwd in de context van een Optimizely-experiment wanneer ze zijn bereikt statistische significantie. Statistische significantie is een moeilijke wiskundige term, maar in wezen is het de kans dat je waarnemingen het resultaat zijn van een echt verschil tussen twee populaties, en niet alleen maar toeval. 

Optimizely's gerapporteerde statistische significantieniveaus zijn "altijd geldig" dankzij een wiskundig concept genaamd sequentiële testen - dit maakt ze eigenlijk veel betrouwbaarder dan die van andere testtools, die vatbaar zijn voor allerlei "gluur" -problemen als je ze te snel leest.

Het is de moeite waard om te overwegen welk niveau van statistische significantie u belangrijk vindt voor uw testprogramma. Hoewel 95% de conventie is in de wetenschappelijke gemeenschap, testen we websitewijzigingen, geen vaccins. Een andere veel voorkomende keuze in de experimentele wereld: 90%. Maar ben je bereid wat meer onzekerheid te accepteren om experimenten sneller uit te voeren en meer ideeën te testen? Zou u 85% of zelfs 80% statistische significantie kunnen gebruiken? Bewust omgaan met uw risico-opbrengstbalans kan in de loop van de tijd exponentiële dividenden opleveren, dus denk hier goed over na.

Lees meer over Optimizely Intelligence Cloud

Deze vijf snelle principes en inzichten zijn ongelooflijk nuttig om in gedachten te houden tijdens het gebruik van Optimizely. Zoals met elke tool, komt het erop neer dat je een goed begrip hebt van alle aanpassingen achter de schermen, zodat je ervoor kunt zorgen dat je de tool efficiënt en effectief gebruikt. Met deze inzichten kunt u de betrouwbare resultaten krijgen waarnaar u op zoek bent, wanneer u ze nodig hebt. 

Wat denk je?

Deze site gebruikt Akismet om spam te verminderen. Ontdek hoe uw reactiegegevens worden verwerkt.