Calculator voor A/B-testen voor statistische significantie

Statistische significantie is belangrijk als u A/B-tests uitvoert, omdat u dan weet dat de resultaten niet aan het toeval zijn toe te schrijven. 

Verzamel snel antwoorden met de calculator van SurveyMonkey voor A/B-tests hierboven.

A/B-tests, of gesplitste tests, vergelijken de prestaties van twee versies (zoals productconcepten of advertentiematerialen) om na te gaan welke beter in de smaak valt bij uw doelgroep.

Onderzoekers, CX-medewerkers en marketingspecialisten gebruiken A/B-tests om kleine veranderingen te testen, zoals een nieuwe knop of homepagina van een website. U ontvangt rechtstreekse feedback en gegevens, zodat u de beste versie kunt kiezen. 

In A/B-tests meet de statistische significantie de kans dat het verschil tussen de controleversie en de testversie steekhoudend is en niet kan worden toegeschreven aan een fout of toeval.

Als u bijvoorbeeld een test doet met een betrouwbaarheidsinterval van 95%, kunt u er voor 95% zeker van zijn dat de verschillen echt zijn.

Statistische significantie wordt gebruikt om te observeren wat de invloed van experimenten is op de omzettingspercentages van uw bedrijf. In enquêtes kunt u met statistische significantie de betrouwbaarheid van de resultaten garanderen.

U hebt bijvoorbeeld in een enquête gevraagd of deelnemers liever advertentieconcept A of advertentieconcept B hebben. U wilt dan zeker weten dat het verschil in de resultaten statistisch significant is voordat u besluit welk advertentieconcept u gaat gebruiken.

Eerst moet u met een hypothese komen. Voor elk experiment is er een nulhypothese. Volgens deze hypothese is er geen relatie tussen de twee zaken die u vergelijkt. Daarnaast stelt u een alternatieve hypothese op.

Met een alternatieve hypothese probeert u meestal te bewijzen dat er een relatie bestaat. Deze ondersteunt de uitspraak die u probeert te doen. 

Als u bijvoorbeeld A/B-tests voor het omzettingspercentage doet, is dit mogelijk uw hypothese:

Na het formuleren van nul- en alternatieve hypotheses doen statistici soms een test om te zien of hun hypotheses kloppen.

Een z-score geeft het betrouwbaarheidsniveau weer en beoordeelt de validiteit van uw nulhypothese. Hieraan kunt u zien of er inderdaad geen verband is tussen de variabelen die u vergelijkt. Een p-waarde geeft aan of het bewijs dat u hebt om uw alternatieve hypothese te bewijzen, sterk is.

Kies nu of u een eenzijdige of een tweezijdige test wilt doen (soms ook wel 'one-tailed' of 'two-tailed' genoemd). In een eenzijdige test wordt aangenomen dat uw alternatieve hypothese een directioneel effect heeft. Een tweezijdige test houdt er rekening mee dat uw hypothese een negatief effect op uw resultaten kan hebben.

Bij het voorbeeld van A/B-tests over het omzettingspercentage, zou dit uw test kunnen zijn:

Nu verzamelt u de resultaten van uw A/B-test, waaronder de relevante statistieken voor de controle- (A) en testversies (B). 

In ons voorbeeld zouden dit de resultaten van de A/B-test kunnen zijn: 

Nu berekent u de z-score. Die meet in hoeverre de waargenomen resultaten van de nulhypothese afliggen. Zo kunt u bepalen of het verschil tussen A en B statistisch significant is. 

Ook berekent u de p-waarde. Die geeft aan hoe groot de kans is dat het waargenomen verschil wordt veroorzaakt door toeval. Een lagere p-waarde duidt op overtuigender bewijs tegen de nulhypothese. 

In ons voorbeeld:

Voor het bepalen van de statistische significantie kiest u een significantieniveau (alfa). Meestal is deze waarde 0,05 (5%). Dit is het acceptabele risiconiveau voor het onterecht verwerpen van de nulhypothese.

Vergelijk nu de p-waarde met het alfaniveau. Is de p-waarde minder dan het alfaniveau, dan verwerpt u de nulhypothese en weet u dat het verschil statistisch significant is. 

In ons voorbeeld ligt de p-waarde lager dan het alfaniveau. Dit betekent dat het verschil van 14% statistisch significant is.

Nu gaan we de resultaten interpreteren. Als u significante resultaten hebt, duidt dat aan dat het waargenomen verschil waarschijnlijk niet te wijten is aan toeval. Dat is dus bewijs dat de alternatieve hypothese ondersteunt. Niet-significante resultaten zijn onvoldoende bewijs voor het verwerpen van de nulhypothese. Het waargenomen verschil kan dus het gevolg zijn van willekeurige variaties.

Voor een efficiënt proces gebruikt u tools voor berekeningen zoals:

Samengevat: Statistische significantie valideert de resultaten van uw A/B-tests. Voor onderbouwde beslissingen op basis van A/B-tests moet u rekening houden met de statistische significantie.

Gebruik de calculator bovenaan de pagina om automatisch de significantie te berekenen van uw enquêteresultaten.