AB-testcalculator

Bij een AB-test geeft de statistische significantie aan hoe waarschijnlijk het is dat het verschil tussen de controleversie en de testversie van uw experiment niet het gevolg is van een fout of van toeval.

Als u bijvoorbeeld een test doet met een betrouwbaarheidsinterval van 95%, kunt u er voor 95% zeker van zijn dat de verschillen echt zijn.

Bedrijven gebruiken dit vaak om te zien welke invloed de experimenten hebben op hun conversieratio's. In enquêtes wordt statistische significantie meestal gebruikt om de betrouwbaarheid van de enquêteresultaten vast te stellen. U hebt bijvoorbeeld in een enquête mensen gevraagd of ze de liever advertentieconcept A of advertentieconcept B hebben. U wilt dan zeker weten dat het verschil in de resultaten statistisch significant is voordat u besluit welk concept u gaat gebruiken.

U vormt eerst een hypothese. Voor elk experiment is er een nulhypothese. Volgens deze hypothese is er geen relatie tussen de twee zaken die u vergelijkt. Daarnaast stelt u een alternatieve hypothese op. Met een alternatieve hypothese probeert u meestal te bewijzen dat er een relatie bestaat. Deze hypothese poogt u vervolgens te onderbouwen. Bij AB-testen voor conversieratio's kan uw hypothese gaan over het toevoegen van een knop, een afbeelding of tekst aan een pagina om te zien of dit invloed heeft op de conversieratio's. Als u enquêtes gebruikt voor concepttesten, zoals in het bovenstaande voorbeeld, gaat uw hypothese bijvoorbeeld over het testen van verschillende advertentievarianten om te zien welke variant mensen het meest aanspreekt.

Na het formuleren van nul- en alternatieve hypotheses doen statistici soms een test om te zien of hun hypotheses kloppen. Met een z-score kunt u de validiteit van uw nulhypothese beoordelen. Zo weet u of er inderdaad geen relatie is tussen de twee zaken die u vergelijkt. Een p-waarde geeft aan of het bewijs dat u hebt om uw alternatieve hypothese te bewijzen, sterk is.

Voert u tests uit voor de statistische significantie, dan moet u bepalen of uw test eenzijdig of tweezijdig is (soms ook 'one-tailed' of 'two-tailed' genoemd). In een eenzijdige test wordt aangenomen dat uw alternatieve hypothese een directioneel effect heeft. Dit wil zeggen dat u test of een hypothese een bepaalde richting opgaat en kijkt u naar één specifiek scenario. Met een tweezijdige test kijkt u naar het effect van uw hypothese in beide richtingen, zowel positief als negatief, wat dus ook een negatief effect op uw resultaten kan hebben. In het algemeen is het verstandiger om een tweezijdige test te houden.

Zelfs beroepsstatistici gebruiken statistische modelleersoftware voor het berekenen van de significantie en de bijbehorende tests. We gaan daarom niet al te diep in op dit onderwerp. Gebruik de calculator bovenaan de pagina om de statistische significantie van uw resultaten te berekenen als u een AB-test uitvoert. SurveyMonkey kan de significantie van uw enquêteresultaten ook automatisch berekenen.