Waarom hebben winkels een bepaalde indeling? Waarom lijkt het alsof aardige en betrouwbare mensen het gedrag van anderen spiegelen? En waarom geven mensen zichzelf peptalks om hun zelfvertrouwen een boost te geven?
Het antwoord is eigenlijk steeds hetzelfde: om mensen onbewust te laten denken of zich te laten gedragen zoals u dat graag wilt.
Bij het ontwerp van een enquête mag de maker de respondenten niet beïnvloeden. Een enquête moet zo zijn opgezet dat deze eerlijke, doordachte reacties uitlokt. Anders zijn de reactiegegevens minder nauwkeurig en waardevol.
We behandelen een aantal algemene manieren om uw invloed op het onderbewuste van de respondent te beperken en vooringenomenheid in uw enquête te voorkomen.
Nu eerst een belangrijke oorzaak van enquêtevooringenomenheid: de volgorde van antwoordopties in een vraag.
Vooringenomenheid door de volgorde van antwoordopties
Welk type vraag gebruiken we het meest?
Omdat meerkeuzevragen stoelen op antwoordopties, loont het de moeite om vooringenomenheid door de volgorde van de antwoordopties te signaleren en voorkomen.
Dit type vooringenomenheid ontstaat wanneer de volgorde van uw antwoordopties de respondent beïnvloedt om een bepaald antwoord of een combinatie van antwoorden te kiezen. Er zijn twee veelvoorkomende vormen:
- Primacy bias - Primacy bias is de neiging van respondenten om de eerste optie te kiezen die ze voor ogen krijgen. Meestal is het de eerste keuze waarmee ze akkoord gaan. Of ze kiezen altijd een van de eerste opties omdat ze de enquête snel willen invullen.
- Recency bias - Recency bias is de neiging om een antwoordoptie te kiezen aan het einde van een lijst (deze optie ligt nog verser in het geheugen van de respondent als ze een antwoord kiezen).
Hoe lost u dit op? De beste manier is om de antwoordopties willekeurig weer te geven (randomisatie).
Het onderzoeksteam van SurveyMonkey heeft een experiment gedaan om de invloed te laten zien van een willekeurige weergave van antwoordopties op de vooringenomenheid. We vroegen 400 respondenten naar hun grootste ergernis op het werk. De helft van de respondenten kreeg vragen met gerandomiseerde antwoordopties te zien. De andere helft niet.
De antwoordopties in het bovenstaande diagram staan in dezelfde volgorde als de oorspronkelijke vraag zonder gerandomiseerde opties. De blauwe balken geven de resultaten weer zonder randomisatie van de antwoordopties. De groene balken geven de resultaten weer met randomisatie.
Zoals u ziet is er een aanzienlijk verschil tussen de twee groepen. Zonder randomisatie werden de keuzes boven de stippellijn eerder gekozen. Dit leverde vooringenomen en misleidende reactiegegevens op.
Lag dit anders bij randomisatie van de antwoordopties? Elke optie had evenveel kans om te worden gekozen. Hierdoor steeg 'Onbeschofte collega's' van de op één na grootste ergernis met overmacht naar de eerste plaats.
Volg de stappen in dit artikel om uw antwoordopties in uw volgende enquête te randomiseren.
Tips van de professional:
- In sommige gevallen mogen antwoordopties niet worden gerandomiseerd. Dit geldt voor ordinale antwoordopties (bijvoorbeeld uiterst tevreden → uiterst ontevreden) en wanneer uw respondenten gewend zijn aan een bepaalde volgorde (bijvoorbeeld de Amerikaanse staten in alfabetische volgorde).
- Wilt u een advertentie of concept testen met afbeeldingen als antwoordoptie? Probeer ons vraagtype met afbeeldingskeuze en geef de volgorde willekeurig weer.
Vooringenomenheid door de vraagvolgorde
Er zijn twee vormen van deze enquêtevooringenomenheid. De ene hangt samen met de relatie tussen de volgorde van uw vragen en hoe specifiek ze zijn. De andere ontstaat door vooringenomenheid als de vragen niet willekeurig worden weergegeven. Dit is vooral het geval als u een advertentie of concept test.
Begin algemeen en word dan pas specifiek
Als u respondenten vraagt naar hun ervaring met een bepaald onderwerp, stelt u bijna altijd eerst een vraag over hun ervaring in het algemeen, gevolgd door een reeks specifiekere vragen.
Uw vragen moeten van algemeen naar specifiek gaan.
Waarom is de volgorde van uw vragen van belang? Als u eerst specifieke vragen stelt, leidt dit tot reactievooringenomenheid. Ook voelen respondenten zich mogelijk wat ongemakkelijk.
In een experiment werd respondenten bijvoorbeeld gevraagd hoe gelukkig ze zijn met hun leven en in hun huwelijk. Toen ze eerst hun algemene levensgeluk moesten beoordelen, was er een kleine mate van correlatie tussen de vragen en de antwoorden. Maar toen de volgorde van de twee vragen werd omgedraaid, bleek dat gelukkig getrouwde mensen veel vaker aangaven dat ze tevreden waren met hun leven. Omdat het antwoord van respondenten op de volgende vraag werd beïnvloed door eerst naar het huwelijksgeluk te vragen, werden de reactiegegevens voor het algemene levensgeluk vooringenomen.
Uw vragen randomiseren als u concepten test
Ook bij tests van concepten is er vaak sprake van vooringenomenheid door de vraagvolgorde. Bij deze tests wordt een concept (reclamecampagne, productconcept, nieuw logo, enz.) verfijnd met feedback van uw doelmarkt.
Wilt u zelf onderzoek uitvoeren?
Krijg feedback van consumenten op uw advertenties en productconcepten met SurveyMonkey Audience.
We bekijken drie algemene tactieken om vooringenomenheid door de vraagvolgorde bij concepttests aan te pakken: door de volgorde van de vragen, pagina's en blokken te randomiseren (meerdere opeenvolgende gerelateerde enquêtepagina's).
1) Randomisatie van vragen - Als u concepten test met afbeeldingen of video's kunt u de video's of afbeeldingen toevoegen aan uw enquête en daarna respondenten vragen wat de beste keus is.
U test bijvoorbeeld twee advertenties. Als u ze in een consistente volgorde laat zien aan iedere respondent, zal de eerste advertentie altijd iemands mening beïnvloeden over de tweede advertentie, maar niet andersom. Hierdoor wordt de vergelijking tussen de twee advertenties vooringenomen.
Maar als u de advertenties in willekeurige volgorde weergeeft, krijgt u pas een echte vergelijking. Omdat de volgorde verandert waarin respondenten de advertentie zien, kunt u vooringenomenheid 'eruit randomiseren'.
2) Randomisatie van pagina's - U hoeft niet alle advertenties tegelijk te laten zien. U kunt ook elke advertentie op een aparte enquêtepagina tonen samen met de bijbehorende opvolgvragen.
Daarna kunt u de volgorde van uw pagina willekeurig weergeven. Zodra u de reacties hebt ontvangen, kunt u de relatieve populariteit van elke afbeelding/video vergelijken door naar de totale resultaten te kijken.
3) Randomisatie van blokken - Als u een afbeelding of video test met meer dan één pagina met vragen, kiest u voor randomisatie van blokken.
Bij randomisatie van blokken groepeert u eerst uw pagina's in blokken. Daarna kiest u of u al uw blokken in willekeurige volgorde weergeeft of dat u willekeurig één blok aan elke respondent laat zien.
Zo ziet randomisatie van blokken er in de praktijk uit:
Bij het ontwerp van enquêtes moet u genuanceerd te werk gaan. Of het nu een blok, pagina, vraag of antwoordkeuze van een enquête is, ze kunnen allemaal leiden tot verschillende soorten vooringenomenheid. Pas de tips in dit artikel toe om vooringenomenheid te vermijden. En als dan de reacties binnenstromen, weet u dat u op de resultaten kunt vertrouwen.
