Enquêtegegevens analyseren

De resultaten van uw online enquêtes zijn binnen, u hebt uw statistische enquêteresultaten verzameld, een plan opgesteld voor data-analyse en nu gaat u de enquêteresultaten berekenen. Dit is hoe onze enquêteonderzoekswetenschappers kwantitatieve gegevens (versus kwalitatieve gegevens) doorgronden; van het kijken naar de antwoorden en het focussen op hun belangrijkste onderzoeksvragen en enquêtedoelen, tot het analyseren van de cijfers en het trekken van conclusies.

We gaan eerst iets dieper in op hoe u de resultaten analyseert voor uw belangrijkste onderzoeksvragen. Heb u empirische onderzoeksvragen gebruikt? Hebt u stilgestaan bij aselecte steekproeven? Vergeet niet dat u (als het goed is) bij het bepalen van het doel van uw enquête uw belangrijkste onderzoeksvragen al hebt geschetst.

Stel, u hebt een educatieve conferentie georganiseerd en u gaf de deelnemers aan het eind een feedbackenquête - dan zou dit een onderzoeksvraag kunnen zijn: 'Wat vonden de deelnemers in het algemeen van de conferentie?' En kijk nu eens naar de antwoorden die u hebt verzameld voor een specifieke enquêtevraag die in verband staat met die belangrijke onderzoeksvraag:

Bent u van plan om deze conferentie volgend jaar bij te wonen?

U ziet in de antwoorden een aantal percentages (71%, 18%) en een aantal ruwe cijfers (852, 216) staan.

De percentages zijn precies dat: het percentage respondenten dat een bepaald antwoord gaf. Dus, de percentages zijn het aantal respondenten dat een bepaald antwoord gaf in verhouding tot het aantal mensen dat de vraag heeft beantwoord. In dit geval is 71% van de respondenten (852 van de 1200 geënquêteerden) van plan volgend jaar terug te komen.

Deze tabel geeft aan dat 18% zegt niet terug te komen en dat 11% het nog niet zeker weet.

Tijdens het opstellen van een enquêtedoel en het ontwikkelen van een plan voor het analyseren van de resultaten van een onderzoek, hebt u ook nagedacht over de subgroepen die u wilde analyseren en vergelijken. En die planning werpt nu vruchten af. Stel dat u de antwoorden van docenten, studenten en bestuurders op de vraag over de conferentie van volgend jaar met elkaar wilt vergelijken om na de enquête tot een conclusie te komen. Hiervoor moet u de reactiepercentages bekijken met behulp van kruistabellen, om zo de resultaten van de conferentievraag weer te geven per subgroep:

Uit deze tabel kunt u afleiden dat een groot deel van de studenten (86%) en docenten (80%) van plan is volgend jaar terug te komen. Bestuurders die uw conferentie hebben bezocht, denken er echter anders over. Minder dan de helft (46%) is van plan de conferentie volgend jaar te bezoeken! We hopen dat u er met enkele van onze andere vragen achter kunt komen waarom dit het geval is en wat u kunt doen om de conferentie voor bestuurders te verbeteren, zodat ook zij in de komende jaren in groten getale terug zullen komen.

Een filter is een ander handig hulpmiddel voor gegevensmodellering. Filteren betekent dat u zich richt op een bepaalde subgroep en andere groepen uitsluit in de data-analyse voor kwantitatief onderzoek. In dit geval vergelijken we niet de subgroepen met elkaar, maar bekijken we juist de antwoorden van één subgroep. Zo kunt u zich bijvoorbeeld richten op uitsluitend vrouwen of mannen, en vervolgens kruistabellen per type deelnemer toepassen en zo vrouwelijke bestuurders, vrouwelijke docenten en vrouwelijke studenten met elkaar vergelijken. Er is één ding waar u voor moet waken als u de resultaten van een enquête vanuit verschillende invalshoeken bekijkt: telkens wanneer u een filter of een kruistabel toepast, wordt de steekproefgrootte kleiner. U wilt uw resultaten natuurlijk statistisch significant houden. Daarom kan het nuttig zijn om de steekproefgrootte te berekenen.

Stel dat in uw feedbackenquête de vraag stelt "Hoe tevreden bent u over het algemeen met de conferentie?". Uit uw resultaten blijkt dat 75% van de deelnemers tevreden was met de conferentie. Dat klinkt best goed. Maar zou enige context niet op zijn plaats zijn? Zijn er gegevens waarmee u deze uitkomst kunt vergelijken? Is het resultaat beter of slechter dan vorig jaar? Is het resultaat beter of slechter dan dat van andere conferenties?

Stel dat u deze vraag in uw conferentiefeedbackenquête zou opnemen na de conferentie van vorig jaar. U zou dan een trendvergelijking kunnen maken. Professionele peilers zijn slechte dichters, maar een favoriet Engels ezelsbruggetje zegt: 'trend is your friend'.

Indien het tevredenheidspercentage vorig jaar 60% was, is de tevredenheid met 15 procent gestegen! Wat is de oorzaak van deze stijging? We hopen dat reacties op andere vragen in uw enquête antwoorden opleveren.

Hebt u geen gegevens over de conferentie van vorig jaar? Dan is dit het eerste jaar waarin u feedback gaat verzamelen na afloop van een conferentie. Dit noemen we benchmarking. U stelt een benchmark of een uitgangspunt vast. Na verloop van tijd ziet u dan of en hoe de cijfers zijn veranderd. U kunt niet alleen een benchmark vaststellen voor de tevredenheid van deelnemers, maar ook voor andere vragen. U kunt jaar na jaar in kaart brengen hoe deelnemers uw conferentie beoordelen. Dit wordt een longitudinale gegevensanalyse genoemd.

U kunt zelfs gegevens volgen voor verschillende subgroepen. Stel dat de tevredenheidspercentages voor studenten en docenten elk jaar stijgen, maar voor bestuurders niet. Dan wilt u misschien wel de reacties van bestuurders op verschillende vragen nader bekijken om inzicht te krijgen in de redenen waarom zij minder tevreden zijn dan andere deelnemers.

U weet dat veel deelnemers hebben aangegeven ook de volgende conferentie te willen bijwonen. Maar hoe weet u bij het verwerken van enquêteresultaten dat uw enquête betrouwbare antwoorden heeft opgeleverd? Zijn dit antwoorden waarmee u in de toekomst goed geïnformeerde beslissingen kunt nemen? Het is belangrijk om genoeg aandacht te besteden aan de kwaliteit van uw gegevens en goed te weten welke elementen statistisch significant zijn.

In alledaagse gesprekken betekent het woord 'significant' belangrijk of betekenisvol. In enquêteanalyses en statistieken betekent dit woord 'een beoordeling van de nauwkeurigheid'. Hier komt de onvermijdelijke 'plus of min' in enquêtewerk om de hoek kijken. Dit houdt in dat enquêteresultaten een bepaald betrouwbaarheidsniveau hebben en niet het gevolg zijn van willekeurig toeval. Het is riskant om met een gevolgtrekking te komen op basis van onnauwkeurige resultaten (bijvoorbeeld statistisch niet-significant). De eerste factor waarmee u rekening moet houden bij de beoordeling van statistische significantie, is de representativiteit van uw steekproef: in hoeverre lijkt de groep respondenten van uw enquête op de totale populatie waarop u uw conclusies wilt baseren?

U hebt een probleem als 90% van de deelnemers aan de conferentie die de enquête hebben ingevuld bestond uit mannen, terwijl uw conferentie slechts 15% mannelijke deelnemers telde. Hoe meer u weet over de populatie die u onderzoekt, des te meer vertrouwen u kunt hebben in de resultaten wanneer uw enquête deze cijfers onderbouwt. In dit voorbeeld kunt u, als het om geslacht gaat, tevreden zijn als 15% van de respondenten bestaat uit mannen.

Als uw enquêtesteekproef een willekeurig deel van een bekende populatie omvat, kan statistische significantie op een transparante manier worden berekend. Een primaire factor hier is de steekproefgrootte. Stel dat 50 van de 1000 deelnemers aan uw conferentie de enquête heeft ingevuld. Vijftig (50) is een kleine steekproefgrootte en resulteert in een grote foutmarge. Kortom, uw resultaten leggen niet veel gewicht in de schaal.

Stel dat u uw respondenten hebt gevraagd hoeveel van de 10 beschikbare sessies ze tijdens de conferentie hebben bijgewoond. Dit zijn de resultaten:

Het is misschien een goed idee om het gemiddelde te analyseren. U weet waarschijnlijk dat er drie soorten gemiddelden zijn: gemiddelde, mediaan en modus.

In de bovenstaande tabel is het gemiddelde aantal bijgewoonde sessies 6,1. Het gerapporteerde gemiddelde is in dit geval de mediaan. Dat is het gemiddelde waarmee u waarschijnlijk het bekendst bent. U berekent de mediaan door de gegevens bij elkaar op te tellen en ze vervolgens te delen door het aantal cijfers dat u hebt opgeteld. In dit geval zijn er 100 deelnemers die verklaren dat ze één sessie hebben bijgewoond, 50 deelnemers die vier sessies hebben bijgewoond, 100 deelnemers die vijf sessies hebben bijgewoond, enz. Vermenigvuldig deze paren, tel ze bij elkaar op en deel de uitkomst door het aantal deelnemers.

De mediaan is een ander soort gemiddelde. De mediaan is de middelste waarde, het 50%-punt. In de tabel hierboven zoeken we het aantal sessies met 500 mensen links en 500 mensen rechts van het cijfer. In dit geval is de mediaan zes sessies. Hiermee voorkomt u dat uw gegevens negatief worden beïnvloed door uitschieters.

De modus is het laatste soort gemiddelde. De modus is de vaakst gegeven reactie. In dit geval is het antwoord zes. Er zijn 260 enquêtedeelnemers die zes sessies hebben bijgewoond, meer dan elk ander aantal sessies.

Medianen (en alle andere soorten gemiddelden) kunnen ook worden gebruikt als uw resultaten zijn gebaseerd op Likert-schalen.

Als het gaat om rapportage op basis van enquêteresultaten, vergeet dan niet welk verhaal uw gegevens vertellen.

Stel, uw conferentie is over het algemeen als middelmatig beoordeeld. U gaat op onderzoek uit. De gegevens laten zien dat deelnemers bijna alle aspecten van uw conferentie een zeer hoge waardering hebben gegeven: de sessies en de lessen, de sociale evenementen en het hotel. Maar ze laten ook zien dat deelnemers de stad niet waar de conferentie werd gehouden niet fijn vonden. (Misschien vond de conferentie plaats in januari in Kopenhagen en was het te koud om naar buiten te gaan!) Dit werpt meteen een ander licht op de situatie. Met de conferentie zelf was weinig mis, maar de locatie viel minder in de smaak. Misschien zijn Lissabon of Barcelona een beter idee voor een conferentie in de winter.

Een aspect van gegevensanalyse en rapportage dat u niet mag vergeten, is het verschil tussen causaliteit en correlatie.

Bij gegevensverzameling met enquêtes gebruikt u enquêtes om informatie te verzamelen bij specifieke respondenten. Deze vorm van gegevensverzameling kan andere typen gegevensverzameling vervangen of aanvullen, zoals vraaggesprekken, focusgroepen, enz. Met de gegevens die via enquêtes worden verzameld, kan bijvoorbeeld de werknemerstevredenheid worden verhoogd, het gedrag van kopers worden doorgrond of de klantervaring worden verbeterd.

Ga terug

Bij longitudinale gegevensanalyse (vaak 'trendanalyse' genoemd) houdt u gedurende langere tijd bij hoe antwoorden op bepaalde vragen veranderen. Nadat een benchmark is vastgesteld, kunt u bepalen of en hoe de cijfers veranderen. Stel dat het tevredenheidspercentage voor uw conferentie drie jaar geleden 50%, twee jaar geleden 55%, vorig jaar 65% en dit jaar 75% was. Dan is een felicitatie op zijn plaats! Uw longitudinale gegevensanalyse geeft een stijgende trend in tevredenheid aan.

Ga terug

Causaliteit houdt in dat een bepaalde factor een andere factor veroorzaakt. Correlatie houdt in dat twee variabelen een bepaalde samenhang vertonen, maar correlaties vertellen ons niet of er een oorzaak-en-gevolg-relatie tussen de twee variabelen bestaat. Het drinken van warme chocolademelk en het dragen van handschoenen zijn twee gecorreleerde variabelen: zij vertonen meestal een bepaalde samenhang. De ene factor is echter niet de oorzaak van de andere factor. Ze worden namelijk beide veroorzaakt door een derde factor: koud weer. Koud weer is zowel van invloed op de consumptie van warme chocolademelk als op het dragen van handschoenen. Koud weer is de onafhankelijke variabele en de consumptie van warme chocolademelk en het dragen van handschoenen zijn de afhankelijke variabelen. In het geval van de feedbackenquête over de conferentie, is het koude weer waarschijnlijk van invloed op de ontevredenheid met de stad waarin de conferentie werd gehouden en op de ontevredenheid over de conferentie in algemene zin. Voer ten slotte een regressieanalyse uit om de relatie tussen de variabelen in uw enquête verder te onderzoeken en de resultaten van uw enquête te verwerken.

Ga terug

Regressieanalyse is een geavanceerde methode voor gegevensvisualisatie en -analyse waarmee u de relatie tussen twee of meer variabelen kunt onderzoeken. Er zijn veel verschillende soorten regressieanalyses of analysemethoden voor kwantitatief onderzoek. Welke de enquêtewetenschapper kiest, is afhankelijk van de variabelen die hij of zij onderzoekt. Alle soorten regressieanalyses hebben één ding gemeen: ze onderzoeken de invloed van één of meer onafhankelijke variabelen op een afhankelijke variabele. Bij de analyse van onze enquêtegegevens willen we weten welke factoren vooral van invloed zijn op de tevredenheid van deelnemers over de conferentie. Ligt het aan het aantal sessies? De hoofdspreker? De sociale evenementen? De locatie? Met behulp van regressieanalyse kan een enquêtewetenschapper bepalen of en in welke mate de tevredenheid met deze verschillende eigenschappen van de conferentie bijdraagt aan de algemene tevredenheid.

Dit geeft weer inzicht in welke aspecten van de conferentie u de volgende keer zou kunnen veranderen. Stel dat u een hoog honorarium hebt betaald om uw openingssessie te laten verzorgen door een topspreker. De deelnemers gaven deze spreker en de algehele conferentie een hoge waardering. Op basis van deze twee factoren zou u kunnen denken dat een fantastische (en dure) spreker van groot belang is voor het succes van uw conferentie. Met behulp van regressieanalyse kunt u vaststellen of dit inderdaad het geval is. Het is mogelijk dat de populariteit van de spreker een belangrijke bijdrage heeft geleverd aan de tevredenheid van de conferentie. Is dat het geval, dan wilt u volgend jaar weer een fantastische spreker uitnodigen. Maar het is ook mogelijk dat de regressieanalyse uitwijst dat iedereen de spreker goed vond, maar dat zijn aanwezigheid niet heeft bijgedragen aan de tevredenheid van de deelnemers aan de conferentie. Dan kunt u het hoge bedrag voor de spreker de volgende keer beter ergens anders voor gebruiken. Als u de tijd neemt om de betrouwbaarheid van uw enquêtegegevens nauwkeurig te analyseren, krijgt u de antwoorden die u nodig hebt om geïnformeerde besluiten te nemen.