Net toen u dacht dat vooral ongeïnteresseerde (menselijke) respondenten verantwoordelijk waren voor het vertekenen van enquêtegegevens, komen de robots eraan.
Jarenlang hebben door AI aangedreven bots op discussiefora en sociale media aan online gesprekken deelgenomen alsof ze mensen waren (vraag Elon Musk maar eens). Ze spammen online kanalen vol en nu hebben ze uw enquêtegegevens in het vizier.
En waarom? Vaak gaat het om geld verdienen via beloonde enquêtes zelf of wordt de deelname als vector gebruikt voor fraude en scams. Wat nog zorgwekkender is, is dat bots gebruikt kunnen worden om gegevens, rangschikkingen en de publieke opinie moedwillig te beïnvloeden voor zowel politiek als commercieel gewin.
Maar er is niet alleen slecht nieuws. AI en zelflerende systemen hebben ook voordelen voor bedrijven, vooral voor marketeers. Van het gebruik van chatbots als klantenservice en het genereren van leads tot automatisering van marketingcampagnes; marketeers zijn grotendeels blij met de komst van AI. Volgens een recent onderzoek van SurveyMonkey vindt 73% van de marketeers dat ze met AI hun werk beter kunnen doen.
Maar marktonderzoekers hebben niets aan de onbruikbare gegevens die AI-gegenereerde bots in enquêtes invullen. We begrijpen dat de kwaliteit van de enquêtegegevens afhangt van die van de reacties, daarom hebben we een door ChatGPT aangedreven bot ontwikkeld om het SurveyMonkey-platform te testen. Onze missie: inzicht krijgen in de mate waarin AI-aangedreven bots slimmer zijn dan de methodes die enquêteonderzoekers gewoonlijk gebruiken om nepreacties van bots op te sporen.
De invloed van door AI aangedreven bots op uw enquêtegegevens
Hieronder vindt u een paar van onze eerste bevindingen over de mogelijkheden van bots en de potentiële uitdagingen voor marktonderzoekers wanneer ze bots willen opsporen:
- Ze slaan 'honeypot'-vragen over. Onze testenquête bevatte een 'honeypot'-vraag: een vraag in witte letters op een witte achtergrond, iets wat bots wel kunnen zien maar mensen niet. Echter was het voor ons een eitje om onze bot de opdracht te geven dat soort vragen te detecteren en over te slaan.
- Ze kunnen afremmen. Aangezien bots enquêtes razendsnel kunnen invullen, kunnen marktonderzoekers natuurlijk gewoon een kwaliteitscriterium instellen en meten hoelang er over een pagina of de gehele enquête is gedaan. Onze bot kon dergelijke waarschuwingen omzeilen door tijdens de enquête af en toe te vertragen, bijvoorbeeld door even te wachten voor een antwoord te geven, meerdere antwoorden te kiezen bij meerkeuzevragen en door bij open vragen het antwoord letter voor letter op te geven—net zoals mensen doen.
- Ze zorgen voor bijna menselijke consistentie. Onze bot kon de context binnen een enquête begrijpen dankzij ChatGPT, waardoor hij vragen kon beantwoorden op basis van het scannen van de algehele enquête-informatie in plaats van maar willekeurige antwoorden te geven. Zo detecteerde de bot bijvoorbeeld 'marktonderzoek' in de titel van de enquête, waardoor de kans toenam dat hij bij een screeningsvraag voor het antwoord 'marktonderzoek' zou gaan. We konden de bot ook de opdracht geven om open vragen als mens te beantwoorden, en daarbij een verscheidenheid aan antwoorden te gebruiken die weinig lijken op de typische taal van bots (zoals lange alinea's met tekst, consistent correcte interpunctie of gebruik van niet-alledaagse woorden of zinnen). De vraag 'Waar bent u het meest enthousiast over als het gaat om het gebruik van AI in marktonderzoek?' leidde tot antwoorden als:
- 'De productiviteit verhogen.'
- 'Diepere inzichten in klanten verwerven'
- 'Data-analyse verbeteren en betere beslissingen nemen'
- 'Ik ben zeer enthousiast over de snelheid waarmee AI inzichten kan opleveren.'
Aanbevolen procedures voor detectie van AI-bots in enquêtes
Er bestaat geen perfecte oplossing, maar door wat frictie en aangepaste strategieën zoals onderstaande voorbeelden toe te voegen, kunt u de invloed van bots op uw enquêtegegevens detecteren en beperken:
- Beperk context over de enquête vóór screeningsvragen. Zoals gezegd bleek onze bot verrassend goed in staat ChatGPT te gebruiken om context te vinden en logische, menselijke reacties te geven. Om het bots moeilijker te maken screeningsvragen te voorspellen en verwerken, moet u enquêtetitels verbergen en het onderwerp van de enquête pas na de eerste screeningsvragen introduceren.
- Maak het moeilijk voor bots om elementen van enquêtes te verwerken. Onze bot detecteerde gemakkelijk enquêtetitels, vragen en reactieopties in de onderliggende code van de webpagina van de enquête. Gebruik afbeeldingen van vragen in plaats van tekst om te voorkomen dat bots vragen verwerken en interpreteren.
- Implementeer complexe controles op menselijk gedrag. Onze bot kon menselijk gedrag tijdens het invullen van enquêtes nabootsen door naar boven en beneden te scrollen op webpagina's, langzamer te typen en tussen vragen even te wachten. Implementeer geavanceerde maatregelen om botactiviteit bij enquêtes op te sporen zoals CAPTCHA's of analyseer patronen van muisbewegingen en getyp.
- Voorkom meerdere inzendingen. Wat kan onze bot nog meer voor schade aanrichten? Hij kan de antwoorden van een en dezelfde enquête meerdere keren versturen. Hoewel sommige bots verschillende IP-adressen als afzender gebruiken, helpt u veel door te verhinderen dat respondenten dezelfde enquête meer dan eens kunnen invullen, vooral als ze hetzelfde IP-adres hebben.
- Voeg logische controles en strikvragen toe. Een andere manier om bots te onderscheiden zijn vragen die ervoor zorgen dat respondenten goed opletten en consequent antwoord geven. (Bekijk hier voorbeelden van strikvragen).
Zoals ons experiment heeft aangetoond, zijn de door AI aangedreven bots tegenwoordig geavanceerd genoeg om menselijk gedrag na te bootsen en veel typische botdetectiemethoden van marktonderzoekers te omzeilen.
Door bots mogelijk gemaakte enquêtefraude vormt een ernstige bedreiging voor de marktonderzoeksindustrie. Als er niets aan wordt gedaan, kan dit de integriteit van gegevens ondermijnen, het vertrouwen in uw inzichten aantasten en tot kostbare fouten leiden. Maar hoe beter u weet wat de 'vijand' allemaal kan, hoe meer u kunt innoveren en zich kunt aanpassen, en enquêtegegevens kunt genereren waar geen bots aan te pas zijn gekomen zodat deze als basis voor inzichten en actie kunnen dienen.
