Datall's first blog

Datall's first blog

Bezint eer ge begint: Zijn de resultaten van vragenlijsten altijd te vertrouwen?

Data analysisPosted by Stefan Gelissen 15 May, 2014 18:14

De vragenlijst is een instrument dat menig bedrijf inzet voor het verzamelen van data (informatie). Maar is de data verkregen met dit instrument altijd wel te vertrouwen? Dit blog kaart drie struikelblokken aan die ieder stof tot nadenken zullen bieden.


1. Verschil tussen denken en doen
Intenties lijken vaak een goede voorspeller van toekomstig gedrag. Geven daarom vragen omtrent bijvoorbeeld de koopintentie van een nieuw innovatief product een juiste indicatie van toekomstig koopgedrag? Gaat een respondent daadwerkelijk over tot de aanschaf van dit product als deze vooraf aangeeft het wel te willen kopen?
Fishbein en Ajzen verwijzen in hun boek Predicting and changing behavior (2010) naar tal van studies die ondermeer het verband onderzochten tussen intentie en gedrag. Een van deze onderzoeken is een klassieker. Dit onderzoek werd begin 1930 uitgevoerd door Richard LaPiere (professor aan Stanford University van 1929 tot 1965). LaPiere reisde in die jaren, vergezeld van twee metgezellen van het Chinese ras, door de Verenigde Staten. Juist in die tijd overheersten in de Verenigde Staten vooroordelen tegen Aziaten. Tijdens hun reis bezochten de drie zo’n 250 slaap- en eetgelegenheden. Ze werden vrijwel overal toegelaten voor onderdak of eten op slechts één gelegenheid na. Na hun reis stuurde LaPiere alle bezochte gelegenheden een brief met de vraag of ze mensen van het Chinese ras zouden toelaten. Van alle 128 respondenten gaf 92% aan dat ze mensen van dat ras zouden weigeren.
Het onderzoek van LaPiere toonde met andere woorden aan dat intenties en overeenkomstig gedrag niet zomaar in elkaars verlengde liggen. De studie liet zien dat er een verschil kan bestaan tussen denken en doen. Evenzo is het verband tussen bijvoorbeeld koopintentie en daadwerkelijke aanschaf niet altijd even sterk (zie ondermeer Morwitz, Steckel, & Gupta [2007]).
De aangegeven intentie van een respondent is helaas dus niet altijd een even goede voorspeller van overeenkomstig gedrag.


2. Tot hier en niet verder
“Waarom heeft u dit product gekozen en niet dát alternatief?” Dit is een type introspectievraag die een beslisser (klant) voorgelegd kan krijgen in een vragenlijst. Maar hebben mensen wel toegang tot hun eigen cognitieve beslisproces waardoor ze hun uiteindelijke keuze kunnen uitleggen?
Nisbett en Wilson (1977) nemen een duidelijk standpunt in wat betreft het antwoord op deze laatste vraag: Mensen hebben toegang tot de eindresultaten van hun cognitieve processen, maar geen toegang tot deze cognitieve processen zelf. Dit betekent bijvoorbeeld dat mensen wel kunnen aangeven welk product ze kiezen, maar geen directe toegang hebben tot het beslisproces dat leidde tot deze productkeuze. In het artikel uit 1977, wat beschouwd kan worden als een klassieker, onderbouwden Nisbett en Wilson hun standpunt aan de hand van verschillende onderzoeken.
In één van deze onderzoeken werd 52 winkelbezoekers gevraagd om te kiezen tussen vier paren sokken. Deze paren waren naast elkaar (rijgewijs) uitgestald, en alle sokken waren identiek aan elkaar.
De keuzeresultaten toonden dat de meeste winkelbezoekers een voorkeur hadden voor het uiterst rechtse paar in de rij. Omdat deze keuze louter gebaseerd is op positie (meest rechtse paar) wordt dit keuzeresultaat het positie-effect genoemd.
Nadat dezelfde winkelbezoekers hun keuze bekend hadden gemaakt werd ze tevens gevraagd hun keuze te onderbouwen met redenen. Opvallend was dat geen enkele winkelbezoeker hierbij verwees naar de positie in de rij om hun keuze te verantwoorden. In plaats daarvan haalden bezoekers redenen aan als ‘beter gehaakt’ of ‘betere elasticiteit’, terwijl alle paren sokken identiek waren. Zelfs als ze achteraf op de hoogte werden gebracht van het positie-effect, ontkenden ze vrijwel allemaal dat hun keuze iets te maken had met positie.
Dit eenvoudige onderzoek lijkt te bevestigen dat mensen geen toegang hebben tot hun cognitieve processen. In het geval van de sokken werd het cognitieve beslisproces geconfronteerd met alternatieven die gelijkwaardig waren (identieke paren sokken). Deze moeilijke (of juist makkelijke?) keuze werd mogelijk opgelost door eenvoudigweg het uiterst rechtse alternatief te kiezen.
Voor het uitleggen van het ‘waarom’ van deze keuze hebben kiezers toegang nodig tot hun cognitieve keuzeproces (bijvoorbeeld: indien de alternatieven gelijkwaardig zijn, kies dan het meest rechtse alternatief). Maar het probleem lijkt dat ze juist geen toegang hebben tot dit proces. Toch komen ze op de proppen met overtuigende redenen (zoals ‘beter gehaakt’) als het gaat om hun uiteindelijke keuze te verantwoorden. Deze redenen wekken bovendien vaak de indruk alsof mensen daadwerkelijk toegang zouden hebben tot hun eigen keuzeproces. Het bovenstaande onderzoek laat echter zien dat de aangehaalde redenen onjuist en onzinnig kunnen zijn en geen weerspiegeling vormen van het werkelijke keuzeproces.
Dus een beroep doen op introspectievragen om inzicht te krijgen in een cognitief proces (zoals menselijk keuzeproces) kan onbetrouwbare en daardoor onbruikbare informatie opleveren.


3. Meten is weten?
Oké, antwoorden op intentie- en introspectievragen zijn niet altijd even bruikbaar. Maar de antwoorden zijn toch wel te vertrouwen als simpelweg gevraagd wordt naar hoeveel uur televisie iemand kijkt?
In zijn artikel How questions shape the answers beschrijft Schwarz (1999, pagina 97-98) een onderzoek waarin 132 mensen gevraagd werd hoeveel uur televisie ze per dag keken. Deze mensen werden willekeurig toegewezen aan één van twee groepen. Het verschil tussen deze twee groepen zat hem in de indeling van de schaal waarop zij hun antwoord gaven. In de tabel hieronder is te zien hoe de indeling van de schaal (lage versus hoge frequentie) per groep verschilde. In de tabel is ook het percentage weergegeven dat bij een specifieke schaal koos voor een bepaald alternatief. Bijvoorbeeld, bij de groep met de hoge frequentieschaal gaf 62.5% aan dat ze minder dan 2.5 uur televisie keken.
Wat valt op bij deze onderzoeksresultaten? Bij de schaal met de lage frequentie-alternatieven gaf 16.2% aan ‘meer dan 2.5 uur’ televisie te kijken. Bij de hoge frequentieschaal gaven echter beduidend meer mensen aan ‘meer dan 2.5 uur’ televisie te kijken, namelijk 37.5% (=100%-62.5%).

Soortgelijke resultaten vonden ook Menon en collega’s (1995) in hun onderzoek. Zij observeerden dat bij een hoge frequentieschaal 54.5% aangaf ‘meer dan 7 keer’ per week te snacken. Dit laatste percentage lag significant hoger dan de 17.8% die bij een lage frequentieschaal aangaf ‘meer dan 7 keer’ per week te snacken.
Deze twee onderzoeken laten dus zien dat de schaalindeling de resultaten kan beïnvloeden. Bij het gebruik van dit soort schalen is meten dus niet altijd zeker weten.


Bezint eer ge begint
Vragenlijsten worden dikwijls ingezet om data te verzamelen. Hierboven zijn drie problemen beschreven die van toepassing zijn op vragenlijsten (zie ondermeer Schwarz [1999] voor andere struikelblokken). Door zulke problemen kan bepaalde verzamelde data op zijn minst als dubieus bestempeld worden.
Denk dus na over hoe en welke vragen gesteld gaan worden voordat de vragenlijst wordt toegepast. Bezint eer ge begint…


Meer informatie?
De auteur begrijpt dat de inhoud van dit blog reacties oproept bij sommige lezers. Deze lezers worden dan ook graag uitgenodigd om hieronder te reageren.
Voor mogelijke oplossingen betreffende de drie beschreven struikelblokken hierboven kan ook contact worden opgenomen met de auteur via Datall (tel: 06 413 00 472; email: info at datall-analyse.nl) of raadpleeg www.datall-analyse.nl.


dr.ing. Stefan Gelissen
data-analist & analyse-ontwikkelaar bij Datall


Voor lezers die geïnteresseerd zijn in het positie-effect van Nisbett en Wilson (1977) is ook een duidelijke korte omschrijving van het onderzoek met de sokken te vinden op http://www.userfocus.co.uk/articles/askingwhy.html


Gebruikte literatuur

  • Fishbein, M., & Ajzen, I. (2010). Predicting and changing behavior: The reasoned action approach. New York: Psychology press.
  • Menon, G., Raghubir, P., & Schwarz, N. (1995). Behavioral frequency judgments: An accessibility-diagnosticity framework. Journal of consumer research, 22, 212-228.
  • Morwitz, V.G., Steckel, J., & Gupta, A. (2007). When do purchase intentions predict sales? International journal of forecasting, 23, 347-364.
  • Nisbett, R.E., & Wilson, T. (1977). Telling more than we can know: Verbal reports on mental processes. Psychological review, 84, 231-259.
  • Schwarz, N. (1999). Self-reports: How the questions shape the answers. American psychologist, 54, 93-105.