Vraagstelling in onderzoek beïnvloedt resultaten en berichtgeving in media

Interessant en pijnlijk: onlangs kopte het NOS-nieuws op basis van een onderzoek dat er meer steun is voor ‘boerenprotesten’ dan voor ‘klimaatacties’. Is dat echt zo? Motivaction's senior onderzoeker Cecilia Keuchenius zette daar haar vraagtekens bij. En besloot te kijken of het onderzoeksresultaat deels gebaseerd is op de naam die je in de vraagstelling van het onderzoek geeft aan de mensen die aan deze protesten meedoen (framing).

Hoe je in vragenlijstonderzoek een vraag stelt, heeft effect op de antwoorden die je later als objectief resultaat beschouwt. Welke woorden gebruik je in je vraagtekst? Welk frame kies je daar (onbewust) bij? Belangrijk, want het daarop gebaseerde ‘onderzoeksresultaat’ wordt overgenomen door de media en de publieke opinie.

Framing: wat is het gevoel dat je krijgt bij de term ‘activist’ en wat is het gevoel bij de term ‘boer’?

In een vragenlijst kies je altijd voor bepaalde woorden, je moet wel. In dit geval: noem je mensen die demonstreren op de snelweg tegen het stikstofbeleid ‘Nederlanders die van het recht op demonstreren gebruik maken’, ‘demonstranten, ‘activisten’ of ‘boeren’? Deze woorden roepen andere associaties en bijbehorende gevoelens op. ‘Boeren’ wellicht positievere gevoelens dan ‘activisten’.

En de mensen op de snelweg demonstreren tegen het gebrek aan klimaatbeleid? Zijn dat ‘Nederlanders die van het recht op demonstreren gebruik maken’, ‘demonstranten’, ‘activisten’ of nog wat anders? 

Wat doen deze frames?

• De verwachting is dat het kiezen voor de term ‘boeren’ als beroepsgroep in een vraagtekst op meer sympathie kan rekenen. Je framet deze demonstranten hiermee als mensen die een beroep uitoefenen waar velen in Nederland trots op zijn.
• Door te kiezen voor de term ‘activisten’ voor de demonstranten bij de klimaatdemonstraties verwacht is de verwachting een meer negatieve reactie. Je framet deze demonstranten hiermee als mensen die tegen de publieke opinie ingaan en iets doen dat niet ‘mag’, dat kan op minder sympathie rekenen.

Om hier meer grip op te krijgen, hebben we bij Motivaction de proef op de som genomen en twee benamingen voorgelegd aan eenzelfde doelgroep, via een representatieve steekproef hieruit, om te zien of de frames verschillende resultaten opleveren. Ter verduidelijking de twee frames:

Het voor de NOS-nieuwskop gebruikte, en naar de verwachting, meer sturende frame  

• ‘boeren’ versus ‘klimaatactivisten’

Het meer neutrale, gelijk geformuleerde, frame

• demonstraties ‘tegen het stikstofbeleid / boerenprotesten’ versus demonstraties ‘tegen het gebrek aan klimaatbeleid / klimaatprotesten’

Resultaat

Bij het neutrale frame is de steun voor beide ongeveer gelijk (respectievelijk 18% en 21% steunt deze grotendeels of volledig). Maar kies je voor ‘boeren’ versus ‘klimaatactivisten’ dan ontstaat verschil. De steun voor de demonstraties van ‘boeren’ stijgt ineens naar 26% (versus de 18% die het eerder was) en de steun voor klimaatdemonstraties door de term ‘activisten’ gaat naar 17% (versus de 21% die het eerder was). 

En daarmee kan het nieuws kloppen dat er meer steun is voor boerenprotesten dan voor klimaatprotesten: boeren versus activisten. Een verschil ontstaan door framing in de vragenlijst en niet door de daadwerkelijke steun.  

Klik op de afbeelding om te vergroten

klik op de afbeelding om te vergroten

Let op: het is niet de bedoeling om uit te halen naar de partij die het eerdere onderzoek heeft uitgevoerd met de termen ‘boeren’ en ‘klimaatactivisten’. Op vragenlijstonderzoek valt altijd wel iets aan te merken, vast ook op het taalgebruik waar met de beste bedoelingen in het meer neutrale frame voor gekozen is. Maar wat dit wel aantoont, is dat je ontzettend goed op moet letten welke bewoordingen je kiest. Dat je eigen wereldbeeld daar misschien een rol in speelt of de framing die overwegend in de media gebruikt wordt. Dat je je woorden inderdaad eerst even op een weegschaaltje moet leggen voordat je misschien onbewust kiest voor een onderzoek dat leidt tot een nieuwskop die meer met framing dan met de realiteit te maken heeft. 

Wil je meer weten over goed onderzoek doen, en hoe je een vragenlijst zo min mogelijk sturend inricht? Dan kan je contact opnemen met Cecilia Keuchenius bij Motivaction.