Open vragen voor hoge respons én diepgang
Hoe was jouw dag? Wat zullen we doen komend weekend? Wat vind je van dit idee? Hoe kunnen we dit probleem het beste oplossen? Open vragen dus. Van gesloten vragen die enquêtes ons voorschotelen zijn mensen flink moe (het begrip survey fatigue, oftewel enquête-moeheid). Dat is te begrijpen. We willen immers onze mening kunnen geven, bijdragen aan het vraagstuk, en niet gedwongen worden uit een gelimiteerd aantal antwoorden te kiezen. Daardoor weten mensen bovendien dat je ze serieus neemt, ze vertrouwt. Hierdoor krijg je meer meningen op tafel, en bovendien een hogere respons. Als gevolg wordt je 
onderzoek betrouwbaarder van open vragen. Vergeet overigens niet dat mensen en dus ook medewerkers in het heden en in de toekomst leven: vragen stellen over het verleden, zeker het verre verleden zoals maanden of een jaar geleden motiveert niet.
Gesloten vraag mét open antwoord
Ook als je een gesloten vraag stelt (score, meerkeuze, stelling), is het in beginsel beter om het open tekstveld aan te bieden. Gesloten vragen dus combineren met open vragen in één en dezelfde vraag. Vraag de deelnemer om de score of het antwoord op de meerkeuzevraag concreet toe te lichten. Bijvoorbeeld “met een recent, helder voorbeeld”. Door om een toelichting te vragen, wordt de score niet zomaar aangeklikt maar doordacht gegeven. Hierdoor is je resultaat betrouwbaarder. Bovendien leer je over de redenen die achter scores schuilgaan en kun jij je cijfermatige resultaten duiden. Je kunt daardoor ook analyseren of er per vergissing lage scores zijn gegeven (ja dat gebeurt bij enquêtes), terwijl het open antwoord op het tegenovergestelde wijst; of andersom. Als gevolg daarvan wordt je onderzoeksresultaat beter, en kun je lezers succesvoller informeren en overtuigen.
Dus niet: “Hoe beoordeel je ABC”
Maar wel: “Hoe beoordeel je ABC en kun je dat duidelijk onderbouwen?”
Beperk jezelf niet
Huidige technologie van enquête-aanbieders is erg gelimiteerd in het verwerken van open antwoorden. Daarom ontmoedigen de marktleiders nog steeds om open vragen te stellen. De meeste websites van deze aanbieders zijn daar heel duidelijk in. De verwerking van de gegevens staat daardoor bij hen bóven de kwaliteit van jouw onderzoek en boven het belang van jouw deelnemers. Wij menen dat dat achterhaald is. De technologie van CircleLytics is juist ontwikkeld om open antwoorden te verwerken en om te zetten in informatie. Op een manier die deelnemers ontzettend waarderen. Hierdoor word jij niet gelimiteerd om het goud van de open antwoorden te delven.
Prof Neely (University of Cambridge):”People often reveal their true thoughts and feelings in the open-ended comment boxes. In general, the content of these comments offers a much more reliable predictor of a people’s behaviour.”
Hoe ga je met open antwoorden om?
Wat is het verschil tussen het verwerken van open antwoorden op open vragen door een enquête-tool en door CircleLytics? We leggen dat uit aan de hand van een simpel voorbeeld. Na een reorganisatie van HR, waarbij zij decentraal als business partner zijn gaan werken, wil management en HR het resultaat onderzoeken. De vraag was heel simpel: “Hoe beoordeel je de effecten voor jou van de decentralisering van HR en kun je dit toelichten?” Circa 3.000 medewerkers konden een 1-10 score geven en gaven hun toelichting. De gemiddelde score was hoog. De antwoorden werden daarna gegroepeerd op basis van word count en topic modeling. Hierdoor konden 14 thema’s worden gegroepeerd. Klaar?
Sentiment, gewicht & waarde meten
Voor enquêtes wel. Voor CircleLytics begint het dan pas omdat open vragen precies onze kracht zijn. Met deze technologie kan per vraag bepaald worden of er een 2e ronde is. In die 2e ronde worden de ongesorteerde antwoorden, in gevarieerd samengestelde setjes, teruggestuurd naar deelnemers. Zij mogen deze beoordelen en voorzien van een score -3 tot +3, sleutelwoorden kiezen en een toelichting geven op hun score. Zij geven dus een sentiment, een weging mee aan antwoorden van anderen. Door woorden te kiezen, geven zij die woorden nota bene een extra weging mee. Hierdoor geven ze semantische waarde aan de data. Dat is een enorme verrijking. Dus nog voordat technologie analyses gaat uitvoeren, gaan 100en of zelfs 1.000en deelnemers dat doen. In de praktijk blijkt dat enorm aantrekkelijk: meer dan 50% van de deelnemers beoordeelt meer dan 40 antwoorden van anderen. Deelnemers houden van deze manier van open vragen beantwoorden en investeren enorm in hun deelname. Dat is wat anders dan de moeheid waar enquêtes onder gebukt gaan….
Wat blijkt …
Terug naar ons voorbeeld: 3.000 deelnemers die gemiddeld 30 antwoorden beoordelen, zijn bijna 100.000 denkslagen. Die 2e ronde wordt collectieve intelligentie genoemd. Hierdoor kreeg de klant een geheel nieuw inzicht. In plaats van 14 thema’s bleek na de 2e ronde, maar 3 thema’s echt favoriet te zijn en draagvlak te hebben. Bij nader inzien focusten de deelnemers dus op die 3 thema’s. Bovendien kwam een 4e, nieuw thema naar boven, waar een enkeling aan dacht in ronde 1, maar een grote groep deelnemers voor viel in ronde 2 door deze positief te beoordelen. Het thema ging over de waarneming van iemand dat de HR business partners zelf het zwaar te verduren hadden…. Een enkele had empathie daarvoor. Het thema kwam door een gewone enquête van 1 ronde, gewone word count en topic modeling niet boven tafel. Alleen door de 2e ronde van CircleLytics konden deelnemers bij nader inzien een ander thema prioriteit geven, een weging. Een ongekende verrijking van het onderzoek.
Daarom dus dialoog
Dat is de reden waarom de technologie van CircleLytics geen enquête heet maar dialoog. Want dialoog vergt dat mensen bereid zijn in tweede instantie anders over je vraagstuk na te denken en CircleLytics structureert dit. Ze leren van de antwoorden van anderen en kunnen het met afwijkende antwoorden eens zijn, deze afwijzen of ertussen in. Mensen denken in tweede instantie beter na, raken meer geïnformeerd door de antwoorden van anderen, kunnen zich beter nuanceren of zelfs flink hun inzicht veranderen. Ze schrijden immers dit inzicht voort: ze denken eerst snel, en daarna vertraagd (lees ook Kahneman’s onderzoek), en dat levert jouw onderzoek meer diepgang op: hun eerste ronde-resultaten kun je vergelijken met de resultaten uit de tweede ronde: je ziet het verschil.
Wanneer dan wél een enquête?
Vergeet het woord enquête eventjes. Want ons advies en ervaring is om per vraag in CircleLytics het ontwerp te bepalen. En dus of je een gesloten schaal wil toevoegen, een meerkeuze wil voorleggen, en of je het tekstveld wil aanbieden. Daarbij pas je de vraag aan als je een tekstveld toevoegt. Je vraagt in dat geval namelijk expliciet naar invulling van dat tekstveld en dat vergt een open vraag. Ten slotte bepaal je of de vraag in de 2e ronde meegaat en stel je deadline daarvoor in. Je combineert dus de oude enquête met de nieuwe mogelijkheden van het open tekstveld en de 2e ronde. En als een vraag geen ruimte laat voor zelf nadenken maar gewoon een score of aanvinken van een vooraf bepaald antwoord, dan laat je de 2e ronde achterwege, en eventueel zelfs het tekstveld. Alles vanuit één tool. Wil je verder nog je tips voor het formuleren van ijzersterke vragen, lees dan ons WhitePaper met ontwerpprincipes.
Analyses en resultaten
Concluderend dus: de respons en kwaliteit worden hoger. Nog belangrijker: accurate cijfermatige uitkomsten en betrouwbare duiding van deze cijfers. Met open vragen dus. Aanvullend kun je de resultaten in CircleLytics nader analyseren via onder andere de unieke Weighted Word Count waarbij het sentiment (score / selectie van woorden) wordt meegewogen. Want dit leidt tot gehele andere inzichten dan de oude word count.
Alles heeft een houdbaarheidsdatum. Ook al ben je nog zo gewend aan de enquête, iets dat moeheid bij deelnemers veroorzaakt, en kwetsbare kwaliteit vertoont, is toe aan vernieuwing.
We nodigen je graag uit om kennis te maken met de kracht van mensen, op basis van (vooral) open vragen, met de CircleLytics Dialogue Solution.
