I 5 pregiudizi di risposta al sondaggio più dannosi(e come evitarli)

A noi umani piace pensare di essere esseri interamente razionali, ma la verità è che nessuno di noi è logico al cento per cento del tempo.

Anche Apollo—il dio greco della logica e del pensiero razionale—fece ogni sorta di cose irrazionali, come quando sfidò gli umani a concorsi musicali o cercò così duramente di sedurre Daphne che si trasformò in un albero di alloro per sfuggirgli. (I miti sono strani.)

La nostra irrazionalità ci rende umani. E parte di questa irrazionalità sono le migliaia di pregiudizi che attraversano le nostre teste, influenzano il nostro pensiero, formano le nostre convinzioni e influenzano ogni minuto decisione e giudizio che facciamo ogni giorno.

Bias è ovunque. E la forma più significativa di esso nei sondaggi e nella ricerca è il bias di risposta. Oscilla i risultati e influisce sulla qualità della raccolta dei dati, il più delle volte, senza che tu lo sappia.

È impossibile rimuovere completamente i pregiudizi. Sono come le zanzare in estate australiana-non si può mai veramente sbarazzarsi di loro, si può solo fare del tuo meglio per ridurre al minimo il loro impatto.

In questa guida completa, descriviamo i passi che puoi intraprendere per assicurarti di fare tutto ciò che è in tuo potere per evitare pregiudizi di risposta e raccogliere dati accurati.

Che cos’è il bias di risposta?

Bias di risposta è un termine per quando gli intervistati non ti dicono la verità completa quando rispondono alle domande del sondaggio.

Potrebbero fuorviarti su cosa pensano di un prodotto, nascondere le loro vere convinzioni o rispondere ” sì ” a ogni domanda solo perché non possono essere disturbati a compilare il tuo noioso sondaggio.

Di solito accade perché le domande sono formulate in un certo modo o perché una certa risposta potrebbe essere considerata più socialmente accettabile.

Molto spesso, si verifica quando alle persone viene chiesto di auto-riferire sui comportamenti in sondaggi e interviste strutturate, ma può anche essere il risultato di una cattiva progettazione della forma.

I pregiudizi non sono sempre intenzionali. Essi possono essere accidentali o subconscio e causata da una serie di fattori interni ed esterni, tra cui:

• Come la frase domande
• Modo in cui viene condotta l’indagine
• Survey design/formato
• Il ricercatore stile (a persona)
• di Un partecipante desiderio di essere un buon soggetto
• Fatica
• Pianura ol’ noia

Le probabilità sono voi hanno esercitato un’inclinazione di risposta del proprio quando la compilazione di moduli online. Mai appena cliccato “Fortemente d’accordo” su ogni domanda per farlo fare? O ha detto una bugia bianca per farti suonare meglio; più fresco; più intelligente?

È sicuro dire che la maggior parte di noi ha. E mentre, come intervistati, non pensiamo agli effetti che le nostre risposte hanno, la realtà è che influisce drammaticamente sull’integrità dei dati raccolti dall’altra parte.

Non c’è molto che puoi fare sui pregiudizi che la gente porta al tuo modulo, sia di persona che online. E ‘ fuori dalla tua portata. Ma in molti casi, il bias di risposta non è colpa dei tuoi intervistati.

Nove volte su dieci, la struttura del sondaggio e le domande li portano a rispondere nel modo in cui lo fanno—potrebbe essere troppo lungo, troppo brutto, o potresti aver scritto le tue domande in uno stile che li porta verso risposte specifiche.

Sta a te incoraggiare risposte più oneste e accurate formulando e formattando le tue indagini nel modo giusto. Il resto spetta al destino, o per mantenere la palla mitologia greca a rotazione, I destini.

Come il pregiudizio dell’indagine influisce sui tuoi dati

Sondaggi e questionari sono modi preziosi per la tua azienda per raccogliere dati e opinioni dal tuo pubblico di destinazione. Ma entrambi gli strumenti si basano sull’onestà.

Quando fatto bene, sondaggi consentono di fare valutazioni istruite di opinione pubblica, misurare la soddisfazione e ottenere preziosi feedback per migliorare i vostri prodotti, servizi, o il vostro business nel suo complesso.

Ma quando i dati e le opinioni sono false—quando gli intervistati mostrano troppi pregiudizi—toglie il loro potere, come lanciare un mattone di Kryptonite sul grembo di Superman. Quindi la tua indagine non vale la carta su cui è stampata o il generatore di moduli che hai usato per crearla.

Un esempio dell’importanza delle indagini

Un buon esempio è l’industria cinematografica di Hollywood. Sulla base dell’adozione diffusa di sondaggi e sondaggi nei media e nella politica, alla fine degli anni ‘ 30 i dirigenti dello studio assunsero il famoso George Gallup per sviluppare una metodologia di indagine per i film.

Gallup e il suo staff hanno condotto più di 5.000 sondaggi per oltre una dozzina di studi e produttori. Susan Ohmer dice che queste indagini ” hanno influenzato il casting, la struttura narrativa e le campagne promozionali di film che vanno da Via col vento ai cartoni animati della Disney.”

Fino ad oggi, quasi ogni parte di ogni grande film è ancora influenzata da sondaggi, da Avengers: Infinity War all’ultimo Star Wars. Perché fare affidamento su intuizione quando si può imparare esattamente che tipo di storie, attori, barzellette, relazioni, e anche terminazioni persone vogliono vedere?

Questo non vuol dire che i sondaggi siano l’unico motore delle idee—non lo sono. Ma sono utilizzati per integrare il lavoro svolto dai creativi e sono estremamente importanti nella creazione di film e spettacoli televisivi di successo.

Immagina se Disney o Netflix non controllassero i pregiudizi di risposta quando esaminano il loro pubblico. Avrebbero ricevuto un mucchio di dati falsi che li hanno portati a fare cose che nessuno voleva. Nessun Re Tigre. Nessun vero documentario sul crimine. Nessun mandaloriano. L’orrore!

Questo è il motivo per cui si desidera adottare la giusta metodologia di indagine e disporre di processi in atto per ridurre al minimo il bias di risposta il più possibile, per ottenere informazioni che siano effettivamente accurate e preziose per la propria attività.

Tipi di bias di risposta

Capire come avviene il bias di risposta è il primo passo per minimizzare i suoi effetti. Diamo un’occhiata alle forme più diffuse di pregiudizi in modo da poter riconoscere ciascuno e impedire loro di rovinare i risultati del sondaggio.

Acquiescence Bias

Acquiescence bias (noto anche come “accordo bias”) è un tipo di bias in cui le persone tendono ad essere d’accordo con una dichiarazione o rispondere “sì” a una domanda sì/no indipendentemente da ciò in cui credono.

Perché questo accade? Perché inconsciamente o no, la maggior parte delle persone piace essere vista come educata e simpatica (e i nostri ricordi sono super inaffidabili.) Le persone tendono anche a cercare informazioni dalle proprie esperienze per supportare una risposta positiva.

Gli avvocati si occupano spesso di questo quando interrogano un testimone. Se fanno una domanda come “Ha fatto l” uomo ha una camicia blu su?”, anche se la persona non ricorda, i dati ci dicono che le persone hanno maggiori probabilità di dire sì che no.

Lo stesso vale quando si pongono domande che richiedono agli intervistati di essere fortemente d’accordo o fortemente in disaccordo con una dichiarazione—è più probabile che siano d’accordo.

Quindi cosa puoi fare al riguardo? Bene, il modo migliore per evitare pregiudizi di acquiescenza è includendo dichiarazioni contraddittorie per testare l’accuratezza delle risposte. Presentare una dichiarazione, quindi seguire con una diversa. Il vecchio switcharoo.

Se il rispondente è d’accordo con entrambe le dichiarazioni contraddittorie, ti dice che le loro risposte non sono del tutto accurate. Trovare questo sta accadendo spesso? Pensa a come potresti riformulare la domanda per renderla più coinvolgente e personale.

Bias delle caratteristiche della domanda

Il termine “caratteristica della domanda” è stato coniato da ricercatori in psicologia che hanno scoperto che i loro soggetti stavano formando idee sullo scopo di un esperimento e adattando inconsciamente i loro comportamenti per adattarsi a tale interpretazione.

Questo pregiudizio si applica a qualsiasi forma di ricerca. Che si tratti di un esperimento, un sondaggio o un questionario, le persone tendono a cercare di capire quale sia il suo obiettivo in modo da poter dare la risposta “giusta” nel contesto del tuo studio.

Ci sono alcune caratteristiche principali della domanda che possono influenzare le risposte:

• Voci. Se i rispondenti sentono informazioni (vere o false) sul sondaggio o sul questionario da fonti esterne. Ad esempio, potrebbero sentire da un amico che per la compilazione di un sondaggio del servizio clienti con risposte positive hanno ricevuto una carta regalo.
• Impostazione. La posizione in cui viene eseguita l’indagine può avere un’influenza, così come il marchio o la società che conduce l’indagine. Se agli intervistati viene chiesto di completare un sondaggio presso l’Università di Harvard, è probabile che saranno influenzati dall’impostazione dell’istituzione.
• Comunicazione. Qualsiasi tipo di comunicazione tra i partecipanti e la persona che conduce il sondaggio (verbale o non verbale) può influenzare il modo in cui rispondono al sondaggio. Ad esempio, se hai scherzato sul punirli per la risposta “sbagliata”.

Eminenti psicologi Thomas Cook e Stephen Weber, hanno scritto che i partecipanti tendono ad adottare uno dei quattro ruoli. Questi sono stati coniati in riferimento agli esperimenti, ma si applicano anche a sondaggi e questionari. Lo sono:

A corto di rinunciare, come si fa a evitare le caratteristiche della domanda bias? Beh, la cosa migliore da fare è ridurre il contatto umano (dal momento che COVID-19 siamo tutti abituati a questo ora comunque).

Condurre indagini faccia a faccia spesso porta il geometra a rivelare involontariamente le cose attraverso il linguaggio del corpo, le reazioni o solo chiacchiere. Utilizzando sondaggi online si può prendere l’elemento umano e battere le caratteristiche della domanda bias sulla testa.

Risposte estreme e neutre

Conosciamo tutti la storia di Riccioli d’Oro e dei Tre Orsi? Riccioli d’oro si apre in una casa e prova il porridge (una cosa strana da fare). Il primo è troppo caldo, il secondo è troppo freddo, e il terzo è juuuuust giusto.

Pensate a extreme response bias come le prime due ciotole di porridge-si riferisce a quando gli intervistati forniscono tutte le risposte super positive o super negative, senza via di mezzo.

Una risposta neutra è quando le persone scelgono qualunque sia l’opzione intermedia, che pur non essendo così estrema, è ugualmente inutile per i risultati del sondaggio.

Entrambi questi pregiudizi si verificano molto quando i sondaggi richiedono alle persone di valutare qualcosa su una scala. Ad esempio, una scala differenziale semantica o Likert che chiede ai clienti di classificare il servizio clienti da 1-10 o da “molto insoddisfatto” a “molto soddisfatto”.

Ci possono essere alcune ragioni per questo tipo di risposte, tra cui istruzione, cultura, indifferenza verso il sondaggio o la formulazione delle tue domande. Nella nostra esperienza (e abbiamo a che fare con un sacco di sondaggi) il più delle volte si tratta di pianura ol’ noia.

Per evitare distorsioni di risposta estreme o neutre, cerca di mantenere brevi i sondaggi. Più a lungo il sondaggio va, più è probabile che gli intervistati siano affaticati o inizino a perdere interesse (proprio come uno show televisivo o un film di Christopher Nolan).

Prova a ridurre la quantità di risposte disponibili per le domande di scala— potresti pensare che dare più opzioni sia utile, ma troppe scelte fanno solo congelare le persone. È un delicato equilibrio che il pre-test può aiutarti a trovare.

Soprattutto, usa elementi interattivi durante l’indagine per assicurarti che i rispondenti siano coinvolti. Usa le animazioni dei pulsanti, personalizza colori e font, inserisci immagini e video o usa strumenti come la modalità guidata di Paperform per creare un’esperienza immersiva distinta che gli utenti adoreranno.

Social Desiderability Bias

Nelle parole di George Costanza, “viviamo in una società che conosci?”. E come parte di una società, la maggior parte delle persone vuole essere vista come qualcuno che pensa, dice e fa ciò che è socialmente desiderabile.

Questo tipo di bias di risposta si riferisce a quando le persone rispondono a un sondaggio con risposte che ritengono desiderabili ed evitano di dare risposte “indesiderabili”, indipendentemente dai loro sentimenti su un argomento.

A prima vista sembra un po ‘ come un pregiudizio di acquiescenza, ma la differenza è che non si tratta di placare l’intervistatore—si tratta di vivere all’altezza degli standard sociali e delle aspettative culturali.

Ad esempio, siamo tutti condizionati fin dall’infanzia che l’uso di droghe non è accettabile. Se dovessi chiedere ” pensi che sia accettabile assumere droghe ricreative?”, la maggior parte delle persone direbbe di no, nonostante ciò che potrebbero effettivamente pensare o fare.

Le persone riconoscono quale sia la risposta socialmente appropriata e la danno indipendentemente dalla loro vera opinione. Va da sé che questo tipo di segnalazione falsa influisce sul valore e sull’usabilità dei dati raccolti.

Per evitare pregiudizi sulla desiderabilità sociale, prova a convalidare le risposte degli intervistati con più domande. Chiedi follow-up che sono contraddittorie per aiutarvi a riconoscere quando le loro risposte sono imprecise e cercare di assicurarsi che le vostre domande non portano soggetti verso eventuali risposte particolari.

Soprattutto, fai del tuo meglio per far sentire agli intervistati che non ci sono risposte “giuste”. Questo può essere fatto aggiungendo un breve disclaimer all’inizio del sondaggio. Si potrebbe anche fare sondaggi anonimi, che è un modo semplice per incoraggiare risposte oneste.

Domanda Ordine Bias

Sondaggio bias non è solo su quali domande si chiede o il modo in cui si chiede loro, può essere circa l’ordine si chiede loro in. Esistono due tipi di polarizzazione dell’ordine delle domande: contrasto e assimilazione.

Effetti di contrasto è dove l’ordine delle domande porta a maggiori differenze nelle risposte. Gli effetti di assimilazione sono dove le risposte sono più simili a causa del loro ordine.

Gli effetti di contrasto sono esemplificati in un recente studio su persone che ricevono sovvenzioni governative commissionate dal Consiglio dei servizi sociali in Danimarca. Poiché i responsabili politici si affidano a sondaggi sulla soddisfazione per informare i bilanci e le decisioni, volevano scoprire in che modo l’ordine delle domande influisce sui livelli di soddisfazione.

Hanno scoperto che alla domanda sulla soddisfazione generale prima di qualsiasi servizio specifico, le persone hanno espresso livelli di soddisfazione molto più bassi. Alla prima domanda su servizi specifici, la soddisfazione generale era molto più alta, anche nelle persone con alti livelli di istruzione ed esperienza con metodi di ricerca di indagine.

Quindi cosa significa questo per noi non accademici? Significa che gli intervistati tendono a fornire risposte coerenti con le loro risposte precedenti. Ecco perché è così importante pensare al modo in cui stai progettando i tuoi sondaggi, piuttosto che semplicemente schiaffeggiare un paio di domande insieme e chiamarlo un giorno.

Anche le domande di base possono influenzarsi a vicenda. Ad esempio, se chiedi alle persone che tipo di bibita è il loro preferito e poi chiedi quale sia la loro bevanda preferita, la maggior parte delle persone dirà bibita.

Questo è chiamato priming— ed è un modo per far pensare inconsciamente a qualcosa per influenzare le loro risposte. È usato in tutti i tipi di modi subdoli, per lo più da avvocati scadenti in programmi TV, ed è qualcosa che vuoi evitare.

Esistono tre modi principali per combattere il pregiudizio dell’ordine delle domande:

• Inizia larga. Nella maggior parte dei casi aiuta a iniziare con domande generali che diventano più specifiche man mano che l’indagine progredisce. Consente ai rispondenti di sentirsi a proprio agio, aggiunge un flusso al sondaggio e riduce i pregiudizi sulla risposta.
• Randomizzare. Randomizzare l’ordine delle domande non correlate è un modo semplice per ridurre i pregiudizi. Solo domande casuali che non devono essere poste insieme, come ” qual è il tuo colore preferito?”e” qual è il tuo videogioco preferito?”.
• Domande relative al gruppo. I rispondenti si aspettano che le domande correlate vengano visualizzate nelle stesse sezioni. Ma questo non significa che devono essere nello stesso ordine. È possibile raggruppare le domande correlate e modificare l’ordine all’interno di quel blocco per ridurre i pregiudizi e mantenere comunque le cose organizzate.

La randomizzazione è il modo più efficace per ridurre il pregiudizio dell’ordine delle domande, ma non è affatto una soluzione adatta a tutti. A volte le domande devono essere poste in un certo ordine per avere senso o per raggiungere i tuoi obiettivi.

Fidati del tuo istinto. La maggior parte delle volte la consapevolezza dei potenziali pregiudizi di risposta è il primo passo per resistere a loro.

Bonus Bias! Bias non-risposta

Ultimo, ma sicuramente non meno importante, è bias non-risposta. Contrariamente a quello che sembra, questo non è in realtà l’opposto del bias di risposta. È un termine usato per quando i rispondenti sono 1) incapaci o 2) non disposti a rispondere al tuo sondaggio.

Di solito questo è per alcuni motivi:

• Le loro opinioni non sono in linea con il pubblico di destinazione
• Il sondaggio non ha raggiunto il rispondente giusto
• Il pubblico sbagliato è stato preso di mira

La maggior parte delle volte il bias di non risposta (o come bias di partecipazione) si verifica perché il tuo sondaggio è

Ad esempio, un sondaggio che chiede agli adolescenti la migliore marca di sigarette non otterrà molte risposte a meno che tu non salga su una DeLorean e torni indietro al 1985.

Con i sondaggi online spesso c’è una ragione più semplice per il bias di non risposta: lo spam. Se invii un’e-mail che viene inviata alla cartella spam, i potenziali rispondenti non la vedranno e la loro mancanza di risposta influirà sui tuoi dati.

Non-risposta bias ti lascia in un bel sottaceto. Se non stai attento, può inclinare i risultati della tua ricerca, portare a risultati inconcludenti e giocare a tutti i tipi di giochi con le tue stime poiché la dimensione del campione era diversa dal previsto.

Per evitarlo, assicurati che i sondaggi siano brevi, facili da rispondere e che vengano effettivamente inviati al pubblico corretto (non alla loro cartella spam.) Usa domande ravvicinate che sono più semplici da compilare ed evita le domande a doppia canna in quanto possono scoraggiare le persone dal rispondere.

Come evitare il bias di risposta nei tuoi sondaggi

Abbiamo esaminato i principali bias di risposta e come puoi evitarli. Ma diamo un’occhiata a ulteriori strategie che è possibile utilizzare per mantenere i dati del sondaggio senza pregiudizi.

Rispondi attentamente alle tue domande

Nel film 300, il re spartano, Leonida, dice a un messaggero persiano di “scegliere saggiamente le tue prossime parole”. Lo stesso vale per i tuoi sondaggi. La formulazione delle domande è una delle parti più importanti del processo di creazione del sondaggio.

Il modo in cui le tue domande possono influenzare le risposte e uccidere ogni possibilità che hai di raccogliere dati accurati. Quando si conducono ricerche di indagine è super comune utilizzare accidentalmente le domande principali e influenzare inconsciamente i risultati.

I buoni esempi caricano l’intervistato, mentre i cattivi presumono che gli intervistati provino già una certa emozione e li incoraggiano a rispondere negativamente. Questa è una forma comune di bias di risposta e facilmente riparabile con una leggera regolazione della formulazione.

Un altro errore comune è fare ipotesi sugli intervistati. Ad esempio, se dovessi chiedere ” in quale palestra ti alleni?”si assume che tutti prendendo il vostro sondaggio va in palestra. Ciò allontana gli intervistati e porterà a un tasso di risposta più basso.

Un ottimo modo per navigare in questo problema è usare la logica delle domande. La logica consente di regolare le domande in base alle risposte precedenti, in modo che l’indagine si adatti ai rispondenti.

Potresti prima chiedere “vai in palestra” e configurarlo in modo che solo a coloro che hanno risposto “sì” venga chiesto in quale palestra si allenano. La logica condizionale è super facile da configurare con Paperform-vedere in azione qui sotto.

Pensa alle tue opzioni di risposta

Se la tua indagine utilizza domande a scelta multipla o include risposte predefinite, dovrai fare attenzione alle opzioni che fornisci. Uno dei più grandi errori persone tendono a fare non offrendo abbastanza opzioni di risposta.

Questo potrebbe non sembrare un grosso problema, ma quando le persone non vedono una risposta con cui si connettono, tendono a scegliere qualsiasi vecchia risposta dalle opzioni. Questa è una forma di risposta estrema-e porta a risposte di indagine imprecise.

Dì che stai facendo ricerche di mercato per valutare la piattaforma di social media più popolare tra i 18-24 anni demografici, ma lasci fuori Twitter.

Ciò significa che le persone che risponderebbero a “Twitter” saranno non rispondenti o saranno costrette a selezionare una risposta più vicina a ciò che vogliono veramente dire. Questo non funziona per voi o i vostri intervistati ed è una situazione di perdere-perdere per entrambe le parti.

Per evitare che ciò accada, cerca di offrire abbastanza scelte di risposta. Questo è facile per i termini generali, ma se le cose sono più complesse o ampie, considera l’aggiunta di un’opzione “Altra” con spot per gli intervistati per inserire il proprio testo.

Dove possibile, puoi anche aggiungere un’opzione “Non lo so”. Alcuni partecipanti non avranno una risposta adeguata alla tua domanda, e piuttosto che costringerli a dare una risposta imprecisa, consentire loro la possibilità di dire che non hanno un indizio.

Oltre a invitare risposte più veritiere, questo può anche essere un prezioso set di dati. Se vedi spuntare un sacco di risposte “non lo so”, potrebbe portarti a un punto dati completamente unico che non hai previsto.

Fai i compiti

Prima di fare qualsiasi tipo di indagine è necessario fare la vostra ricerca. Metti insieme tutte le informazioni, le opinioni e le idee sull’argomento che puoi, in modo che le domande che chiedi siano il più rilevanti possibile.

Un ottimo modo per assicurarsi che stai chiedendo le cose giuste è quello di cercare vecchi sondaggi e vedere quali domande precedenti sono state poste sull’argomento. Guarda cosa è stato (e non è stato) coperto, controlla i risultati e le dimensioni del campione e vedi come puoi affrontare l’argomento da una diversa angolazione.

Dovrai anche trovare chi è il tuo demografico. Questo influenza ciò che chiedi e come lo chiedi. Porsi alcune domande:

Non cercare la convalida per ciò che già credi. Proprio come gli intervistati hanno hanno i loro pregiudizi, avete il vostro troppo. Avvicinati a qualsiasi indagine condotta mentre uno scienziato si avvicina a un esperimento-con una mente aperta e l’accettazione che ciò che credono potrebbe essere sbagliato.

Considera di rendere anonime le indagini

Rendere anonima la tua indagine è una scorciatoia per ottenere dati più accurati, in particolare se stai facendo domande sensibili su convinzioni e comportamenti personali.

Facendo un sondaggio anonimo, i tuoi intervistati si sentono automaticamente a proprio agio fornendo risposte più veritiere. Basta fare in modo, se si va su questa strada, per essere chiari circa il loro anonimato, e di non tradire mai la fiducia degli intervistati.

Questa è una strategia ideale per cose come sondaggi sulla soddisfazione dei clienti e sondaggi sulla cultura del posto di lavoro o sul feedback dei dipendenti. Nessuno di questi richiede davvero l’identificazione personale e gli intervistati si sentono più sicuri sapendo che non saranno giudicati per le loro risposte.

Oltre a te

Gli intervistati entrano in ogni sondaggio con qualche elemento di pregiudizio. Sono come il cowboy in un vecchio occidentale vagando in un saloon, tranne che non è una pistola che stanno maneggiando, è pregiudizi di ogni forma e dimensione.

Ma fare il possibile per ridurre la probabilità di pregiudizi da parte tua fa un mondo di differenza per l’accuratezza dei tuoi risultati. Dopo tutto, anche il miglior sondaggio è solo buono come le intuizioni che fornisce.

Perché non iniziare a creare un sondaggio con Paperform oggi stesso? Costruire uno da zero o scegliere tra 500 + modelli e iniziare immediatamente. Abbiamo tutti gli strumenti necessari per creare sondaggi coinvolgenti e senza pregiudizi di risposta che le persone amano compilare.

Dare un andare oggi con la nostra prova gratuita di 14 giorni—nessuna carta di credito richiesta.