Il periodico livornese SenzaSoste si è interrogato sull’affidabilità dei sondaggi elettorali, chiedendosi non solo quanto siano capaci di registrare gli effettivi spostamenti del consenso, ma anche in quale misura la loro evidente “riflessività” ne faccia strumenti di manipolazione dell’opinione a più livelli.
Quanto sono affidabili i sondaggi che hanno indirizzato il dibattito politico? Ce lo siamo chiesti in queste settimane. Con particolare attenzione al fatto che i sondaggi non influenzano solo il dibattito politico nazionale ma anche le posizioni di investimento e di speculazione, a breve e a medio termine, di banche, hedge fund, assicurazioni e anche della stessa Bce. Abbiamo rivolto così 5 domande ad una esperta, a livello internazionale, di valutazione di questo tipo di metodologie.
L’intervista
1) Ovunque agenzie di sondaggi, con i loro prodotti, monopolizzano ormai il dibattito politico tutto l’anno. A tuo avviso cosa è veramente affidabile dei sondaggi pre-elettorali sia a medio che a breve termine?
Per rispondere a questa domanda parto da una premessa. Qualsiasi ricercatore sociale sa che, durante lo svolgimento di un’indagine, deve monitorare attentamente la cosiddetta ’attualità’, in quanto qualsiasi avvenimento, notizia, evento, potrebbe influenzare l’esito dell’indagine, soprattutto se questo coinvolge le opinioni. Questa preoccupazione è stata re-interpretata, soprattutto nell’utilizzo dei sondaggi, come opportunità per sondare / influenzare l’opinione pubblica. In altre parole, i sondaggi sono entrati a far parte integrante del complesso meccanismo chiamato “fabbrica dl consenso” (Chomsky?). Ciò è successo in due direzioni:
– il personaggio politico di turno diffonde una particolare idea, affermazione, proposta e “tasta” immediatamente l’umore della gente;
– si diffondono i risultati dei sondaggi perché in qualche modo possano influenzare gli orientamenti delle persone.
Ecco perché a chi mi chiede l’affidabilità dei sondaggi pre-elettorali, ricordo che è molto importante verificare chi fa i sondaggi e il loro legame con la macchina del consenso per poter capire la loro affidabilità.
2) Quali metodologie devono essere applicate per rendere un sondaggio veramente credibile? Questa accortezza viene usata in Italia?
Per poter verificare la credibilità dei risultati dei sondaggi è utile chiarire quali sono i concetti alla base del ragionamento statistico utilizzato in questi casi.
Infatti, da un punto di vista statistico, il sondaggio è un esercizio che può essere sintetizzato come dall’osservazione di una parte alla stima del tutto. Si deduce, a partire dalla osservazione di un fenomeno su un campione, la rappresentazione del fenomeno stesso in tutta la popolazione.
Partiamo da una semplice domanda: la percentuale di soggetti intervistati che hanno riferito di preferire un certo partito corrisponde a quella che si sarebbe ottenuta nel caso avessimo avuto la possibilità di intervistare tutta la popolazione? Intuitivamente la nostra risposta è “no”. Dal punto di vista statistico la risposta è “sì, più o meno un certo errore”. Per poter stabilire l’entità dell’errore è necessario fare alcune riflessioni riguardanti:
– il modo in cui è definito il campione (tutti i soggetti appartenenti alla popolazione devono avere la stessa probabilità di entrare a far parte del campione),
– la dimensione del campione (ovvero, quanto è grande la nostra “esperienza” relativa alla popolazione),
– la variabilità della popolazione (ovvero, quanto è molteplice e complesso l’universo di interesse),
– la sicurezza desiderata nell’individuare il corrispondente valore per tutta la popolazione (livello di confidenza/fiducia).
Tutti questi elementi interagiscono tra di loro e fanno in modo che la previsione su quella percentuale si avvicini più o meno a quella reale.
Per ottenere un basso errore di previsione (alto livello di fiducia), è necessario avere un campione molto ampio. E’ altrettanto intuitivo dire che, in presenza di una popolazione molto complessa, volendo conservare lo stesso livello di errore, il campione dovrà aumentare la sua dimensione, anche in maniera esponenziale. Un campione di dimensione ridotta rispetto ad una popolazione molto complessa insieme ad un livello di fiducia alto, produrranno una incertezza nella previsione molto grande. Tale incertezza si concretizza con la definizione di un intervallo, entro il quale sarà possibile (con una certa probabilità) osservare il valore della popolazione (per esempio, la percentuale di preferenza per un partito).
Poniamo di avere un certo campione (con una certa dimensione) ed una certa popolazione (con una propria complessità), e di aver stabilito che noi vogliamo una incertezza del 5% – è statisticamente possibile calcolare l’intervallo (interpretabile come dimensione della rete di cui pescare il valore della popolazione). Un altro esercizio è quello finalizzato a stabilire i cambiamenti e gli spostamenti delle preferenze dei potenziali elettori. Questo è possibile confrontando le rilevazioni nel tempo (a distanza di un giorno, di pochi giorni, ecc.). Riprendendo l’esempio precedente, potremmo, infatti, verificare che un determinato partito X ha ottenuto nel campione una percentuale di preferenze del 20% più o meno 3”. Ciò vuol dire che, la percentuale di quel partito per tutta la popolazione ricadrà tra 17 e 23 con una probabilità del 95%.
3) Quali agenzie di sondaggi sono veramente affidabili in Italia e quali no?
Più che fare un elenco dei bravi e dei cattivi, suggerirei di utilizzare alcuni riferimenti concettuali che consentano di giudicare la bontà del lavoro di una agenzia di sondaggi. Qualsiasi agenzia deve darmi gli elementi per poter giudicare il proprio lavoro. Per esempio, mi deve dire come ha definito il campione in relazione alla complessità della popolazione.
Sono andata a vedermi la presentazione dei risultati di un sondaggio nello stesso periodo (inizio febbraio 2013) in due emittenti televisive a diffusione nazionale (chiamiamole rispettivamente A e B). Sia pure con modalità diverse, entrambe riferiscono le percentuali osservate “coalizione per coalizione”. Nel caso A però i cartelli erano divisi (uno per ciascuna coalizione), non consentendo il confronto diretto delle percentuali tra le coalizioni. Sempre in A, al termine della presentazione delle percentuali (“coalizione per coalizione”), vengono riportate in un cartello anche le percentuali degli indecisi e degli astenuti (nel caso B non viene riportato alcun cartello rendendo il tutto ancora più difficile tale valutazione).
Sommando le percentuali degli indecisi e degli astenuti a quelle precedenti viene un bel 136.3%!
Io, telespettatore, non sono però in grado di verificare in pochi secondi il reale peso di ciascuna coalizione. Se sono bravo, l’unica cosa che riesco a fare è il confronto tra il, per esempio, il 35.9% di una coalizione e il 25.9 delle astensioni. Tale confronto è però sbagliato. Per rendere le due percentuali confrontabili, occorre ricalcolare il 35.9 su un “100” che comprenda anche gli astenuti. Facendo un rapido calcolo viene fuori che in realtà quella coalizione ottiene il 26.4 di preferenze su tutto il gruppo.
Le differenze tra le percentuali delle diverse coalizioni tra A e B arrivano anche all’8 per cento. Sorprende quindi la percentuale identica ottenuta da un gruppo (M5S) in entrambe le presentazioni.
Già, ma i campioni come sono?
Nell’emittente A, per scoprire come è stato definito il campione occorre aspettare un po’ e dotarsi di lente di ingrandimento per poter leggere le seguenti informazioni (http://tg.la7.it/elezioni/video-i662444 – min.3:42) (Tra parentesi i miei commenti):
Popolazione di riferimento: maggiorenni italiani (purtroppo la popolazione di riferimento dovrebbe essere quella dei maggiorenni italiani aventi diritto al voto; questa popolazione, difficile comunque da determinare per una agenzia di sondaggi, non corrisponde alla prima).
Dimensione del campione: 1000 soggetti (non mi vengono date informazioni su come è stratificato il campione, ovvero, quanti sono i maschi, quanti gli anziani, quanti disoccupati, quanti laureati, ecc. queste informazioni mi farebbero capire se tale campione rispecchia in qualche modo la complessità della popolazione)
Intervallo fiduciario: + o – 3.1 (la famosa “rete” di cui si parlava prima)
Tasso di risposta: contattate 5376 persone (tenendo presente che il campione è di 1000, vuol dire che il sondaggio ha ricevuto nel più dell’80% dei casi un rifiuto: molto verosimile).
Vediamo cosa succede per B. Notiamo che da subito vengono riportate informazioni sul campione (http://www.rai.tv/dl/RaiTV/programmi/media/ContentItem-3bb03c48-88cd-4678-8188-26edd4b76db4.html#p=), anche se in un carattere ancora più piccolo del precedente:
sondaggio realizzato su un campione casuale nazionale rappresentativo della popolazione italiana maggiorenne per genere, età, livello di scolarità, area geografica di residenza, dimensione del comune di residenza). Sono state contattate 8972 persone. Hanno accettato in 800.
Facciamo a questo punto un semplice ragionamento: si afferma che il campione è rappresentativo rispetto a:
– genere (maschio e femmina)
– età (molto probabilmente l’agenzia ha definito come minimo 3 fasce d’età)
– livello di scolarità (anche in questo caso, molto probabilmente l’agenzia ha definito 3 livelli)
– area geografica di residenza (poniamo che ne abbiano identificate 4: nord, centro, sud, isole; è il minimo definibile)
– dimensione del comune di residenza (poniamo che abbiano identificato 3 dimensioni)
Tenendo conto che in alcuni casi abbiamo solo fatto ipotesi (in realtà l’agenzia ci rimanda ad un sito per poter ottenere informazioni probabilmente più dettagliate), quante combinazioni si ottengono? 2 x 3 x 3 x 4 x 3 = 216 combinazioni. Semplificando molto il ragionamento, proviamo a distribuire uniformemente gli 800 intervistati per tutte queste combinazioni: 800/216 = 3/4 soggetti per ciascuna combinazione.
La domanda che ci facciamo è la seguente: esistono altre caratteristiche che influenzano la preferenza elettorale? Una a caso, la condizione professionale. Poniamo di identificare 4 diverse condizioni (disoccupato, pensionato, tempo a pieno, a tempo determinato) insufficienti a coprire la variabilità del fenomeno. L’esercizio oramai è chiaro. Quei 4 soggetti per ogni combinazione dovrebbero essere diversi rispetto alla condizione professionale, dimensione assolutamente non secondaria nel cercare di rilevare le scelte elettorali.
A tale proposito, il sondaggista del caso A parla vagamente di tecniche di ponderazione che sarebbero state utilizzate. La ponderazione è in pratica il peso attribuito a ciascun intervistato in funzione del peso che il profilo (riguardante l’età, titolo di studio, residenza, ecc.) ha su tutta la popolazione e quindi nel calcolo delle percentuali.
Ma come vengono contattati i soggetti?
Dopo aver definito le diverse combinazioni da raggiungere (nell’esempio precedente, 4 soggetti per ogni combinazione), in genere si comincia a telefonare fino a quando tutte le combinazioni non vengono coperte con le telefonate. Per fare queste telefonate si utilizzano elenchi telefonici informatizzati oppure … un generatore (algoritmo) di numeri telefonici casuali. Se l’universo dei telefoni di riferimento è quello dei “fissi”, si comprende come tale universo non sia in grado di coprire la variabilità della popolazione (a causa della preferenza che spesso si dà al telefonino a discapito del fisso. Più difficile, ma possibile, è la definizione di un generatore di numeri di telefonini causali:.
Ma possiamo capire se le preferenze per un partito aumentano o diminuiscono?
Abbiamo visto come uno degli elementi da prendere in considerazione per poter valutare la qualità di un sondaggio riguarda i criteri che hanno guidato nella selezione del campione.
Un altro importante elemento di valutazione è rappresentato dalla possibilità di fare confronti tra una rilevazione e un’altra effettuata in precedenza, per poter osservare i cosiddetti trend.
In generale, possiamo affermare che il partito ha osservato una flessione di preferenze? Nel campione, sicuramente sì, ma non necessariamente nella popolazione!
Vediamo come tale questione è presentata nel caso A (il caso B non ha effettuato espressamente tale confronto).
Nel servizio si commenta come “inspiegabile” la flessione dello 0.9% di una delle coalizioni e attribuendo la flessione di poco più dell’1% ad una vicenda poco positiva emersa durante quella settimana e che ha coinvolto tale coalizione. La domanda è: con il livello di confidenza di +/- 3% come si fa a fare queste considerazioni?
Purtroppo, però, vedo sempre più spesso giornalisti avventurarsi in commenti a proposito del perché quel certo partito ha visto diminuire il proprio consenso. Fabbrica del consenso anche in quel commento?
Vedi questi commenti:
http://www.blitzquotidiano.it/politica-italiana/sondaggio-emg-la7-pd-sopra-pdl-sotto-mentana-twitter-1466908/
Abbiamo parlato di caratteristiche individuali ma dovremmo tenere presenti che esistono, in teoria, anche caratteristiche e atteggiamenti più diffusi che rendono i confronti tra Paesi ancora più complessi. E’ uno dei motivi per cui gli exit polls in Italia non funzionano (io spero sempre che gli investimenti finanziari fatti in queste rilevazioni vengano dirottati, per esempio, su borse di studio per giovani).
4) In Italia chi e cosa certifica effettivamente che una agenzia di sondaggi sia affidabile o meno?
Non esistono certificazioni delle agenzie di sondaggi se non quelle che loro stesse si danno. Esiste un sito, a cura della Presidenza del Consiglio dei Ministri, sul quale vengono riportati i risultati dei sondaggi. http://sondaggipoliticoelettorali.it/
Su tale sito, ciascuna agenzia pubblica, a propria cura, le informazioni basilari che definiscono la metodologia applicata:
– committente
– criteri seguiti per la formazione del campione
– metodo di raccolta delle informazioni
– numero delle persone interpellate e universo di riferimento
– data in cui è realizzato il sondaggio
– quesiti sottoposti
Ma le informazioni riportate da ciascun sondaggio non sono uniformi e quindi non è possibile confrontare la qualità.
5) sulla base di base di quanto visto negli ultimi giorni ci sono, a tuo avviso, delle tendenze nel comportamento elettorale che le agenzie di sondaggio sono riuscite a mostrare?
E’ difficile anche perché la complessità della realtà richiederebbe considerazioni che coinvolgono non solo i semplici risultati di sondaggi (con tutti i limiti che abbiamo visto)
La complessità dei fenomeni sociali ci spinge, infatti, a guardare al comportamento elettorale anche attraverso altre lenti che non sono semplicemente quelle legate a risposte-a-domande. Si pensi a questo proposito a tutti quei tentativi che si fanno per registrare gli umori della popolazione attraverso i social network.
Rappresentano però dei tentativi molto interessanti dal punto di vista metodologico ma da prendere con estrema cautela nel caso si voglia riferire tali risultati agli umori di tutta la popolazione. La difficoltà di leggere le tendenze è data anche dalla necessito di verificare è quanto i sondaggi stessi influenzano le dinamiche di scelta elettorale. Sarebbe interessante per esempio raccogliere ora tutti i risultati dei sondaggi e rivalutarli tra qualche giorno alla luce dei risultati reali. Per il momento mi limito a dire che certi fenomeni nuovi potrebbero risultare sottostimati dai sondaggi anche per una certa reticenza che le persone potrebbero avere nel affermare di preferire un proposta nuova.
Commenti recenti