Separando la ciencia de la mentira: Las encuestas

Con las palabras del expresidente Hipólito Mejía, en las que implícitamente acepta los resultados de las urnas, finalmente se puede dar por concluido el proceso electoral del año 2012. Me alegra que una inmensa cantidad de rebuceros y agiotistas se quedaran con el moño hecho, esperando un llamado a actuar con violencia. Personalmente me inclino a felicitar la actitud mesurada del líder blanco y evitar que el país continuara viviendo en intranquilidad.

Ya desde ayer sentía que el país había vuelto a arrancar; que soltamos el freno de mano que nos tenía en zozobra desde hacía más de seis meses. No puedo contar las veces en que escuché frases como “después de las elecciones”, “cuando se sepa quien gana” y “después de mayo”. Alivia que haya habido un ganador en primera vuelta, pues creo que nos habría sido terrible pasar una ñapa de campaña para una segunda ronda.

Al margen de las celebraciones, los lamentos y las clásicas y esperadas escaramuzas que desde siempre acompañan a cualquier proceso electoral, me interesa pasar balance sobre el desempeño de la “caterva” de encuestas que fueron protagonistas de titulares durante las últimas seis semanas.

Hice un cotejo de todas las que pude, el cual validé con  y con . En total, conté 36 estudios publicados en diversos medios desde el 2 de abril hasta el 18 de mayo, la mayor parte en los 14 días previos a las elecciones.

A medida que alimentaba la relación de encuestas, la característica que más me llamó la atención fue la poca importancia que da la prensa a la ficha técnica de una investigación estadística. 22 de los 36 estudios no consignaban su error muestral general y 17 de ellos no revelaban el tamaño de la muestra a la que aplicaron el instrumento. Una cantidad importante también omitía la fecha de aplicación. Cabe señalar en que su gran mayoría, las encuestas que omitieron parte o toda la ficha técnica fueron encuestas puntuales, no consignadas por medios de comunicación.

Las informaciones técnicas de un estudio no son ni serán nunca triviales. Comprendo que los periodistas y editores necesitan ahorrar espacio para colocar sus anuncios, pero hay demasiadas informaciones sobre dembow que pueden sacrificarse en lugar de mutilar la utilidad de un estudio eliminando su ficha técnica.

Una vieja anécdota: Cuatro ciegos de nacimiento fueron al zoológico y les permitieron acercarse a un formidable elefante africano. Uno de los individuos tocó una de las patas del animal y dijo “El elefante es como una columna, cilíndrico, grueso y alto”. Otro de los visitantes, acariciando la trompa, le contradijo diciendo “Estás equivocado, el elefante es como una serpiente, tiene un extremo húmedo y resopla”. El tercer ciego jugaba con la cola y dijo “Están locos. El elefante es muy delgado, parece un gusano”. El cuarto de los hombres se abanicaba con una de las orejas y concluyó diciendo “El elefante es una sábana enorme que además se mueve y echa fresco”. Los cuatro estaban describiendo una parte del animal, pero tenían un entendimiento limitado porque no sabían el tamaño real del elefante ni la composición de sus partes. Estaban interpretando una encuesta sin su ficha técnica.

Volviendo a nuestro elefante, la razón por la que hice el cotejo de las encuestas es que no me costó mucho esfuerzo darme cuenta de que había algunos insensatos hablando disparates acerca de la intención de voto y las proyecciones electorales. Una premisa que usamos quienes vemos a la estadística como la ciencia exacta que es, consiste en esperar resultados similares acerca de un universo que se muestrea de manera consistente y al que se le aplican instrumentos investigativos parecidos. Si bien es cierto que cada firma encuestadora tiene su propia metodología, por lo general las mismas se asemejaban suficiente.

¿Quién es quién entre las encuestadoras?

Evaluar la exactitud de un grupo de sondeos es un procedimiento muy sencillo. Como ya contamos con los resultados oficiales y totales de la jornada electoral, podemos compararlos contra lo que las encuestas estimaban que pasaría. Para este ejercicio me limité a tomar la última encuesta de cada firma, ya que se considera que será la más cercana a medir la intención de voto real. Veamos:

¿Cuáles encuestadoras se quemaron? ¡Guarde este artículo para el 2016!

¿Cuáles encuestadoras se quemaron? ¡Guarde este artículo para el 2016!

La mayoría de las encuestas revelaron un cierto nivel de indecisos, por lo que necesité normalizar los valores distribuyendo el porcentaje de indecisos entre los tres renglones de candidatura de forma correspondiente, lo que queda en las columnas “Sin NS/NR”. En la tercera sección “Desviación ABS de resultados” calculo la cercanía de cada resultado contra la cifra oficial y en la columna “Total” sumo estas diferencias. Esa columna final es la que indica cuánta desviación tuvo cada encuesta con respecto a la realidad.

Las mejores

De la tabla precedente se desprende que las firmas Penn, Schoen & Berland (contratada por Noticias SIN) y Greenberg Quinlan Rosner (que trabajó para Diario Libre) fueron las más precisas de todas, con una desviación acumulada de menos del 1%, algo excepcional.

Gallup Dominicana (para Hoy y Teleantillas) quedó en tercer lugar primordialmente debido a la alta desviación que tuvo con relación al voto de partidos minoritarios, sin embargo fue la más precisa prediciendo la votación del candidato ganador. El 3.82% de desviación queda ligeramente fuera de un margen de error estandar.

Es necesario señalar que fueron precisamente tres firmas internacionales, contratadas por medios de comunicación, las más precisas en la predicción del voto electoral. Esto es un doble piropo, de un lado a las firmas encuestadoras que ratifican su justa reputación, y de otro lado a los medios que las contrataron, por haber seleccionado simplemente las mejores para el trabajo.

La cuarta firma es ASISA, que se equivocó por un 4.51% de desviación, a pesar de haber sido la más precisa en predecir el voto por los partidos minoritarios. Su fallo vino en otorgar más 2% a Danilo y menos del 2% a Hipólito de las cifras que finalmente obtuvieron.

¿Qué tienen en común las cuatro encuestas más precisas? Todas fueron comunicadas a la nación indicando todos los detalles cruciales de la ficha técnica de sus estudios. Como dije antes, con eso no se inventa.

La encuesta menos mala de las que erraron el ganador fue CID Latinoamérica, la cual indicó un 51% para Mejía contra un 48% para Medina (ajustadas a 51.5% y 48.5% luego de distribuir indecisos).

Las que no merecen dos cheles de credibilidad

Del otro lado de la escala están los estudios que tuvieron un inaceptable margen de inexactitud. Tres firmas figuran con más de un 12% de desviación con relación a los resultados. Son estas JZ Analytics, ABC Research y Bendixen & Amandi, la audaz firma del no menos audaz Sergio Bendixen.

Varias cosas resaltan de este trío de notables. En primer lugar, son tres firmas poco conocidas (a pesar del currículum de Bendixen). Otro dato llamativo es que al menos dos de ellas fueron públicamente contratadas por grupos simpatizantes de Hipólito Mejía (increíblemente, las tres dieron a Mejía como vencedor, quién lo diría). De la cuarta peor, The Campol Group, también se supo que tiene lazos con el PRD.

La peor de las encuestas que dio a Danilo como vencedor fue la de José Dorín Cabrera, otorgando 56.5% (ajustado) a Medina y un 43.1% (ajustado) a Mejía, lo que hizo llegar su índica de desviación a un indecoroso 9.15%. Vale indicar que esta encuesta consignaba el segundo mayor porcentaje de indecisos. El cálculo de desviación sin ajustar los indecisos habría hecho que su desviación acumulada quedara en más de 12%.

Moralejas

Me aferro a la esperanza de que nuestro país haya aprendido un par de lecciones en este proceso electoral con relación a las encuestas.

1. Las encuestadoras tradicionales lo son porque respetan su trabajo. Las tres encuestas más certeras fueron conducidas por firmas de probada experiencia y trayectoria, bastante conocidas por la sociedad.

2. Los medios no contratan novatos. A la hora de consignar un estudio, los medios no miran a las empresas sin trayectoria. Los medios tradicionales reconocen la importancia de la credibilidad de su labor informativa y por ello buscan empresas que compartan esa filosofía.

3. Es totalmente lícito desconfiar de encuestas que no tengan ficha técnica. No hace falta repetir el ejemplo del elefante, ¿No?

4. Al final del cuento, las encuestas no son infalibles. Hubo algunas encuestas de firmas de renombre como Hamilton Campaigns y Sigma Dos que tuvieron alta desviación. Esto debe indicarnos que la tradición de exactitud de una encuesta nunca significará que puedan equivocarse un día.

¿Y usted? ¿La pegó con su encuesta?

3 Comments Separando la ciencia de la mentira: Las encuestas

Deja un limón acá