El problema de calidad de las encuestas electorales
El problema de calidad de las encuestas electorales
Un pesado velo sobre todo tipo de información confiable nos deja en la oscuridad en un tema de bastante relevancia nacional.
Existe una percepción generalizada de que las encuestadoras no tienen la más mínima idea de lo que hacen y que, de costumbre, siempre están erradas. Incluso, he visto gente que cree que las encuestas electorales son tan confiables como el horóscopo y por ende, las personas serias, las descartan. Esta noción se intensificó en 2016, año históricamente malo para las encuestadoras y pronosticadores y conocido como “The Year of the Choke” entre analistas deportivos.
Aquel año, los Cleveland Indians perdieron la MLB World Series después de sacarle una ventaja 3-1 a los Chicago Cubs (que llevaban 108 años sin ganar el título), los Golden State Warriors lideraban las NBA Finals 3-1 solo para que los Cleveland Cavaliers le dieran vuelta, los Atlanta Falcons dejaron escapar el Super Bowl LI a pesar de estar ganándole 28-3 a los New England Patriots con apenas dos minutos en el tercer cuarto y el Reino Unido votó para irse de la Unión Europea por un márgen que solo se reflejó en 16 de las 168 encuestas pre-referéndo.
Ah, y Donald Trump ganó la presidencia en Estados Unidos a pesar de estar entre 1 y 7 puntos detrás de Hillary Clinton en las últimas encuestas electorales con esta última llegando a tener una “probabilidad de ganar” del 85% según el New York Times, esa misma noche.
Más allá de los pronosticadores deportivos (que solo incluí por la interesante coincidencia), quiero enfocarme en las encuestadoras políticas y, específicamente, las encuestas que miden la popularidad de candidatos. Este tema es grave en Venezuela ya que, si revisamos los resultados de encuestas sobre la primaria de la oposición que se publican en redes sociales veremos que hay saltos bastante radicales entre candidatos.
Una encuesta dirá que María Corina Machado va ganando con el 31% de la intención de voto mientras Henrique Capriles solo tiene el 0,6% solo para que otra encuesta supuestamente publicada el mismo mes diga que Capriles tiene el 24,8% y Machado el 19,2%. Si las muestras fueron representativas de la población electoral nacional entonces los resultados deberían parecerse al menos.
Antes de hablar del contexto venezolano, los problemas absurdos que se pueden observar y la falta total de información útil, quiero hablar brevemente sobre qué miden las encuestas de intención de voto en sí y cómo podemos hacer para saber si una es confiable o no. Este post será más largo que los anteriores pero creo que el tema justifica la extensión.
¿Qué miden las encuestas de intención de voto?
Las encuestas de intención de voto miden eso mismo, la intención de voto de los encuestados, sin emitir juicio alguno sobre el resultado o el origen de aquella intención, ni sobre la calidad de los candidatos. Los resultados de encuestas de intención de voto son medidas y hay que tener cuidado cuando hacemos inferencias o deducciones a partir de medidas sin considerar más factores que las pongan en contexto.
Pongamos un ejemplo que evite la política, así sea por un momento. El pasado 14 de marzo, Morning Consult publicó una encuesta en la cual la muestra de 2.204 adultos respondieron cuál era su álbum favorito de Taylor Swift. Entre la totalidad de la muestra, ganó 1989, con Fearless y Taylor Swift (primer álbum) segundo y tercero, respectivamente. ¿Por qué ganó 1989? ¿Será 1989 el álbum más popular de Swift en 2024? ¿Es 1989 el mejor álbum? De los resultados de la encuesta no se desprenden respuestas a esas preguntas, solo la respuesta a la pregunta ¿Cuál es el álbum más popular de Taylor Swift entre adultos en Estados Unidos?
Esa pregunta y su respuesta son, como en todas las encuestas, temporales. Son un reflejo del momento en el que se hizo la pregunta y se tomaron las respuestas.
Llevando esto al mundo político, las encuestas que miden la intención de voto de candidatos a elecciones miden solamente lo que dice ahí y son un reflejo de la popularidad del candidato para el momento que se hizo la pregunta.
Curiosamente, más allá de ser una medida, la publicación de los resultados tiene un efecto curioso sobre quienes las leen: influye en el voto final.
En 1991, Ian McAllister y Donley Studlar encontraron un efecto de relación curioso en las elecciones generales británicas entre 1979 y 1987. En cada una de ellas, las encuestas de popularidad habían tenido un efecto sobre el voto de la población, llevando a personas indecisas a votar por el partido que iba liderando justo antes de la elección. La capacidad de las encuestas de influenciar el voto a favor del líder ha sido estudiado bastante, es conocido como el “bandwagon effect” y lo seguimos viendo en elecciones y estudios más recientes que el de McAllister y Studlar. No nos debería sorprender, a nadie le gusta perder y a nadie le gusta ver a sus enemigos ganar. Sin embargo, este efecto parece ser solamente verificable cuando se trata de la última ronda de encuestas.
¿Cómo podemos saber si una encuesta (o encuestadora) es confiable?
Aquí voy a basarme en el ejemplo de Estados Unidos ya que es el mercado que mejor conozco para este tipo de cosas.
En Estados Unidos es muy fácil ejercer control propio sobre la calidad de una encuesta cuando es publicada, esto se debe a que todas las encuestadoras de buena reputación son bastante abiertas con sus metodologías y data recopilada. Aquí pueden tomar el ejemplo de Morning Consult y su último set de encuestas justo antes de la elección presidencial de 2020, verán la cantidad absurda de data sobre las encuestas y podrán descargar una explicación de la metodología y resultados a todo nivel.
Algo similar podemos ver en las encuestas de Emerson College sobre los estados del sur camino a la elección presidencial de 2020. Emerson College también permite que descargues resultados detallados por estado, con todas las transversales revisadas, preguntas hechas y hasta un documento de “transparencia” donde detallan metodología, terceros involucrados y hasta quienes financiaron la encuesta en cuestión.
Pero, lo cierto es que la mayoría de los electores no estudiamos estadística a profundidad y no sabríamos identificar problemas metodológicos (o en los resultados) con ver esta información. Afortunadamente, tenemos diversas herramientas que nos ayudan a analizar la calidad de las encuestas e informarnos mejor en general.
Una de estas herramientas es este portal de 270toWin donde podemos ver los resultados promedio de las encuestas por estado y, si seleccionamos cualquiera de ellos, tendremos acceso a una tabla que lista todas las encuestas considerada en cada promedio y donde podremos comparar encuestas entre ellas y hasta compararlas con encuestas previas de esa misma consultora (aquí la tabla de Georgia como ejemplo).
FiveThirtyEight tiene lo que debe ser la mejor herramienta para revisar la confiabilidad de una encuestadora y así tener una mejor idea de qué puedes esperar de sus resultados. FiveThirtyEight revisa los resultados de cada encuestadora, hace un análisis de los resultados históricos en elecciones previas y les asigna a cada una una “nota” basada en la escala típica de la educación primaria en Estados Unidos. La herramienta te permite ver cuántas encuestas fueron revisadas, el porcentaje de acierto en elecciones anteriores y hasta el sesgo político de cada una revertido a la media. La metodología de cómo asignan las notas se puede encontrar aquí, así como una cantidad absurda de información que se utiliza para evaluar la calidad de cada encuesta individual y crear los modelos electorales del Congreso y la Casa Blanca que han solidificado la reputación de FiveThirtyEight como una de las fuentes más confiables y precisas en el mundo electoral.
¿Cómo es el contexto venezolano?
Hace unos días estaba en Twitter y vi el siguiente tweet de Polianalítica:
Casualmente, esta es una de las pocas encuestas en las que podemos ejercer algún nivel de control de calidad ya que los autores, Poder y Estrategia, publicaron detalles sobre su metodología y los resultados que replicó Polianalítica en el tweet de arriba. ¿Tenemos más información sobre la encuesta general que realizaron? ¿Pesos asignados a sus variables? ¿Justificación de las preguntas hechas? ¿Forma en que seleccionaron a los encuestados? No, obviamente no. Vale la pena decir que Poder y Estrategia vende un informe sobre su encuesta pero no hay garantía alguna que ese informe contenga información relevante que permita determinar la calidad del producto presentado.
No les quiero caer encima a ellos por vender el informe de la encuesta, esta es una práctica que siguen todas las demás encuestadoras nacionales y que es entendible en el contexto venezolano. Este es su trabajo y regalar cualquier parte de tu trabajo en un país donde cuesta tanto vivir puede salirte bien caro. Dicho eso, es una demostración de lo difícil que es para el electorado acceder a información relevante y útil sobre las elecciones nacionales.
Pero Polianalítica publicó los resultados de otras encuestas en marzo y los resultados son, digamos, increíblemente interesantes. Es importante aclarar— y además es ilustrativo del problema— que no encontré ninguna de las siguientes encuestas publicadas fuera de simples tweets o datos sin contexto. ¿Cómo es eso remotamente aceptable? El entorno es un desastre, incluso no pude entrar a la página web de una de las consultoras por ser muy riesgosa (la de ORC Consultores, no lo intenten, cuiden sus computadoras/celulares).
Veamos los resultados publicados, se supone que todas corresponden al mes de marzo 2023:
Consultores 21
Henrique Capriles - 24,8%
María Corina Machado - 19,2%
Benjamín Rausseo - 14,8%
Manuel Rosales - 11,6%
Juan Guaidó - 7%
Carlos Ocariz - 4,6%
Juan P. Guanipa - 3,8%
Delsa Solorzano - 2,6%
Carlos Prosperi - 1,7%
César Pérez Vivas - 1,4%
Elías Sayegh - 0,9%
No sabe - 2,8%
Ninguno - 2,5%
Cualquiera - 2,1%
Según Polianalítica, esta encuesta es sobre la “intención de voto para la primaria opositora” y estos resultados se hicieron públicos el 23 de marzo. ¿Pero es rara, no? Miren los nombres que fueron incluidos, figuran Ocariz y Guanipa, dos candidatos que ya se habían retirado para el 25 de febrero. También está Elías Sayegh, bien raro considerando que él no ha anunciado su candidatura. Bueno, un mes antes, Consultores 21 publicó este tweet:
Tampoco los he visto hablar sobre estos resultados, entonces nos quedan varias dudas: ¿Polianalítica sacó los números de Perfil 21 en febrero y los publicó ahorita diciendo que son de marzo? ¿Los inventaron? No sabemos, bien grave las cosas.
Encuesta Cyber Data:
Juan Guaidó - 13%
María Corina Machado - 13%
Manuel Rosales - 10%
Henrique Capriles - 9%
César Pérez Vivas - 7%
Delsa Solorzano - 4%
Benjamín Rausseo - 4%
Podrán notar que esos números no dan 100%. ¿Y el resto? ¿Habían más nombres presentados a los encuestados? Sí, sí habían más nombres como se puede ver en esta lámina de Cyber Data de donde claramente sacó sus datos Polianalítica. ¿Por qué Polianalítica solo publicó algunos nombres? ¡Quien sabe!
Ah por cierto, la encuesta en cuestión fue elaborada entre el 5 y el 20 de enero, pero Polianalítica dice que es de Marzo.
ORC Consultores:
María Corina Machado - 34%
Benjamín Rausseo - 32%
Manuel Rosales - 10%
Henrique Capriles - 9%
Juan Guaidó - 4%
¡Ya podemos ver unas discrepancias bastante salvajes con respecto a las demás encuestas!
ConsuCampo Consultores:
María Corina Machado - 31%
Benjamín Rausseo - 14%
Manuel Rosales - 6%
Carlos Prosperi - 3%
Juan Guaidó - 1%
Henrique Capriles - 0,6%
Delsa Solorzano - 0,3%
No sabe - 39%
Las encuestas, para que sean confiables y útiles, tienen que haberse hecho con una muestra representativa de la base completa. Es decir, si la base es “el padrón electoral opositor” tu muestra tiene que parecerse lo más posible a esa sección de la población. Entonces, ¿cómo es posible que en una muestra representativa ConsuCampo encontró que Capriles tendría el 0,6% del voto pero para Consultores 21 tiene el 24,8%?
O uno de ellos no hizo bien su trabajo o los dos lo hicieron mal pero no es posible que ambos tengan razón, no con una discrepancia así de absurda aunque, como dije arriba, todo es bien raro cuando se trata de estas encuestas. Inventemos un ejemplo:
Si una tiene a Capriles con 24% te esperarías que la otra lo tendría cerca, por lo menos entre 21% y 27% (margen de error del 3%). Una diferencia tan abrumadora como la que existe entre el 24,8% y el 0,6% revela que por lo menos una de estas consultoras no sabe lo que está haciendo. ¿Cuál es? Eso no lo sabemos.
No lo sabemos porque no tenemos información suficiente. Unos venden la encuesta, otros venden un informe sobre la encuesta, nadie da sus resultados de forma clara, hay pocos recursos para validar la información que publican las cuentas políticas en redes sociales.
Históricamente hablando, ¿cuáles de las consultoras aquí reflejadas han sido las más precisas?
Cuentas como Polianalítica son parte del problema, más allá de informar lo que hacen es presentar información a los golpes, fuera de contexto y sin esfuerzo alguno de verificarla. Miren el ejemplo de esa encuesta de Cyber Data, o mintieron sobre la fecha o no revisaron.
La gran mayoría de los artículos que uno encuentra en internet sobre estas encuestas tienden a limitarse a repetir lo que diga la consultora sobre su propio producto, con muy poca indagación adicional o cuestionamientos sobre la calidad de la misma o discrepancias absurdas con las que presentaron los demás.
Es alarmante lo ciegos que estamos en un área crítica de la política nacional, ni hablar de lo lejos que estamos de los ejemplos que puse de Estados Unidos.
Si llegaste hasta aquí, ¡gracias! Se que este post fue bastante más largo que los anteriores. Si te gustó puedes suscribirte de forma gratuita con tu correo abajo.