Errores de las encuestas electorales en Cataluña: una hipótesis sugerente

Pedro Concejero sugirió ayer en la reunión del grupo de usuarios de R de Madrid una hipótesis muy sugerente para explicar parte del error cometido por las encuestas electorales publicadas en Cataluña. Voy a elaborarla en esta entrada pero subrayando antes de todo que desconozco el detalle del funcionamiento de recogida de datos y que lo que voy a contar aquí no pasa de ser una hipótesis que correspondería a otros tratar de verificar.

Una de las encuestas más criticadas ha sido la contenida en el Barómetro de Opinión Política del Centre d’Estudis d’Opinió (el CIS catalán, vamos). En su nota metodológica se lee cómo el método de recogida de información es una encuesta telefónica asistida por ordenador (método CATI). Y sospecho que los más del resto harán lo mismo.

Ergo los encuestados forman parte del subgrupo de la población que dispone de teléfono. Y, casi seguro, de teléfono fijo. Esto ha sido siempre un problema. Pero que se ha visto agravado recientemente por el proceso (aún incipiente) de sustitución de la telefonía fija por la móvil; la opción de los hogares jóvenes que se incorporan al mercado optando por la telefonía móvil, sin ni siquiera pasar por la telefonía fija (cita del mismo enlace); y, sobre todo, el desigual perfil de edad y socioeconómico (y, por ende, político) de los hogares que no disponen de telefonía fija (estudiado en la nota ocasional de la Comisión del Mercado de las Telecomunicaciones titulado Caracterización de los hogares españoles como consumidores de servicios de comunicaciones electrónicas).

En efecto, un porcentaje nada desdeñable de los hogares españoles son son a finales de 2012 inasequibles a los esfuerzos de los teleoperadores, como pone en evidencia el siguiente gráfico horrible:

¿Introduciría este fenómeno un sesgo muestral significativo?

Y a modo de colofón y para los que tengan más tiempo, dejo un enlace a un estudio sobre la desactualización del marco elaborado por el INE en el contexto de la Encuesta de Población Activa para que podáis ver cuáles son el tipo de (onerosas) acciones correctoras que lleva a cabo dicho instituto para mitigar el efecto de los problemas asociados al CATI.

8 comentarios sobre “Errores de las encuestas electorales en Cataluña: una hipótesis sugerente

  1. José Luis 29 Noviembre, 2012 10:24

    El caso es que se hacen esfuerzos para subsanar este sesgo. Por ejemplo, en mi centro, en las encuestas CATI utilizamos casi siempre un doble marco, teléfonos fijos y móviles. Aunque la introducción de los móviles incrementa bastante el coste (es bastante difícil conseguir ciertos perfiles, o que sean de una zona geográfica determinada). Ver por ejemplo http://casus.usal.es/pkp/index.php/MdE/article/view/1011

  2. Daniel 29 Noviembre, 2012 10:40

    Las encuestas catalanas suelen acertar bastante todos los años. Tal vez habría que achacar el error a algo que ha sucedido sólo este año.

    Tal vez las noticias de las cuentas de Suiza de Artur Mas a pocos días de las elecciones pueda ser la explicación.

  3. datanalytics 29 Noviembre, 2012 11:04

    @José Luis Muy interesante. Parece obvio que alguien tenía que estar trabajando ya en ello. Y como decís, tiene que haber problemas para saber quién, cómo y de dónde es la persona a la que se llama a un móvil, ¿no?

    Porque para una encuesta electoral en, p.e., Aragón, te pueden estar respondiendo desde Melilla o Canarias… ¿Cómo se hace entonces? ¿Seguir llamando a móviles al azar hasta que responden desde Teruel?

  4. datanalytics 29 Noviembre, 2012 11:08

    @Daniel Pues no lo sé. Tal vez acierten todos los años. No lo sé.

    De todos modos, al redactar la entrada y hojear el Barómetro que menciono en ella, vi la predicción de voto en diversas encuestas realizadas en el pasado contrastadas con los resultados reales de las elecciones de 2010. Si las revisas verás que las series temporales de “intención de voto” en las encuestas parecen tener una tendencia definida pero que los resultados “reales” de 2010 son un “outlier”: mucho más bajos para CiU y mucho más elevados para el PP, por ejemplo, de lo que daría a entender la serie interpolada de las encuestas.

  5. Calejero 29 Noviembre, 2012 11:32

    Creo que aquí han influido distintas cosas. Si miramos las encuestas del Gesop tenemos que casi un 40% de los votantes que indican que su primera opción sería CiU podrían votar a Esquerra. Creo que en estas eleccionesha ocurrido algo similar a las elecciones del 14M de 2004. Un hecho demasiado importante para que votantes con el voto definido han cambiado a última hora y han apostado por la segunda opción o se han movilizado para votar. En este caso, CiU sí pierde muchos escaños pero votos tampoco tantos (creo recordar que 90000). El caso del borrador creo que es el motivo principal de la diferencia entre los resultados y las encuestas.

  6. datanalytics 29 Noviembre, 2012 11:50

    @Calejero Entonces, de haber tanta gente “indefinida” y una probabilidad (conocida de antemano) de un cambio masivo de intención de voto, ¿no crees que los rangos de variabilidad (tanto en porcentaje de voto como en número de escaños) ofrecidos por los institutos de opinión deberían ser mucho más anchos?

  7. Daniel 30 Noviembre, 2012 13:08

    Si comparamos los resultados de las Catalanas 2010 con las encuestas http://www.vozbcn.com/2010/11/21/42989/vanguardia-pais-ciu-mayoria/ y http://es.wikipedia.org/wiki/Elecciones_al_Parlamento_de_Catalu%C3%B1a_de_2010 podemos ver que CiU obtuvo un 38.47% y que el CIS (link dentro de la noticia) acertó con el 38%. Otra encuesta le da el 39.3%.

    Por otro lado, ERC obtuvo un porcentaje menor de votos que el esperado, al contrario de lo que ha pasado este año.

    Creo que lo ocurrido obedece a algo excepcional, porque si no, esos segos también se hubiesen producido en 2010.

  8. datanalytics 3 Diciembre, 2012 16:27

    @Daniel En cualquier caso, los porcentajes son bastante irrelevantes. Lo relevante son los escaños. Y la función que permite calcular los unos a partir de los otros dista mucho de ser lineal…

Los comentarios están desabilitados.