02 septiembre, 2022

Modelos de predicción matemáticos contradicen encuestas y dan por ganadora a la opción Apruebo

@mostrador

Según el quinto estudio matemático de Espacio Político, concluido el pasado 19 de agosto, que extrajo datos de los últimos 21 días (500 horas) de interacciones en Internet, con filtros de exclusividad para el Apruebo y el Rechazo, a partir de datos masivos obtenidos de las tendencias de Google, se proyecta que la opción Apruebo gana con un 55,1% el plebiscito de salida este domingo 4 de septiembre. Esto, según relata el máster en ciencias y doctor en Filosofía por la University College London, con estudios de posgrado en Big Data e Inteligencia de Negocio, Francisco Vergara Perucich. Espacio Político ha estado realizando reportes con la misma metodología usada en el plebiscito de entrada, donde el modelo arrojó como resultado que la opción Apruebo ganaría con un 77,80% de las preferencias, y el resultado final fue de 78,28%. Para la segunda vuelta entre Boric y Kast, el modelo pronosticó un triunfo del primero por un 57% contra 43% del segundo, siendo el resultado final de 55,64% para Boric; este último estudio fue publicado en Research Gate.

En cuanto a la diferencia que tiene el estudio de Espacio Político respecto a las encuestas tradicionales que se han difundido en Chile, Vergara explica que cuando estas son probabilísticas, pueden ser más confiables, pero no están exentas de errores metodológicos.

Las encuestas más frecuentemente citadas hoy "constan, en su mayoría, de un panel probabilístico, por ejemplo, de 250 mil usuarios o algo así y de eso sacan su muestra para hacer el estudio. Eso no es un error en sí… si estás probando un producto, por ejemplo, una coca-cola, o una marca nueva, porque tú tienes un segundo universo representado de potenciales clientes. El problema es cuando tienes una votación general que es obligatoria y donde eventualmente tienes dos grupos de encuestados que son poco propensos a responder encuestas, que son jóvenes y el grupo socioeconómico E, que son a los que menos registran las encuestas".

Entonces, prosigue Vergara, ahí “podría haber una distorsión que explique por qué hay tanta distancia entre nuestros pronósticos, que son los de las modelaciones matemáticas, y los números de la encuesta, porque hay un registro al que nosotros sí podemos llegar, porque no le preguntamos a nadie, simplemente sacamos datos que existen en las redes sociales”.

Reporte 20 agosto 2022 Plebiscito Salida

Resultados distintos

A pesar de tener confianza en su modelo predictivo, Vergara reconoce la complejidad del plebiscito de salida, “Ahora, históricamente, en el caso de nosotros, que venimos haciendo esto hace un rato, nunca nos había tocado ver que la encuestas y nuestros datos fueran tan distintos. Ahora vamos a ver si los computadores o la encuesta son las que van a ser el mejor instrumento para predecir elecciones. Esta distancia que se ha producido entre los dos métodos es interesante de observar, ya que hay algo que no se está viendo. Por mi parte, estoy muy expectante y ansioso por saber qué pasó, porque en el fondo, o está mal nuestro modelo, lo que no ha sido así antes, o están malas las encuestas, lo que tampoco ha sido así antes”.

A pesar de sus dudas, el experto en Big Data e Inteligencia de Negocios señala que la inteligencia artificial hoy es el instrumento más exacto para predecir escenarios electorales. “Hoy en día está bastante demostrado en la literatura que, más que una encuesta, es mucho más útil hacer mediciones en redes sociales en países donde hay mucha penetración de redes sociales, como Chile. Nosotros, según Google, tenemos una mención muy alta, de un 70% de su plataforma. Por ejemplo, un modelo de machine learning –que nosotros no hacemos porque es muy costoso en tiempo– es tremendamente preciso, mucho más que una encuesta”.

Respecto a la posibilidad de que el modelo matemático elaborado por Espacio Político falle, Vergara no tendría complejos en reconocer el error: “Nosotros somos científicos, estamos constantemente expuestos al fracaso, no estamos prisioneros de la verdad, pero lo que pasa es que hemos sido muy precisos antes. Ahora que no se parezcan en nada a ninguna encuesta, ni de izquierda ni de derecha, ya nos tiene preocupados”.

Vea el informe completo y la metodología de Espacio Político entregado el pasado 20 de agosto

Inteligencia artificial y el procesamiento de lenguaje natural de Daoura

Daoura es una empresa brasileña experta en inteligencia artificial y procesamiento de lenguaje natural, es decir, a través de machine learning (aprendizaje de máquinas) para entender el lenguaje humano y desde ahí extraer información de las redes sociales que obtengan insights que sean relevantes. Ellos utilizan una metodología basada en una teoría denominada “Social Sensing”, que refiere al monitoreo de la sensación del sentimiento social. Y generan un indicador que se llama “termómetro social”, a partir de esa información. Esta teoría explica que hay un actor importante que influencia a la comunidad, de alguna forma, entonces, con esta teoría puesta en el contexto social digital, aplican y proyectan escenarios futuros.

Según su informe elaborado el 14 de agosto pasado, ellos proyectaron que la opción Apruebo gana con 56%, con un 95 % de confianza y 2 puntos porcentuales de error. El monitoreo es 24/7, pero publican informes semanales. Básicamente de ahí se extrae una proyección, según el promedio de todos los días, y en este caso fueron 100 días o 15 semanas, desde el 1 de mayo hasta el 14 de agosto.

“Daoura empezó en 2017 y era una plataforma para entender qué hablaba la gente sobre una ciudad, esa información era entregada en principio a las municipalidades o para la gestión de demandas ciudadanas o detectar problemas de inseguridad, salud o educación. Eso fue al principio del proyecto, pero después de dos años nosotros empezamos a tener empresas también que tenían mucho interés en monitorear lo que la gente hablaba sobre productos, servicios o marcas y entender la tendencia social y las oportunidades de negocios”, detalla Daniel Merege, uno de los cofundadores de la empresa y que dirige la operación en Chile y Latinoamérica, Ingeniero informático y con estudios de emprendimiento y negocios en la Universidad de Stanford.

“Como método, la plataforma realiza la escucha social y nosotros configuramos palabras clave, que estén relacionadas con el plebiscito, por ejemplo, yo apruebo, yo rechazo, yo apruebo de salida, etc. Recolectamos todo eso en la base de datos, que almacena esa información y nuestra inteligencia artificial empieza a procesar texto a texto, extrayendo los insights y las  “informaciones contextuales”, como las  llamamos, es decir, el sentimiento, el engagement (alcance), la localización del texto y la emoción que la persona expresó en el texto, hay muchas habilidades cognitivas extraídas para que nosotros podamos generar los insights, para que nuestros científicos de datos entiendan lo que se está hablando, ese es nuestro principal objetivo”, explica Merege.

Para el plebiscito de entrada de 2020, Daoura proyectó que la opción Apruebo ganaría con aproximadamente el 75% de los votos, frente al 25% de la opción Rechazo. Tras el cómputo final de votos, llegó la confirmación: el 78,27% de los chilenos votó por la aprobación, frente al 21,73% que optó por rechazar, resultado de solo 3 puntos porcentuales de diferencia entre la realidad y la proyección de la inteligencia artificial.

Respecto a los resultados de las encuestas tradicionales, el ingeniero informático apunta que son cosas muy distintas, “nosotros no podemos compararnos directamente a las encuestas porque no hacemos preguntas. Ahí ya está la primera gran diferencia entre lo que hacemos y lo que hacen las encuestas. En nuestro caso, nosotros monitoreamos a gente que se expresa de manera natural y por sí misma y no provocadas por preguntas. Como las redes sociales tienen una presencia muy importante en todo el mundo y también en Chile, entendemos, a partir de la teoría del social sensing, que lo que la gente expresa, puede y de hecho está influenciando a otras personas que quizás no estén en el mundo digital, pero son influenciadas por la información que se genera ahí”.

En cuanto a la diferencia de resultados que tienen con las encuestas tradicionales, Merege plantea que hay que revisar muy bien cómo se hicieron, las preguntas, cuántas personas llamaron y conversaron, cómo fue toda la recolección de datos. “No hay mucha información de las encuestas sobre quién exactamente contestó efectivamente y, por lo tanto, el resultado que estamos viendo ahora puede ser un resultado con un sesgo específico, como puede ser que no. En cambio, cuando vemos las redes sociales –y nuestra plataforma tiene la ventaja de no estar en la burbuja del Apruebo o del Rechazo–, estamos viendo todo, entonces, a partir de esa amplia visión de lo que la gente está hablando, nosotros podemos leer de una forma distinta lo que las redes sociales están entregando. Hay que ver también el resultado que están reportando, hay una proporción de indecisos muy alta en las encuestas y sabemos, de acuerdo con lo que ellos publicaron, si esas personas están siendo influenciadas por personas que votan Apruebo o Rechazo, y ahí hay un margen muy grande para decir que el Apruebo ganará”.

Al ser consultado sobre las organizaciones que utilizan modelos matemáticos o de inteligencia artificial para predecir los resultados del plebiscito de salida, el sociólogo Axel Callís, director de Tú Influyes, se muestra escéptico. “No los conozco, no sé su metodología, no sé qué va a ser de ellos después del plebiscito. Nosotros nos jugamos nuestro prestigio en cada elección, somos parte de la Asociación de Investigadores de Mercado y Opinión Pública de Chile (AIM), donde publicamos nuestros resultados y estudios. Y vamos a seguir haciendo encuestas después de la elección cuando a nadie le importe. Hay que ver si estas personas van a seguir haciendo estudios después del domingo 4 de septiembre. Yo tampoco sé si ellos se juegan su prestigio", sostiene algo incómodo.

Por su parte, Marta Lagos, directora de Mori, si bien tiene sus dudas, no se cierra a la posibilidad de que la predicción matemática o inteligencia artificial acierten. “Creo que toda la gente que está haciendo experimentos me parece súper interesante y yo los miro todos seriamente. Repito, una cosa es que un experimento que tú dices 'mira, esta gente lleva dos elecciones haciendo lo mismo', bueno, que escriban el método a ver si otra persona lo puede replicar. O sea, el método no existe hasta que no esté publicado y no esté aplicado por terceras personas en circunstancias distintas”.

Respecto a la complejidad de predecir el resultado del referéndum constitucional de salida, Marta Lagos asegura que el problema no es solo acá en Chile. “El punto es que este no es un plebiscito que, porque sea chileno, porque seamos nosotros, porque haya circunstancias chilenas específicas... los plebiscitos son animales feroces. En el Brexit se equivocaron las encuestas, en Colombia también, porque son animales feroces, son mucho más difíciles de medir porque, lo que tú estás votando, no es una persona. Entonces es más difícil identificar tu voto, porque tu voto depende de valores, de impresiones, de actitudes, por eso que un incidente como el de Valparaíso puede influir, ¿te fijas? ¿Por qué? Porque resulta que tú estás votando por un conjunto de valores, y ese valor se te puede derrumbar por un hecho. Bueno, ha pasado en muchas elecciones en el mundo que las elecciones se dan vuelta por un hecho”, señala.


 

Solo como novedad ñoña. Me parecía, y parece, una herramienta muy buena para verificar tendencias, no solo de votos, en todo. Mucha gente maneja sus interacciones de manera muy pro cuando viven de esto al parecer. Especialmente con productos Google.

But…

Los civiles informáticos reventaron esto…

El principal problema que vieron es que en un ambiente de voto obligatorio no tienen sentido las interacciones en las RRSS y Google dado que quienes no interactúan con las redes y tienen que votar no están considerados en estas modelaciones.

La otra más ñoña no la entendí, pero decía relación con el input de data del estudio.

Finalmente, da lo mismo.

La encuesta final será el domingo.

Está decidido desde hace mucho rato, solo resta saber cual fue esa decisión.

Los mercados están tranquilos en el agregado general.

Al parecer lo que sea que pase no generará gran inestabilidad o violencia, o eso es lo que parece estiman los mercados.

Han salido estudios este par de días de encuestadores que siguen dando lo mismo en ventaja de 10 puntos más o menos.

Veremos que tiene mejor poder predictor. Muy interesante esto como fenómeno a observar. Porque las redes y Google miden intención real de consumo, no declarada. Por ejemplo en Europa las búsquedas por leña se dispararon en Agosto, y más que probablemente las ventas lo seguirán.

Imprimir artículo

6 comentarios:

  1. Anoche aparecían fotos del cierre de campaña del Apruebo con una cantidad grande de gente versus rl cierre del Rechazo que fue más bien algo íntimo. Veo demasiado triunfalismo en los apruebonaos que les puede reventar en la cara aunque también señas de un mal presentimiento.

    ResponderEliminar
    Respuestas
    1. Es una muy buena estrategia la que usaron. LLevaron un dream team de artistas para llenar todo y reforzar la confianza. Estoy seguro que había mucha gente que rechaza en el público. Es un concierto gratis. No va a cambiar el voto, pero puede ayudar a que la gente del apruebo que estaba desanimada vaya a votar.

      Eliminar
  2. En el Metaverso capaz gana el apruebo y el Boris es el amado líder que el país necesita.

    ResponderEliminar
  3. Unos tópicos importantes en este aspecto…
    1. Cuál sistema? Sistémas de cómputadores binarios vs quánticos. En sistémas binários sólamente se puede medir 1 o 0. Pero no el grado. (los tónos grises en el entremedio). Y solamente linear.
    2. El tipo de pregúnta/affirmación (pregúnta/affirmación cerrada vs abierta)….
    3. Tratando de leer y ver emociónes a través sistemas informáticas….. Muchos „false positives“….? Y “Machine learning”IA learning- Pueden aprender solamente en base de la información que tienen (Input) y experiencia prévia(la conclusión que sacó IA) vs las reglas reglas establecídos de límites…(la cancha en la cuál hay que jugar)….
    4. Basar modélos de prédición -interacción vía códigos (i.e. lenguaje,economía) depende del grado del resultado esperado. (Por ejemplo- pregúnta: Respírarás mañana? El resúltado será “si” con una próbabilidad gígantesco. Pq tiene el grado menor de interpendencia. No obstante, accidentes, crímen, Apocalipsis etc. (“cisnes negros”)pasan….lol. Lo más los grados de interpendéncia de factóres, lo más improbáble la certéza de la prédicción. Y Una pregúnta muy importante que hay que preguntárse después…Cómo mido el resultádo? Fue una predicción o simplemente “suerte/influencia/ manipulación?) Espécialmente si estoy límitado en dos 2 opciónes…
    Y ahora la (en mi opinión) sobérbia de los modelos prédictívos…. (En economía, sociedad, etc…) y modélos prédictívos con tántas cápas…. Y la médición del résulatado?
    Y ahora ponemos en relación los costos de la “producción” de estos. Energía, infrastructúra -(Hardware/software, seguridad, contról, etc.etc.)
    Entonces el prodúcto trae lo que uno paga para esto?
    Un cliente(partído político, empresa, etc.) recibe un prodúcto adequado a lo que quiere comsumir en relación al precio…?
    Obviamente tengo muchos más pensamientos relacionados al tema, que no estoy dispuesto de escribír en el blog…Cómo lo interpretaría un modelo prédictivo esta frase? Lol…
    Abrazo a la comunidad!

    by amoachile

    ResponderEliminar
  4. El IPSA se intranquilizó, asumiendo que gana el Rechazo. Veamos como amanece el lunes

    ResponderEliminar

El objetivo de este Blog es compartir opiniones, así es que tus ideas y sugerencias son bienvenidas...

Compramos mierda que no necesitamos, con dinero que no tenemos, para impresionar a gente que no conocemos...Ni nos importan....