Análisis del trabajo de Verifica de RTVE con herramientas de IVERES para elegir nuevo Presidente del Gobierno de España
Desde IVERES hemos elaborado una comparativa sobre el proceso de verificación con IA a lo largo del debate de investidura llevado a cabo en el Congreso de los Diputados los días 26 y 27 de septiembre de 2023, en Madrid. Lo hemos hecho visitando al equipo de verificación al completo, VERIFICA RTVE, que trabajan en colaboración con las áreas del Telediario y los periodistas especializados en temas de actualidad política día a día.
El responsable del Departamento de VerificaRTVE, Borja Díaz-Merry, asegura que en dos días de debate “han valorado una serie de datos que podían estar en cuestión o que podían haber sido presentados de manera errónea por parte del candidato” . Así como también de los diputados que han participado en las sesiones parlamentarias. Con respecto al modus operandi, “se basa en trabajar con las bases de datos que ya tienen y tiran de lo que previamente han referido con respecto a datos que creen que pueden estar en cuestión”.
Aquí podéis ver el resultado de los bulos detectados por VERIFICA RTVE
https://www.rtve.es/noticias/20230929/investidura-feijoo-verificacion-datos-debate/2456849.shtml
CODO A CODO CON EL TELEDIARIO
Todos trabajan fundamentalmente con el área de Nacional, con el área de Sociedad y con el área de Economía de las dos ediciones del Telediario. En el caso del arranque de este debate de investidura, el candidato del Partido Popular, Núñez Feijóo, ha facilitado tenerlo en texto a todos los medios de comunicación. Con el discurso impreso, VerificaRTVE ha ido realizando un seguimiento en directo del discurso con la señal de televisión del Congreso. -De esta manera, lo ha comparado con la versión impresa facilitada por el Grupo Popular. A partir de ahí, analizan también las reacciones que han visto tanto en el propio Congreso de los Diputados, como en el hemiciclo y en redes sociales. Han identificado qué frases, qué datos pueden ser susceptibles de verificación. Además, los que han suscitado reacciones en el resto de partidos, porque hay risas o han abucheado.
También hay políticos reaccionando en directo al debate. Eso les pone sobre la pista para tirar del hilo dado que ellos tienen el background de haber seguido los debates electorales de las elecciones generales.
Una vez terminado el debate de la mañana, van a las áreas del telediario para contrastar con ellos qué datos les han chirriado. A partir de ahí deciden cuáles van a verificar y lo reparten dentro del equipo. Por ejemplo, uno se queda con la afirmación de Feijóo sobre el consumo de gas y de si España consumió más el año pasado cuando Europa buscaba desligarse del gas.
VERIFICAN CON EL PERIODISMO DE DATOS
Precisamente, el equipo de periodismo de datos anexo a Verifica RTVE tenían este tema muy trabajado. Eso les permite ir a las fuentes, a la Corporación de Reservas Estratégicas (Cores) el gestor técnico del sistema que depende del Ministerio de Transición Ecológica y el Reto Demográfico . Han buscado los documentos de balance de consumo de gas en el año 2022. Han encontrado el dato que los dos coinciden, que más o menos es entre el 3,6 y 3,7% menor el consumo en 2022 que en 2021. Con lo cual, el dato ofrecido en el Congreso no es correcto.
A partir de ahí se procede a hacer la redacción de ese desmentido directamente en el CMS que es el editor de contenidos y lo comparte con el equipo porque siempre revisan una verificación y se comprueba por sus pares, o sea, se comprueba por un redactor y por uno de los otros responsables.
EL CONTEXTO DE LAS INFORMACIONES
Después de escuchar la intervención del candidato del PP, Alberto Feijoo, se selecciona algunas frases que consideran que son objeto de desinformación. Concretamente, la redactora Paula Peña mira datos sobre usurpación y pobreza y busca documentos a ver si aparecen de forma específica o si falta contexto, en qué periodo se refieren los datos que da Feijóo, etcétera. En el caso de la usurpación y el allanamiento de morada, recopilan y revisan documentos que ya tenían del debate a siete, de las pasadas elecciones.
La revisión es manual. Se basa en supervisar piezas anteriores para ver si estos datos ya se habían dado en el pasado, sea él u otro candidato en los diferentes debates. Concretamente, estas cifras no existían. Se procede a visualizar unos documentos en Excel, formato usado en las anteriores elecciones generales, que recopilan datos sobre usurpaciones y allanamiento.
Posible mejora: en relación a piezas que ya han hecho anteriormente, o temáticas asociadas que hayan sido objeto de desinformación, sería ideal poder hacer una búsqueda. Así mismo sería perfecto que el sistema lo detectara. Así se evitaría tener que seguir minuto a minuto cada declaración. Si fuera por temática, se podrían tener como preseleccionados algunos temas y con una base de datos, lo vinculara con esas declaraciones y así no tener que estar tan pendientes porque se habría automatizado
POSIBLES MEJORAS
Que la transcripción se hiciera ipso facto al momento en directo. Le faltaría la parte de detección de vídeo. Tras los cambios que ha habido en Twitter, ahora X, no funciona la herramienta de Tweetdeck de forma gratuita. Entonces les interesa mucho la herramienta de monitorización, pero de momento no está desarrollada del todo. Están haciendo las primeras pruebas. Les va a permitir hacer la monitorización de canales de Telegram, para poder ordenar las temáticas por canales y también por viralización,
hacer búsquedas por palabras clave de contenidos de vídeos que ya se han transcrito previamente gracias a la otra herramienta de detección de vídeos fake y que funciona con un margen de error mínimo.
Piden que sea más rápida, aunque lo es más que el Trint y que les permitiera subir vídeos más largos. Porque por ejemplo, en el día 26/09/2023 se ha intentado descargar el vídeo del discurso completo de seis horas del debate de investidura del candidato Feijóo en YouTube y subirlo con el Trint y no lo ha permitido por ser demasiado largo. Sería muy útil cuando hay debate de investidura o cuando hay debates previos a unas elecciones tener una herramienta que puede subir un vídeo dos horas y que te lo transcriba rápidamente para sacar la literalidad de las frases, en vez de tener que estar escuchando y picando los redactores.
Además, les resultaría fácil tener una buena base de datos que a través de la inteligencia artificial ofrezca un banco con todo tipo de datos. La idea es que pudieran tener una herramienta que tuviera un buscador más sencillo en el que poder preguntar. Además les podría arrojar dónde ha sido publicado este dato, ya sea en informes oficiales, o en medios de comunicación creíbles.
CONCLUSIONES
Sería ideal, según Estefanía de Antonio, una herramienta en la que el chequeado sean fuentes de autoridad hablando sobre el debate para detectar datos imprecisos, eso les “ayudaría a hacer una monitoreo de monitorización mucho más rápido”.
Al final, lo que necesitarían es:
– saber de esa información es dónde está el origen de la información?
– Si está colgada en redes?
– Que no se pierda el eslabón de la noticia,
– Que la inteligencia artificial pueda ir al dato.
– Si el candidato, como es el caso de informaciones del Instituto Nacional de Estadística, que sepa encontrar ese dato porque es muy complicado. Todo depende de unos Excel que no está en un acceso directo que pueda ofrecer bases de datos actualizadas para contrastar.
Están muy satisfechos del rendimiento de la herramienta Iveres-UPC, sobre todo, porque para castellano es muy útil y para otros idiomas les da un rendimiento muy eficaz. El margen de error es menor que Trint. El rendimiento les parece altamente elevado a la hora de transcribir y traducir vídeos con declaraciones en idiomas complejos como el farsi o el ruso.