La inteligencia artificial (IA) puede evaluar la fiabilidad de las noticias a la par que los expertos humanos y reconstruir conceptos basándose en los datos con los que se entrena.
Esta es la conclusión de un estudio realizado por investigadores de la Universidad La Sapienza de Roma, que han comparado los Large language models (LLM) -programas de IA entrenados con una gran cantidad de datos- de Google, Meta y OpenAI y equipos estructurados de expertos humanos como NewsGuard y Media Bias Fact Check (MBFC).
«Nuestros resultados revelan una fuerte alineación entre LLM y las clasificaciones humanas sobre todo en la identificación de fuentes poco fiables», señalan los investigadores. El estudio examinó los modelos Gemini 1.5 Flash de Google, GPT-4o mini de OpenAI y LLaMA 3.1 de Meta.
Estos modelos clasifican las teorías de la conspiración, el sensacionalismo y la parcialidad de forma análoga a los criterios clave utilizados por los expertos en sus evaluaciones. Son menos coherentes cuando el contexto es limitado. Además, «curiosamente», escriben los investigadores, «en el ámbito político, los medios de comunicación de derechas se consideran menos fiables y los de centro más fiables, lo que plantea la cuestión de si los grandes modelos pueden heredar sesgos en el entrenamiento».
En general, los investigadores observan que, en los grandes modelos, las palabras clave que se refieren a noticias locales, información basada en hechos o lenguaje neutro se asocian generalmente con la fiabilidad. Por el contrario, la falta de fiabilidad se caracteriza a menudo por términos relacionados con el sensacionalismo, la controversia o la parcialidad, que reflejan indicadores utilizados habitualmente por los expertos humanos para identificar fuentes con poca credibilidad. Además, la «transparencia» y el «sesgo» surgen como los criterios más comúnmente evaluados para la fiabilidad o falta de fiabilidad de la información.
«El estudio», explican los investigadores en sus conclusiones, »reformula los grandes modelos lingüísticos no simplemente como clasificaciones automatizadas, sino como ventanas a las estructuras cognitivas subyacentes tanto de los humanos como de las máquinas. Al analizar sus procesos de razonamiento, nos acercamos a la comprensión de cómo simulan la evaluación estructurada y se comparan con las estrategias cognitivas humanas en tareas de juicio complejas».
Fuente: La Sapienza
