El martes, Meta AI presentó una demostración de Galactica, un gran modelo de lenguaje diseñado para «almacenar, combinar y razonar sobre el conocimiento científico». Aunque está pensado para acelerar la redacción de literatura científica, los usuarios adversarios que realizaron pruebas descubrieron que también podía generar disparates realistas. Tras varios días de críticas éticas, Meta retiró la demo de la red, informa MIT Technology Review.
Los grandes modelos lingüísticos (LLM), como el GPT-3 de OpenAI, aprenden a escribir textos estudiando millones de ejemplos y comprendiendo las relaciones estadísticas entre las palabras. Como resultado, pueden crear documentos que suenen convincentes, pero esas obras también pueden estar plagadas de falsedades y estereotipos potencialmente dañinos. Algunos críticos llaman a los LLM «loros estocásticos» por su capacidad para escupir textos de forma convincente sin entender su significado.
Entre en Galactica, un LLM destinado a escribir literatura científica. Sus autores entrenaron a Galactica con «un corpus extenso y conservado del conocimiento científico de la humanidad», que incluye más de 48 millones de artículos, libros de texto y apuntes de conferencias, sitios web científicos y enciclopedias. Según el documento de Galactica, los investigadores de Meta AI creían que estos supuestos datos de alta calidad conducirían a resultados de alta calidad.

A partir del martes, los visitantes de la página web de Galactica podían teclear indicaciones para generar documentos como reseñas bibliográficas, artículos de wiki, apuntes de conferencias y respuestas a preguntas, según los ejemplos proporcionados por la página web. El sitio presentó el modelo como «una nueva interfaz para acceder y manipular lo que sabemos sobre el universo».
Mientras que algunas personas encontraron la demostración prometedora y útil, otras pronto descubrieron que cualquiera podía escribir indicaciones racistas o potencialmente ofensivas, generando contenidos que parecían autorizados sobre esos temas con la misma facilidad. Por ejemplo, alguien lo utilizó para crear una entrada en la wiki sobre un trabajo de investigación ficticio titulado «Los beneficios de comer vidrio triturado».
Incluso cuando el resultado de Galactica no era ofensivo para las normas sociales, el modelo podía asaltar hechos científicos bien entendidos, escupiendo inexactitudes como fechas o nombres de animales incorrectos, que requerían un profundo conocimiento del tema para ser detectados.
I asked #Galactica about some things I know about and I’m troubled. In all cases, it was wrong or biased but sounded right and authoritative. I think it’s dangerous. Here are a few of my experiments and my analysis of my concerns. (1/9)
— Michael Black (@Michael_J_Black) November 17, 2022
Como resultado, Meta retiró la demo de Galactica el jueves. Después, el científico jefe de IA de Meta, Yann LeCun, tuiteó: «La demo de Galactica está fuera de línea por ahora. Ya no es posible divertirse haciendo un mal uso de ella. ¿Contento?»
El episodio recuerda un dilema ético común con la IA: cuando se trata de modelos generativos potencialmente dañinos, ¿depende del público en general utilizarlos de forma responsable, o de los editores de los modelos evitar su mal uso?
El punto en el que la práctica de la industria se sitúe entre estos dos extremos variará probablemente según las culturas y la madurez de los modelos de aprendizaje profundo. En última instancia, la regulación gubernamental puede acabar desempeñando un papel importante en la configuración de la respuesta.