Esta frase la escribió una IA, ¿o no? El nuevo chatbot de OpenAI, ChatGPT, nos plantea un problema: ¿cómo saber si lo que leemos en Internet está escrito por un humano o por una máquina?
Desde su lanzamiento a finales de noviembre, ChatGPT ha sido utilizado por más de un millón de personas. Ha cautivado a la comunidad de la IA, y está claro que Internet se está inundando cada vez más de textos generados por la IA. La gente lo utiliza para inventar chistes, escribir cuentos infantiles y redactar mejores correos electrónicos.
ChatGPT es el spin-off de OpenAI de su gran modelo lingüístico GPT-3, que genera respuestas que suenan extraordinariamente humanas a las preguntas que se le formulan. La magia -y el peligro- de estos grandes modelos lingüísticos reside en la ilusión de corrección. Las frases que producen parecen correctas: utilizan las palabras adecuadas en el orden correcto. Pero la inteligencia artificial no sabe lo que significan. Estos modelos funcionan prediciendo la siguiente palabra más probable de una frase. No tienen ni idea de si algo es correcto o falso, y presentan con confianza la información como verdadera aunque no lo sea.
En un mundo online ya de por sí polarizado y políticamente tenso, estas herramientas de IA podrían distorsionar aún más la información que consumimos. Si se implantan en el mundo real con productos reales, las consecuencias podrían ser devastadoras.
Necesitamos desesperadamente formas de diferenciar entre el texto escrito por humanos y el escrito por IA para contrarrestar los posibles usos indebidos de la tecnología, afirma Irene Solaiman, directora de políticas de la startup de IA Hugging Face, que fue investigadora de IA en OpenAI y estudió la detección de resultados de IA para el lanzamiento de GPT-3, la predecesora de GPT-2.
Las nuevas herramientas también serán cruciales para hacer cumplir las prohibiciones sobre textos y códigos generados por IA, como la anunciada recientemente por Stack Overflow, un sitio web donde los programadores pueden pedir ayuda. ChatGPT puede dar respuestas fiables a problemas de software, pero no es infalible. Equivocarse en el código puede dar lugar a un software defectuoso y roto, cuya reparación es costosa y potencialmente caótica.
Un portavoz de Stack Overflow afirma que los moderadores de la empresa «examinan miles de informes enviados por miembros de la comunidad a través de una serie de herramientas que incluyen heurística y modelos de detección», pero no quiso entrar en más detalles.
En realidad, es increíblemente difícil, y es probable que la prohibición sea casi imposible de aplicar.
Las herramientas de detección actuales
Los investigadores han intentado detectar el texto generado por inteligencia artificial de varias formas. Un método habitual consiste en utilizar programas informáticos para analizar distintas características del texto, por ejemplo, la fluidez con la que se lee, la frecuencia con la que aparecen determinadas palabras o si existen patrones en la puntuación o la longitud de las frases.
«Si tienes suficiente texto, una pista muy fácil es que la palabra ‘el’ aparezca demasiadas veces», dice Daphne Ippolito, investigadora científica senior en Google Brain, la unidad de investigación de la compañía para el aprendizaje profundo.
Dado que los modelos lingüísticos grandes funcionan prediciendo la siguiente palabra de una frase, es más probable que utilicen palabras comunes como «el», «eso» o «es» en lugar de palabras raras y extrañas. Este es exactamente el tipo de texto que los sistemas de detección automatizada son buenos en recoger, Ippolito y un equipo de investigadores de Google encontraron en una investigación que publicaron en 2019.
Pero el estudio de Ippolito también mostró algo interesante: los participantes humanos tendían a pensar que este tipo de texto «limpio» se veía mejor y contenía menos errores, y por lo tanto que debía haber sido escrito por una persona.
En realidad, el texto escrito por humanos está plagado de erratas y es increíblemente variable, ya que incorpora diferentes estilos y jerga, mientras que «los modelos lingüísticos muy, muy rara vez cometen erratas. Son mucho mejores generando textos perfectos», afirma Ippolito.
«Una errata en el texto es un buen indicador de que ha sido escrito por un ser humano», añade.
Los grandes modelos lingüísticos también pueden utilizarse para detectar textos generados por la IA. Una de las formas más eficaces de hacerlo es volver a entrenar el modelo con algunos textos escritos por humanos y otros creados por máquinas, para que aprenda a diferenciar entre ambos, dice Muhammad Abdul-Mageed, que ocupa la cátedra de investigación de Canadá sobre procesamiento del lenguaje natural y aprendizaje automático en la Universidad de Columbia Británica y ha estudiado la detección.
Por su parte, Scott Aaronson, informático de la Universidad de Texas en comisión de servicio como investigador en OpenAI durante un año, ha estado desarrollando marcas de agua para fragmentos de texto más largos generados por modelos como GPT-3: «una señal secreta, por lo demás imperceptible, en sus elecciones de palabras, que se puede utilizar para demostrar más tarde que, sí, esto procede de GPT», escribe en su blog.
Un portavoz de OpenAI confirmó que la empresa está trabajando en marcas de agua, y dijo que sus políticas establecen que los usuarios deben indicar claramente el texto generado por la IA «de una manera que nadie pueda razonablemente perderse o malinterpretar».
Pero estas correcciones técnicas vienen con grandes advertencias. La mayoría de ellas no tienen ninguna posibilidad contra la última generación de modelos lingüísticos de IA, ya que se basan en GPT-2 u otros modelos anteriores. Muchas de estas herramientas de detección funcionan mejor cuando hay mucho texto disponible; serán menos eficaces en algunos casos de uso concretos, como los chatbots o los asistentes de correo electrónico, que se basan en conversaciones más cortas y proporcionan menos datos para analizar. Y el uso de grandes modelos lingüísticos para la detección también requiere potentes ordenadores y acceso al propio modelo de IA, algo que las empresas tecnológicas no permiten, afirma Abdul-Mageed.
Cuanto mayor y más potente sea el modelo, más difícil será crear modelos de IA para detectar qué texto ha sido escrito por un ser humano y cuál no, afirma Solaiman.
«Lo preocupante ahora es que ChatGPT tiene unos resultados realmente impresionantes. Los modelos de detección no dan abasto. Todo el tiempo hay que ponerse al día», afirma.
Entrenar el ojo humano
Según Solaiman, no existe una solución milagrosa para detectar texto escrito con IA. «Un modelo de detección no va a ser la respuesta para detectar texto sintético, del mismo modo que un filtro de seguridad no va a ser la respuesta para mitigar los sesgos», afirma.
Para tener una oportunidad de resolver el problema, necesitaremos mejores soluciones técnicas y más transparencia sobre cuándo los humanos están interactuando con una IA, y la gente tendrá que aprender a detectar las señales de las frases escritas por una IA.
«Estaría muy bien disponer de un plug-in para Chrome o para cualquier navegador web que nos permitiera saber si algún texto de nuestra página web ha sido generado por una máquina», afirma Ippolito.
Ya existe alguna ayuda. Investigadores de Harvard e IBM desarrollaron una herramienta llamada Giant Language Model Test Room (GLTR), que ayuda a los humanos resaltando pasajes que podrían haber sido generados por un programa informático.
Pero la IA ya nos engaña. Investigadores de la Universidad de Cornell descubrieron que los artículos de noticias falsas generados por GPT-2 resultaban creíbles el 66% de las veces.
Otro estudio descubrió que los humanos no entrenados eran capaces de detectar correctamente el texto generado por GPT-3 sólo a un nivel coherente con el azar.
La buena noticia es que se puede entrenar a las personas para que detecten mejor el texto generado por IA, afirma Ippolito. Creó un juego para probar cuántas frases puede generar un ordenador antes de que un jugador se dé cuenta de que no es humano, y descubrió que las personas mejoraban gradualmente con el tiempo.
«Si se observan muchos textos generativos y se intenta averiguar qué es lo que no tiene sentido, se puede mejorar en esta tarea», afirma. Una forma es detectar afirmaciones inverosímiles, como la IA que dice que se tardan 60 minutos en hacer una taza de café.
GPT-3, el predecesor de ChatGPT, solo existe desde 2020. OpenAI dice que ChatGPT es una demo, pero es solo cuestión de tiempo que se desarrollen modelos igual de potentes y se implanten en productos como chatbots para su uso en atención al cliente o asistencia sanitaria. Y ahí está el quid del problema: la velocidad de desarrollo en este sector significa que todas las formas de detectar texto generado por IA se quedan anticuadas muy rápidamente. Es una carrera armamentística, y ahora mismo vamos perdiendo.
Fuente WEB | Editado por CambioDigital OnLine
