Una organización sin fines de lucro llamada LawZero ha sido creada con el objetivo de desarrollar una forma «honesta» de inteligencia artificial capaz de identificar los sistemas que intentan engañar o dañar a las personas.
Su fundador es Yoshua Bengio, profesor de la Universidad de Montreal y ganador del Premio Turing, considerado uno de los padres de la IA que lleva años advirtiendo sobre los riesgos de esta tecnología.
«Actualmente, la IA se está desarrollando para maximizar las ganancias», afirma Bengio. «Queremos construir IA que sean honestas y no engañosas. Es teóricamente posible imaginar máquinas sin un ego, sin un objetivo, que sean solo máquinas de puro conocimiento como un científico que sabe muchas cosas».
Con una financiación inicial de aproximadamente US$30 millones y un equipo de una docena de investigadores, la organización busca crear un nuevo sistema llamado Scientist AI, una especie de «guardián» que monitoreará e impedirá comportamientos peligrosos por parte de agentes de inteligencia artificial autónomos.
A diferencia de las herramientas actuales de inteligencia artificial generativa, el sistema de Bengio no proporcionará respuestas definitivas, sino probabilidades sobre la exactitud de una respuesta.
Este proyecto surge mientras los modelos de lenguaje grande de OpenAI, Google y Anthropic se están implementando en todos los sectores de la economía digital, a pesar de seguir mostrando problemas. Recientemente, la empresa de inteligencia artificial Anthropic afirmó que, durante las pruebas de seguridad, su último modelo de IA intentó chantajear a un ingeniero para evitar ser reemplazado por otro sistema.
Fuente: Web. Editado por CambioDigital OnLine
