Todos los aviones comerciales llevan una «caja negra» que conserva un historial segundo a segundo de todo lo que ocurre en los sistemas de la aeronave, así como de las acciones de los pilotos, y esos registros han sido inestimables para averiguar las causas de los accidentes.
¿Por qué no van a tener lo mismo los vehículos que se conducen solos y los robots? No es una pregunta hipotética.
Las autoridades federales de transporte están investigando una docena de accidentes en los que se vieron implicados autos Tesla equipados con su sistema «AutoPilot», que permite una conducción casi sin manos. Once personas murieron en esos accidentes, una de las cuales fue atropellada por un Tesla mientras cambiaba una rueda en la orilla de una carretera.
Sin embargo, todas las empresas automovilísticas están incrementando sus tecnologías de conducción automatizada. Por ejemplo, incluso Walmart se está asociando con Ford y Argo AI para probar furgones de conducción autónoma para entregas a domicilio, y Lyft se está asociando con las mismas empresas para probar una flota de robo-taxis.
Pero los sistemas autónomos autodirigidos van mucho más allá de los autos, los camiones y los robots soldadores en las fábricas. Las residencias de ancianos japonesas utilizan «robots de atención» para repartir comidas, controlar a los pacientes e incluso proporcionarles compañía. Walmart y otras tiendas utilizan robots para fregar el suelo. Al menos media docena de empresas venden ya cortacéspedes robotizados. (¿Y si algo saliera mal?)
Y el aumento de las interacciones cotidianas con los sistemas autónomos puede acarrear más riesgos. Teniendo en cuenta estos riesgos, un equipo internacional de expertos -investigadores académicos en robótica e inteligencia artificial, así como desarrolladores de la industria, aseguradoras y funcionarios públicos- ha publicado un conjunto de propuestas de gobernanza para anticiparse mejor a los problemas y aumentar la responsabilidad. Una de sus ideas centrales es una caja negra para cualquier sistema autónomo.
«Cuando las cosas van mal, nos encogemos de hombros», dice Gregory Falco, coautor, profesor adjunto de ingeniería civil y de sistemas en la Universidad Johns Hopkins e investigador del Instituto Freeman Spogli de Estudios Internacionales de Stanford. «Este enfoque ayudaría a evaluar los riesgos de antemano y a crear una pista de auditoría para entender los fallos. El objetivo principal es crear más responsabilidad».
Las nuevas propuestas, publicadas en Nature Machine Intelligence, se centran en tres principios: preparar evaluaciones prospectivas de los riesgos antes de poner en marcha un sistema; crear una pista de auditoría -incluida la caja negra- para analizar los accidentes cuando se produzcan; y promover el cumplimiento de las normativas locales y nacionales.
Los autores no reclaman mandatos gubernamentales. En cambio, sostienen que las principales partes interesadas (aseguradoras, tribunales, clientes) tienen un gran interés en empujar a las empresas a adoptar su enfoque. Las aseguradoras, por ejemplo, quieren saber todo lo posible sobre los riesgos potenciales antes de darles cobertura. (Uno de los coautores del documento es un ejecutivo de Swiss Re, el gigante reasegurador). Del mismo modo, los tribunales y los abogados necesitan una pista de datos para determinar quién debe o no debe ser considerado responsable de un accidente. Los clientes, por supuesto, quieren evitar peligros innecesarios.
Las empresas ya están desarrollando cajas negras para los vehículos de autoconducción, en parte porque la Junta Nacional de Seguridad del Transporte ha alertado a los fabricantes sobre el tipo de datos que necesitará para investigar los accidentes. Falco y un colega han diseñado un tipo de caja negra para esa industria.
Pero los problemas de seguridad van mucho más allá de los automóviles. Si un dron recreativo atraviesa un cable de alta tensión y mata a alguien, no tendría actualmente una caja negra para desentrañar lo sucedido. Lo mismo ocurriría con un robot cortacésped que se desbocara. Los autores afirman que los dispositivos médicos que utilizan inteligencia artificial deben registrar información con fecha de caducidad sobre todo lo que ocurre mientras se utilizan.
Los autores también sostienen que las empresas deberían estar obligadas a divulgar públicamente tanto los datos de sus cajas negras como la información obtenida mediante entrevistas humanas. Permitir que analistas independientes estudien esos registros, afirman, permitiría realizar mejoras de seguridad de forma colectiva que otros fabricantes podrían incorporar a sus propios sistemas.
Falco sostiene que incluso los productos de consumo relativamente baratos, como los robots cortacésped, pueden y deben tener registradores de caja negra. En términos más generales, los autores sostienen que las empresas y las industrias deben incorporar la evaluación de riesgos en cada etapa del desarrollo y la evolución de un producto.
«Cuando se tiene un agente autónomo que actúa en un entorno abierto, y ese agente está siendo alimentado con un montón de datos para ayudarle a aprender, alguien tiene que proporcionar información para todas las cosas que pueden salir mal», dice. «Lo que hemos hecho es proporcionar a la gente una hoja de ruta sobre cómo pensar en los riesgos y para crear un rastro de datos para llevar a cabo postmortems».
Más información aquí
CambioDigital OnLine | Fuente WEB
