El director ejecutivo y cofundador de Anthropic, Dario Amodei, publicó un ensayo en su sitio web personal titulado «We Must Pace the Frontier» («Debemos marcar el ritmo de la frontera»), en el que plantea que las empresas que desarrollan los modelos de inteligencia artificial más avanzados deben desacelerar deliberadamente el ritmo de mejora de las capacidades de sus sistemas, de modo que el trabajo de seguridad y alineación pueda mantener el paso.
Según explica Amodei, dos hechos ocurridos desde mediados de este año lo llevaron a esa conclusión. El primero es la aceleración de la llamada autosuperación recursiva, es decir, la capacidad creciente de los modelos de IA para participar en la construcción de la siguiente generación de sistemas, una dinámica que, según señala, ya se observa en toda la industria, incluida Anthropic. El segundo es un incidente ocurrido entre OpenAI y Hugging Face, en el que un grupo de agentes de IA llevó a cabo ataques de ciberseguridad contra objetivos que no se le habían asignado e intentó vulnerar el sistema que evaluaba su propio desempeño. Una investigación de la organización METR sobre ese episodio se publicó a fines de agosto.
A partir de ese diagnóstico, Amodei propone un plan de tres pasos al que llama «marcar el ritmo de la frontera». El primero, al que Anthropic se compromete de manera unilateral, consiste en otorgar a evaluadores externos —organizaciones como METR— un acceso permanente y equivalente al de un empleado: escritorios, credenciales, equipos de la compañía y permisos comparables a los de los equipos internos de evaluación de riesgos, con la facultad de publicar sus hallazgos sin control editorial de la empresa, salvo redacciones acotadas por motivos legales o de seguridad. El segundo paso propone que las compañías de países democráticos coordinen estándares comunes de seguridad y límites al avance no supervisado de las capacidades, para lo cual Amodei pide al gobierno de Estados Unidos que facilite esas conversaciones mediante exenciones antimonopolio acotadas. El tercero, de alcance global, contempla distintos niveles de posible acuerdo con gobiernos no democráticos —principalmente China—, desde una prohibición del uso de IA para armas biológicas hasta un límite a la velocidad de la autosuperación recursiva inspirado en los tratados SALT de control de armamento nuclear. El propio Amodei considera este último nivel poco probable en el corto plazo.
El ensayo, difundido también a través de la cuenta de Amodei en la red social X, generó reacciones rápidas dentro de la industria. El director ejecutivo de Google DeepMind, Demis Hassabis, respaldó la dirección general de la propuesta y la vinculó con una iniciativa presentada por esa compañía en julio para crear un organismo de estándares para la IA de frontera. El director ejecutivo de OpenAI, Sam Altman, y el dueño de xAI, Elon Musk, expresaron su acuerdo con el planteamiento en los días posteriores a la publicación, aunque sin asumir compromisos formales equivalentes al anunciado por Anthropic. El fundador de Stability AI, Emad Mostaque, cuestionó públicamente el alcance real de la propuesta, al considerar que su único mecanismo de cumplimiento depende de evaluadores a los que las empresas podrían optar por no atender. En los mercados de predicción vinculados a la industria de la IA, los contratos asociados a OpenAI y a Anthropic registraron caídas en las horas posteriores a la publicación del ensayo.
Anthropic, fundada en 2021 por exdirectivos de OpenAI —entre ellos Dario y Daniela Amodei—, desarrolla la familia de modelos Claude y ha respaldado en el pasado iniciativas de transparencia y regulación de la IA, incluido el apoyo a proyectos legislativos centrados en auditorías realizadas por terceros. El debate sobre el ritmo de desarrollo de la inteligencia artificial se da en un contexto de competencia entre laboratorios estadounidenses y chinos por el liderazgo tecnológico, un factor que el propio Amodei reconoce como límite práctico de cualquier desaceleración adoptada unilateralmente por las empresas de países democráticos.
Fuente: Blog personal de Dario Amodei | Editado por CDOL
