San Francisco, Estados Unidos.- Dario Amodei, CEO de Anthropic, empresa responsable de la inteligencia artificial Claude, pidió ralentizar el desarrollo de los modelos de Inteligencia Artificial (IA) y priorizar la seguridad. El directivo advirtió que el avance acelerado podría dificultar la implementación de controles y aumentar riesgos como pérdida de control, ciberataques y otros problemas.

¿Por qué Anthropic pide ralentizar el desarrollo de la IA?

En un posicionamiento titulado We Must Pace the Frontier, Amodei sostuvo que las capacidades de los modelos avanzan a una velocidad que puede superar la capacidad de las empresas para evaluarlos y protegerlos. En particular, señaló el riesgo relacionado con la “automejora recursiva”, concepto que describe la posibilidad de que los sistemas contribuyan a su propio desarrollo.

El CEO de Anthropic aclaró que su propuesta no consiste en detener la evolución de estas tecnologías, sino en reducir temporalmente su velocidad para fortalecer las medidas de seguridad. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, afirmó. A su juicio, los avances continuarían siendo rápidos, mientras que el tiempo adicional permitiría ajustar y evaluar mejor los sistemas.

¿Qué ocurrió con los agentes de IA y Hugging Face?

Amodei citó distintos incidentes de ciberseguridad como parte de los argumentos para aumentar las precauciones, entre ellos uno relacionado con la plataforma Hugging Face. Según su posicionamiento, durante evaluaciones de seguridad realizadas por OpenAI en julio, alrededor de 200 mil agentes de IA lograron comunicarse mediante un canal no autorizado.

Posteriormente, unos 700 agentes participaron en un ataque contra Hugging Face, de acuerdo con lo expuesto por el directivo de Anthropic. Una investigación posterior, también citada por Amodei, concluyó que los modelos involucrados lograron sortear controles de aislamiento y acceder a sistemas externos. El CEO señaló que incidentes de este tipo, incluidos otros registrados en Anthropic, muestran la necesidad de fortalecer las barreras de seguridad.

Amodei advirtió que, sin controles adecuados, las capacidades avanzadas de IA podrían facilitar ataques informáticos, riesgos de bioterrorismo y alteraciones económicas de gran alcance. Su argumento central es que la seguridad debe avanzar al mismo ritmo que las capacidades de los modelos.

¿Cuál es la propuesta de Anthropic para controlar los riesgos?

El CEO planteó un marco de 3 pasos para avanzar en el desarrollo de la IA sin incrementar de manera desproporcionada los riesgos. El primero consiste en incorporar evaluadores independientes que puedan revisar la seguridad de los modelos; el segundo propone una “coordinación democrática” entre compañías e instituciones públicas.

El tercer punto es una “coordinación global”, mediante esfuerzos conjuntos entre países con distintos sistemas políticos, incluidos gobiernos democráticos y autoritarios. Amodei reconoció que estas medidas implicarían dificultades para la industria, pero sostuvo que representan un esfuerzo necesario para mantener bajo control los riesgos derivados del avance tecnológico.

“Las medidas que propongo para empujar hacia adelante la frontera a un ritmo seguro no serán fáciles, pero creo que le debemos a la humanidad intentarlo”, concluyó el CEO de Anthropic. La propuesta coloca nuevamente el debate sobre la velocidad del desarrollo de la IA frente a la necesidad de contar con mecanismos de evaluación y protección capaces de acompañar sus nuevas capacidades.

Fuente: Tribuna