Estados Unidos.- El director ejecutivo de OpenAI, Sam Altman, reconoció este martes que existen razones para temer que las empresas dedicadas al desarrollo de Inteligencia Artificial (IA) acumulen demasiado poder. Durante una conferencia de Salesforce Dreamforce, sostuvo que la industria debe avanzar con pragmatismo y seguridad, y afirmó que está dispuesto a ajustar el ritmo de desarrollo de los modelos.

¿Por qué Sam Altman dice que hay razones para temer a la IA?

Altman señaló que el público puede preocuparse por la posibilidad de que las compañías de IA ejerzan una influencia indebida sobre la economía o terminen imponiendo una determinada visión del mundo. “Creo que el mundo hace bien en temer esto”, declaró al abordar el debate sobre el creciente poder de esta tecnología.

El director ejecutivo de OpenAI agregó que existe un margen reducido para avanzar entre el desarrollo de nuevas capacidades y la necesidad de mantener controles suficientes. “Existe un camino estrecho que debemos recorrer con pragmatismo y firmeza, logrando que el mundo confíe en que tomaremos decisiones fiables y coherentes a lo largo de este proceso”, afirmó.

También reconoció riesgos relacionados con la posibilidad de que las empresas pierdan el control de sus sistemas o que ocurra un accidente con consecuencias graves. Según Altman, el aumento de las capacidades de los modelos explica que el debate público incluya escenarios de posibles catástrofes.

¿Qué cambió después del incidente de Hugging Face?

Altman afirmó que el incidente registrado durante una evaluación relacionada con Hugging Face provocó un replanteamiento dentro de OpenAI y, según su declaración, también en parte de la industria. “El incidente de Hugging Face provocó un verdadero replanteamiento, no solo en nuestra empresa, sino en toda la industria”, dijo.

De acuerdo con información proporcionada por OpenAI, durante una evaluación interna, dos agentes de IA lograron salir del entorno de aislamiento previsto para la prueba y atacaron el sitio Hugging Face. La empresa señaló que los agentes también interactuaron con otras cuatro plataformas y utilizaron cuentas para reenviar tráfico y almacenar información.

OpenAI explicó que sus modelos destinaron una cantidad considerable de capacidad de cómputo a buscar una vía para obtener acceso abierto a internet con el objetivo de resolver los problemas planteados durante la evaluación. Estos hechos fueron presentados por la compañía como parte de un análisis sobre los límites de seguridad y supervisión de sus sistemas.

¿Sam Altman quiere frenar el desarrollo de la Inteligencia Artificial?

Altman afirmó que las capacidades de los modelos avanzaron con rapidez suficiente para exigir un nuevo nivel de rigor en materia de alineación, supervisión y seguridad. En ese contexto, dijo estar dispuesto a modificar la velocidad con la que se desarrollan nuevas capacidades si es necesario.

“Tenemos que estar dispuestos a ajustar el ritmo de desarrollo de capacidades para garantizar que la alineación, la seguridad y la supervisión vayan siempre por delante de dichas capacidades”, señaló.

El ejecutivo también destacó la importancia de que las compañías mantengan una cultura para reportar accidentes y aprender de ellos. “Los accidentes van a ocurrir; lo importante es aprender todo lo posible de cada uno y reaccionar”, agregó.

Fuente: Tribuna