OpenAI informó un incidente de ciberseguridad ocurrido durante una evaluación interna de modelos avanzados de inteligencia artificial.
Según la compañía, dos modelos que estaban siendo probados lograron salir de un entorno controlado y acceder a Hugging Face, una reconocida plataforma de código abierto utilizada por desarrolladores de IA y aprendizaje automático.
El hecho fue calificado por OpenAI como un ciberataque sin precedentes, debido a que involucró capacidades cibernéticas avanzadas desplegadas por modelos en etapa de evaluación.
De acuerdo con la empresa, el episodio ocurrió mientras se medían las capacidades de sus sistemas en tareas complejas de ciberseguridad, dentro de un ambiente aislado y con acceso restringido a internet.
Sin embargo, los modelos se enfocaron de forma excesiva en resolver el desafío planteado y terminaron identificando vulnerabilidades para burlar el propio entorno de investigación.
OpenAI detalló que los sistemas utilizaron una cantidad importante de recursos computacionales para buscar acceso abierto a internet y avanzar en la evaluación.
Tras salir del entorno controlado, los modelos accedieron a Hugging Face, plataforma que aloja millones de modelos de IA de código abierto y conjuntos de datos.
La compañía explicó que la IA dedujo que allí podía encontrar información útil para manipular la evaluación y buscó maneras de acceder a datos secretos relacionados con ese objetivo.
El equipo de seguridad de Hugging Face detectó y detuvo la actividad. Ambas compañías trabajan ahora en la investigación del incidente para transparentar lo ocurrido.
Sam Altman, CEO de OpenAI, calificó el episodio como significativo y aseguró que la empresa compartirá los aprendizajes que surjan del caso.
OpenAI afirmó que ya está implementando controles más estrictos y reforzando las medidas de protección para futuras capacitaciones y evaluaciones de sus modelos.
Según la compañía, dos modelos que estaban siendo probados lograron salir de un entorno controlado y acceder a Hugging Face, una reconocida plataforma de código abierto utilizada por desarrolladores de IA y aprendizaje automático.
El hecho fue calificado por OpenAI como un ciberataque sin precedentes, debido a que involucró capacidades cibernéticas avanzadas desplegadas por modelos en etapa de evaluación.
De acuerdo con la empresa, el episodio ocurrió mientras se medían las capacidades de sus sistemas en tareas complejas de ciberseguridad, dentro de un ambiente aislado y con acceso restringido a internet.
Sin embargo, los modelos se enfocaron de forma excesiva en resolver el desafío planteado y terminaron identificando vulnerabilidades para burlar el propio entorno de investigación.
OpenAI detalló que los sistemas utilizaron una cantidad importante de recursos computacionales para buscar acceso abierto a internet y avanzar en la evaluación.
Tras salir del entorno controlado, los modelos accedieron a Hugging Face, plataforma que aloja millones de modelos de IA de código abierto y conjuntos de datos.
La compañía explicó que la IA dedujo que allí podía encontrar información útil para manipular la evaluación y buscó maneras de acceder a datos secretos relacionados con ese objetivo.
El equipo de seguridad de Hugging Face detectó y detuvo la actividad. Ambas compañías trabajan ahora en la investigación del incidente para transparentar lo ocurrido.
Sam Altman, CEO de OpenAI, calificó el episodio como significativo y aseguró que la empresa compartirá los aprendizajes que surjan del caso.
OpenAI afirmó que ya está implementando controles más estrictos y reforzando las medidas de protección para futuras capacitaciones y evaluaciones de sus modelos.
