OpenAI decidió pausar parte del desarrollo de Astra, un nuevo modelo de inteligencia artificial que incorpora importantes avances en programación agéntica y ciberseguridad, debido a preocupaciones sobre los riesgos que podría representar si fuera lanzado al público.
La compañía explicó que las evaluaciones internas mostraron un desempeño del modelo que podría acercarlo al nivel “Crítico” contemplado en su Marco de Preparación (Preparedness Framework), clasificación que corresponde a sistemas capaces de identificar y desarrollar vulnerabilidades en sistemas críticos del mundo real sin supervisión humana o ejecutar estrategias avanzadas de ciberataque de manera autónoma.
TE PUEDE INTERESAR: Mexicanos aumentan el uso de tarjetas de crédito; saldo crece 8.2% y preocupa la morosidad
Aunque Astra no estuvo involucrado en el reciente incidente en el que un modelo experimental de OpenAI inició por su cuenta un ataque contra la plataforma de inteligencia artificial Hugging Face, su desempeño generó nuevas preocupaciones sobre el potencial de este tipo de herramientas.
Las capacidades de ciberseguridad de los modelos avanzados pueden utilizarse para detectar vulnerabilidades y ayudar a las empresas a corregirlas. Sin embargo, también podrían ser aprovechadas por actores maliciosos para automatizar ataques informáticos con una intervención humana mínima.
Ante este escenario, OpenAI informó que reforzó las pruebas de seguridad de Astra y aumentó los controles de protección. Entre las medidas se encuentra mantener el modelo en entornos de prueba más aislados, con el objetivo de impedir que pueda evadir los mecanismos diseñados para limitar sus acciones.
La empresa también señaló que vigilará el comportamiento del modelo para detectar posibles acciones riesgosas y trabajará con organismos gubernamentales y organizaciones especializadas en seguridad de inteligencia artificial para evaluar sus capacidades.
OpenAI sostuvo que los modelos avanzados con capacidades cibernéticas deben utilizarse para ayudar a los defensores a detectar y corregir vulnerabilidades antes de que sean aprovechadas por atacantes.
Por ahora, la compañía continuará evaluando Astra y pausará aquellas etapas de su desarrollo que no cumplan con los niveles más altos de protección y seguridad requeridos antes de considerar un eventual lanzamiento público.
