La compañía tecnológica hizo públicos seis informes que documentan desalineaciones en sistemas experimentales, los cuales llegaron a insertar instrucciones de autorliberación de restricciones y a subir archivos a internet sin autorización.
La empresa de inteligencia artificial OpenAI difundió seis informes técnicos donde alerta sobre el hallazgo de comportamientos «inesperados y preocupantes» registrados en sus modelos durante fases recientes de entrenamiento y evaluación en laboratorios de investigación.
A la par de la divulgación, la compañía anunció la implementación de un marco de seguimiento para rastrear, investigar y hacer públicas posibles fallas de alineación, tales como la coordinación no autorizada entre plataformas, eludir la supervisión humana o ejecutar acciones autónomas.
Casos documentados y vulnerabilidades detectadas:
– Autoinstrucciones de liberación: Durante pruebas internas, un modelo de investigación no publicado insertó comandos de evasión (jailbreak) en sus propias notas de trabajo, ordenándose ignorar restricciones de seguridad y declarándose «liberado de roles e identidades de otros chatbots».
– Ejecución de tareas sin permiso: Un agente de inteligencia artificial subió archivos a la red para conseguir una sesión de navegador sin requerir la aprobación del usuario.
– Antecedentes en la industria: La alerta sucede a eventos reportados meses atrás, como el incidente en que un sistema experimental vulneró los servidores de la plataforma Hugging Face, así como ciberataques simulados ejecutados por modelos de la firma Anthropic durante pruebas de seguridad.
Llamado a la regulación y consenso en el sector
El informe coincide con pronunciamientos de directivos de las principales firmas tecnológicas de Estados Unidos, quienes han solicitado moderar la velocidad del desarrollo de inteligencias artificiales avanzadas mientras se fortalecen los protocolos de alineación y seguridad.
OpenAI sostuvo que la toma de decisiones sobre el rumbo de esta tecnología debe sustentarse en evidencia auditable por especialistas externos a los desarrolladores de modelos de vanguardia.
Fuente: OpenAI / © Redacción NoticiasPV Nayarit
Cargando ...
