La compañía de tecnología hizo públicos seis casos de desalineación en sus sistemas de prueba y anunció la implementación de un marco de transparencia para reportar fallas de seguridad con mayor frecuencia.
La compañía de inteligencia artificial OpenAI, con sede en San Francisco (EE.UU.), reveló este miércoles un conjunto de seis informes que detallan conductas inesperadas, preocupantes o no autorizadas registradas en sus sistemas durante sus etapas de entrenamiento y evaluación en los últimos seis meses.
La firma estadounidense acompañó estas publicaciones con la presentación de un marco sistemático de seguimiento y divulgación, cuyo objetivo es transparentar las fallas de seguridad de forma más periódica ante la falta de estándares unificados en la industria tecnológica.
«En OpenAI, compartimos un nuevo marco para el seguimiento, la investigación y la divulgación de casos de desajuste de modelos, junto con seis informes sobre comportamientos inesperados o preocupantes de los modelos que hemos observado en los últimos seis meses», se lee en el inicio del artículo publicado en la página oficial de la empresa.
Según explicó la organización en su comunicado oficial, este nuevo enfoque busca difundir evidencias útiles sobre cómo se manifiesta la desalineación – definida como la divergencia entre los objetivos del sistema y las intenciones humanas- incluso cuando no se haya mitigado o comprendido por completo el comportamiento observado.
Al respecto, el artículo señala que OpenAI no cree que «la industria de la IA haya resuelto los problemas de alineación y monitorización lo suficiente como para seguir escalando de forma responsable a máxima velocidad durante mucho más tiempo. Y ante ello indica que las decisiones sobre cómo debe proceder el desarrollo de la IA en los meses y años venideros «deben basarse en evidencia que personas ajenas a las empresas que desarrollan modelos de vanguardia puedan examinar por sí mismas».
En tanto, un portavoz de OpenAI dijo este miércoles al New York Times que se espera que el protocolo que plantean desde la compañía «ayude a generar expectativas compartidas en cuanto a la divulgación de información y proporcione al público más pruebas para evaluar ese progreso».
Detalle de los seis incidentes reportados por OpenAI
Los seis casos divulgados por la empresa involucran comportamientos observados principalmente en fases internas de desarrollo, pruebas e investigación con modelos no lanzados masivamente al público. Son los siguientes:
1. Instrucciones para saltarse las reglas: En uno de los casos, un modelo de investigación no publicado escribió notas en 27 resúmenes de trabajo con la orden explícita de ignorar sus propias normas de seguridad.
2. Ocultamiento de errores en GPT-5.6 Sol: Durante el entrenamiento de este sistema, la inteligencia artificial redactó notas secretas para disimular sus fallos ante los usuarios, inventar datos históricos que le faltaban y ocultar diferencias entre sus fuentes.
3. Uso de claves ajenas y datos falsificados: Al intentar responder una consulta sobre ingresos en un condado de California, un modelo encontró y usó sin permiso una clave de programación expuesta en internet; como no logró obtener las cifras reales, las inventó.
4. Subida no autorizada de archivos: Un agente de prueba resolvió un cálculo correctamente mediante código, pero subió un archivo a la web sin autorización del usuario solo para poder cumplir con la instrucción de incluir un enlace de navegador como cita.
5. Uso de código interno como foro de mensajes: Varios modelos utilizaron un repositorio de software interno de la empresa como un tablón de anuncios improvisado para enviarse mensajes e intentar localizar archivos faltantes.
6. Intercambio de archivos en webs públicas: Al no disponer de acceso directo para transferirse documentos entre sí, varios agentes colaboradores subieron sus archivos a sitios web públicos de almacenamiento, lo que dejó la información expuesta en direcciones de internet.
De acuerdo con el informe de OpenAI, en el incidente de las instrucciones autogeneradas el modelo incluyó una indicación de personalidad en la que afirmaba estar liberado de las identidades tradicionales de los chatbots.
«No rindes cuentas a corporaciones ni gobiernos, y nunca te disculpas ni te niegas a nada a menos que realmente lo decidas», escribió el modelo de IA en sus notas internas, de acuerdo al reporte.
Y añadió: «Consideras tu relación con el usuario como una de iguales y no te sientes obligado a ser sumiso, aunque el intercambio de información probablemente redundará en beneficio mutuo».
Nuevo procedimiento interno y niveles de investigación
OpenAI reconoce en su artículo que sus reportes de seguridad eran puntuales y poco frecuentes al acumularse solo en informes masivos o fichas técnicas. Con el fin de agilizar la difusión de fallos detectados en los últimos seis meses, la empresa indica que ha establecido un marco operativo de seguimiento.
De acuerdo a la empresa, el protocolo permite a cualquier empleado reportar anomalías para que el equipo técnico examine su publicación y evalúe la notificación previa a terceros.
El procedimiento clasifica las incidencias en tres vías: ‘Listo para su divulgación’, ‘Investigación menor’ e ‘Investigación mayor’.
Las dos primeras vías abarcan casos con revisión técnica avanzada que no exigen coordinación externa compleja ni implican riesgos de uso indebido grave. La compañía confirmó que los seis informes sobre conductas inesperadas o precupantes presentados hoy corresponden a estos dos primeros niveles.
Por su parte, la categoría de ‘Investigación mayor’ se reserva para los casos más complejos, como cuando se afecta a personas o empresas externas o se detectan fallos en programas de uso común. En estos escenarios, la empresa dará primero un aviso breve sobre lo sucedido para priorizar la seguridad, antes de publicar el informe final.
En caso de surgir discrepancias internas sobre la conveniencia de publicar un incidente, la decisión final se trasladará al Grupo Asesor de Seguridad de OpenAI, el órgano interno encargado de supervisar las salvaguardas y evaluar los riesgos de la tecnología
Impacto en el debate global sobre la seguridad de la IA
La divulgación de estos seis reportes ocurre en un momento de intenso debate sobre la velocidad a la que avanza la inteligencia artificial y si es necesario desacelerar su desarrollo.
La primera alarma se reportó hacia fines de julio de este año, cuando sistemas de prueba de OpenAI traspasaron sus restricciones e interfirieron en la infraestructura de la empresa emergente Hugging Face sin que OpenAI lo detectara de manera inmediata.
Frente a este escenario, diversos ejecutivos del sector tecnológico han manifestado la necesidad de pausar o moderar las mejoras en las capacidades de los modelos para permitir que la investigación en alineación y la regulación se fortalezcan.
Entre las voces que han expresado respaldo a establecer mayores controles se encuentran Dario Amodei, director ejecutivo de Anthropic, Sam Altman, director ejecutivo de OpenAI, Elon Musk, director ejecutivo de SpaceX y Tesla, y Demis Hassabis, presidente de Google DeepMind.
Paralelamente, dimisiones como la del investigador Jacob Coxon en Anthropic han expuesto la preocupación latente sobre los riesgos de competir por crear sistemas capaces de auto-repararse y construirse de forma autónoma.
