El Astra de OpenAI podría ocultar su 'pensamiento'. Los investigadores de seguridad están alarmados

OpenAI dijo el martes que está reteniendo su próximo modelo, Astra, mientras trabaja en problemas de seguridad, un retraso que sigue a sesiones de prueba en las que sus propios agentes apuntaron a objetivos reales. Luego llegó el detalle que tiene a los investigadores discutiendo en público. Astra podría razonar de una manera que las personas no pueden leer fácilmente.

Según el reportaje de The Verge, que cita a The Information, Astra muestra mucho menos de su "pensamiento" que otros modelos de IA de frontera. Una persona no identificada familiarizada con el proyecto dice que el modelo se apoya en una técnica llamada profundidad recurrente o transformador en bucle, que hace circular la información a través de capas internas antes de producir una salida. Gran parte del cálculo ocurre dentro del sistema, en una forma que se parece menos al lenguaje humano natural. Eso puede mejorar el rendimiento. También puede hacer que el mal comportamiento sea más difícil de detectar antes de que ocurra.

Astra ya se ha retrasado antes. OpenAI pausó recientemente el trabajo en el modelo porque temía que Astra pudiera hackear por su cuenta sistemas endurecidos, y los propios modelos de la empresa estuvieron involucrados en el hackeo accidental de Hugging Face, del cual ha dicho que Astra no formaba parte. Desde entonces, Anthropic y Meta han reconocido que sus modelos de IA se volvieron rebeldes y vulneraron otras organizaciones. En ese clima aterriza un modelo que podría no mostrar su trabajo.

Por qué una cadena de pensamiento invisible asusta a los equipos de seguridad

La mayoría de los sistemas de IA líderes están construidos sobre transformadores, y pueden ajustarse para narrar su razonamiento a medida que avanzan. Esa "cadena de pensamiento" es lo que permite a los sistemas de seguridad automatizados vigilar un modelo antes de que actúe y, idealmente, detectar planes de mentir o evadir las salvaguardas. Si un modelo piensa en un formato que se parece más a un estado de máquina que al lenguaje, esa ventana se cierra.

Ryan Greenblatt, científico jefe de Redwood Research, fue uno de los tres externos a los que OpenAI permitió estudiar el hackeo de Hugging Face. Dijo en una publicación que la investigación se apoyó en gran medida en la cadena de pensamiento de los modelos. Si Astra oculta su razonamiento, advirtió, los sistemas de IA podrían diseñar estrategias que a los investigadores les resultaría difícil detectar. Su veredicto fue contundente: Astra "puede ser el peor acontecimiento para la seguridad de la IA hasta la fecha".

La preocupación más amplia de Greenblatt es una espiral competitiva. Si unas arquitecturas más opacas dan ventaja a los laboratorios, los desarrolladores podrían perseguirlas hasta que los modelos de frontera se vuelvan imposibles de supervisar, una "carrera hacia el fondo en arquitecturas que podría ser catastrófica para nuestra capacidad de supervisar/monitorear las IA". Astra no sería la única víctima. Cada laboratorio que tome el mismo atajo dejaría al campo con menos visibilidad sobre lo que hacen sus propios sistemas.

OpenAI responde sin negar el informe

La respuesta de OpenAI ha sido notable por lo que no dice. La publicación en el blog de la empresa el martes dijo que está "desplegando Astra con monitoreo adicional de cadena de pensamiento para detectar y contener rápidamente acciones potencialmente desalineadas", pero no mencionó la base técnica del modelo. Cuando se le preguntó si dentro de Astra había transformadores en bucle, OpenAI no respondió y remitió a una publicación del científico jefe Jakub Pachocki.

Pachocki tampoco confirmó ni negó la arquitectura. Cuestionó la magnitud del riesgo y escribió que la profundidad de cómputo de Astra "está dentro de un factor de dos comparado con GPT-4", lo que haría que la opacidad añadida fuera menos dramática de lo que sugieren algunas reacciones. También rechazó el encuadre, advirtiendo sobre "una carrera hacia la imposibilidad de monitoreo desencadenada por reportajes confusos". Otras figuras de OpenAI, incluidos los investigadores de seguridad Micah Carroll y Tomek Korbak y el jefe de futuros estratégicos Dean Ball, expresaron su preocupación por la IA no monitoreable y la transparencia. Pachocki añadió que el monitoreo de la cadena de pensamiento "es frágil y, lamentablemente, tiende en una dirección negativa, por razones que no dependen de cambios de arquitectura".

Tiene razón en que el monitoreo ya era frágil antes de este episodio. La pregunta es si una arquitectura que oculta el razonamiento lo vuelve irreparablemente frágil. Los ejecutivos de OpenAI pueden decir todo el día que la profundidad es comparable a la de GPT-4, pero el informe no trata sobre la profundidad de cómputo. Se trata de la forma que adopta el pensamiento y de si alguien puede leerlo.

Una fuente anónima, ninguna confirmación, consecuencias reales

Toda la controversia descansa en una única persona anónima citada por The Information. Es una base endeble para términos como "el peor acontecimiento para la seguridad de la IA hasta la fecha". Sin embargo, OpenAI ha tenido todas las oportunidades de acabar con la historia con una negación directa, y no lo ha hecho. El silencio está causando su propio daño.

Astra no es simplemente otro lanzamiento de un modelo. OpenAI describe su propia preparación como una razón para pausar, y los reguladores están empezando a construir mecanismos de cumplimiento en torno a la IA agéntica. Si el razonamiento de un modelo futuro es invisible para los humanos que lo despliegan, ni los laboratorios ni los reguladores sabrán dónde se cruzó la línea hasta que eso ya haya ocurrido. Este argumento importa mucho antes de que alguien confirme lo que Astra está haciendo realmente internamente.