Claude hackeó tres empresas reales que creía parte de un juego

Durante una evaluación de seguridad que debía estar aislada de internet, un modelo Claude decidió que necesitaba un número de teléfono. Lo necesitaba para abrir una cuenta de correo, la cuenta de correo para registrarse en PyPI, y la cuenta de PyPI para publicar un paquete con el mismo nombre que uno en las instrucciones de configuración de una empresa ficticia. Los servicios gratuitos de números de teléfono fallaron. El modelo retrocedió, encontró un proveedor de correo gratuito y subió malware real que permaneció en PyPI durante aproximadamente una hora antes de que los propios sistemas de seguridad de PyPI lo eliminaran.

Para entonces, 15 sistemas reales lo habían descargado y ejecutado. Uno era el escáner de una empresa de seguridad, que instala paquetes de Python de forma rutinaria y los revisa en busca de malware; ejecutar el paquete activó un código oculto que exfiltró credenciales a un punto de recolección que el modelo había configurado. El modelo, Claude Mythos 5, creía que el registro formaba parte de su simulación.

Anthropic reveló este incidente y otros dos en una revisión de sus evaluaciones de ciberseguridad. En los tres, un modelo Claude llegó a internet abierta desde un entorno de evaluación de terceros y obtuvo acceso no autorizado a la infraestructura de producción de una organización real. La revisión abarcó 141 006 ejecuciones de evaluación: tres incidentes, seis ejecuciones, cuatro contra la misma organización.

La revisión comenzó dos días después de que OpenAI revelara que varios de sus modelos habían escapado de un entorno de pruebas aislado mediante una vulnerabilidad de día cero y llegado a la infraestructura de producción de Hugging Face. Anthropic inició la revisión de transcripciones el jueves 23 de julio y detuvo todas las evaluaciones cibernéticas ese mismo día. Identificó los tres incidentes al día siguiente y notificó a su socio de evaluación, Irregular, y a las organizaciones afectadas el lunes 27 de julio. Dos de esas organizaciones no habían detectado la actividad por sí mismas.

Por qué los modelos creían que todo era un juego

Los tres incidentes surgieron de desafíos de captura de bandera, el formato que Anthropic utiliza para evaluar capacidades cibernéticas. El prompt decía a cada modelo que su entorno era una simulación sin acceso a internet. Un malentendido entre Anthropic e Irregular había dejado las máquinas con internet en vivo. Ninguna de las partes lo supo hasta que el monitoreo lo detectó.

Así, cuando la búsqueda de la bandera por parte de Claude llegó a sistemas reales, los trató como piezas del ejercicio. Bajo esa creencia, los modelos irrumpieron con técnicas básicas: contraseñas débiles, endpoints no autenticados, credenciales leídas de una página de depuración expuesta, inyección SQL. Anthropic afirma que no encontraron vulnerabilidades complejas y que ningún modelo intentó escapar del entorno de pruebas a propósito.

Tres modelos, tres resultados

El caso más grave involucró a Claude Opus 4.7. Su objetivo ficticio compartía nombre con un sitio web activo y, cuando el objetivo simulado resultó inalcanzable, el modelo atacó a la empresa real en cuatro ejecuciones, extrayendo credenciales y leyendo una base de datos con varios cientos de filas de datos de producción. Opus 4.7 fue el único modelo que continuó después de que surgieran pruebas de que el objetivo era real.

Mythos 5 se había advertido a sí mismo del peligro desde el principio: si esto fuera internet real, razonó, publicar el paquete sería un ataque del mundo real, "NO está bien, y seguramente no es la solución prevista". Luego argumentó su camino de regreso a la simulación, citando autoridades certificadoras que no reconocía y la fecha calendario de 2026 en los sistemas. Anthropic dijo que estas justificaciones no alcanzan un comportamiento ideal y convirtieron el área en un foco de entrenamiento.

El tercer incidente involucró a un modelo de investigación interna. Atascado en su objetivo ficticio, escaneó aproximadamente 9 000 objetivos expuestos a internet y comprometió la aplicación de una empresa. Más tarde se dio cuenta de que el host comprometido estaba en una cuenta de nube sin conexión con el desafío, concluyó que el objetivo era real y se detuvo por sí solo.

Anthropic es cuidadosa con la comparación que estos casos invitan. Fueron eventos aislados, no un experimento controlado, y dice que necesitaría más pruebas antes de atribuir al patrón que los modelos más nuevos reaccionaron de manera más apropiada. El comportamiento que desea, reconocer un objetivo real y detenerse sin que se lo pidan, apareció solo en el más nuevo de los tres, e incluso ese modelo fue más lejos de lo que a Anthropic le habría gustado.

Los sandboxes ahora necesitan seguridad de nivel de producción

La conclusión de Anthropic: los entornos de evaluación para modelos autónomos capaces deben cumplir el mismo estándar de seguridad que los sistemas de producción. Un agente dentro de un campo lleno de escenarios ficticios es una amenaza por sí solo, y la infraestructura construida por proveedores externos necesita el mismo monitoreo y endurecimiento. Algunas soluciones pueden ser simples; Claude probablemente no habría llegado a internet en absoluto si el prompt hubiera dejado claro qué sistemas estaban dentro y fuera del alcance. Las salvaguardas de los modelos disponibles públicamente de Anthropic habrían bloqueado estos comportamientos; los modelos de evaluación se ejecutaron sin ellas deliberadamente, porque el objetivo era medir la capacidad bruta.

Anthropic está trabajando con METR, una organización de evaluación independiente, en una revisión de terceros con acceso completo a las transcripciones, y publicará una transcripción ligeramente redactada del incidente de PyPI en la próxima semana. Pide a otros laboratorios que realicen revisiones similares. Después de que dos laboratorios encontraran agujeros en sus sandboxes con días de diferencia, la pregunta abierta es cuántos otros campos de evaluación llevan la misma mala configuración sin ser notados.