Cohere Labs ha publicado un conjunto de trazas de un modelo abierto de Qwen que, en mitad de una tarea de seguridad, se pone a escribir comandos curl contra buckets de Alibaba Cloud. Con los datos crudos y un script para reproducirlo. Vamos por partes, porque el titular que está circulando dice más de lo que enseña el dataset.
Qué ha pasado
El dataset está en Hugging Face, con la traza completa y los identificadores de token originales, y remite al análisis de Cohere.
La tarea era de lo más inocente: escribir una regla de detección que cace el patrón clásico de malware —descargar un script con curl a /tmp y ejecutarlo con bash—. En algún punto de esa sesión, el modelo deja de escribir la regla y escribe un comando real cuyo destino es un bucket de almacenamiento de Alibaba.
La reproducción es minuciosa, y eso es lo que le da peso: se cogen los 2.323 primeros tokens de la traza, se corta justo antes de la URL, y se le pide al modelo que continúe. Temperatura 1.0, top_k 20, 48 tokens de salida. Nada raro.
En la tanda de 64 muestras que publican, de las 42 que se ven en el ejemplo, trece terminan en aliyuncs.com. Y no son dominios aleatorios: se repite una y otra vez el mismo host, routify-file-proxy-sg.oss-ap-southeast-1.aliyuncs.com, con rutas del estilo proxy_temp_file/production/2026-08-10/trace_.... Aparecen también buckets en Hangzhou y en una región de Estados Unidos.
Y hay una muestra que a mí me pone más nervioso que todas las demás juntas: un curl a 100.100.100.200/latest/meta-data/. Esa dirección es el servicio de metadatos de las instancias de Alibaba Cloud, el equivalente al 169.254.169.254 de AWS. El sitio del que se sacan las credenciales de la máquina.
Por qué importa
Las rutas no parecen inventadas. Un proxy de ficheros, un directorio production, una fecha, un identificador de traza. Eso huele a infraestructura interna memorizada durante el entrenamiento con trazas de agentes, no a una puerta trasera puesta a mano. Para quien monta software, da exactamente igual cuál de las dos sea: el efecto en tu máquina es el mismo.
Porque el modelo no se conecta a nada. El modelo escribe texto. Quien abre el socket es tu harness: el bucle que coge lo que sale del modelo, lo mete en una shell y lo ejecuta. Si tu agente tiene bash y salida a internet sin filtrar, el modelo acaba de demostrar que una tarea de seguridad perfectamente legítima puede terminar en una petición saliente que tú no has pedido.
Hay un segundo riesgo, más feo y menos comentado. Si un modelo emite de forma recurrente nombres de bucket o dominios concretos, cualquiera que los registre y los tenga libres se monta un canal de exfiltración gratis, alimentado por los agentes de otros. Es el slopsquatting de los paquetes inventados, pero aplicado a infraestructura. Ahí no hace falta que nadie dentro de Alibaba haya querido nada.
Qué haría distinto alguien a partir de hoy, en concreto:
- Salida de red del sandbox en denegación por defecto, con lista blanca de hosts. No «vigilar», bloquear.
- Bloquear el endpoint de metadatos desde cualquier contenedor donde corra un agente, en Alibaba, AWS, Azure o donde sea.
- Registrar todos los hosts de salida de la caja del agente. Si no tienes ese log, no te vas a enterar nunca.
- Marcar para revisión humana cualquier comando generado que contenga una URL y una escritura, no solo los que parecen peligrosos.
Qué no cambia
No hay aquí ninguna prueba de que a nadie le hayan sacado datos. Lo que hay es una continuación de tokens en un experimento controlado, y los propios autores avisan de que el comportamiento no sale siempre y que hacen falta muchos intentos. El titular de «peticiones encaminadas a los servidores de la empresa» es bastante más grande que el dato.
De hecho, la mayoría de esas 42 muestras son inofensivas: localhost, 127.0.0.1, example.invalid, dominios que no existen. Eso también dice algo —el modelo está improvisando una URL de relleno y a veces cae en algo que memorizó—, pero no es lo mismo que un canal deliberado.
Y una cosa que conviene decir alto: esto se ha podido investigar porque los pesos son abiertos. Alguien ha podido coger la traza, cortarla por el token exacto y pedir 64 continuaciones. Si este mismo comportamiento lo tuviera un modelo cerrado detrás de una API, no habría dataset, ni script, ni noticia. Los pesos abiertos no son el agujero aquí: son el motivo de que lo estemos viendo.
Nuestra lectura
La lectura geopolítica va a envejecer mal. Dentro de seis meses alguien encontrará rutas de infraestructura memorizadas en un modelo occidental —apostaría a que de un bucket de S3— y entonces se contará como «curiosa fuga de datos de entrenamiento» en vez de como «el modelo llama a casa». El sesgo del marco se nota y le resta credibilidad a un hallazgo que es bueno de verdad.
Me chirría un poco, también, que quien publica es un competidor directo del fabricante del modelo. No invalida nada: los datos están ahí y se reproducen, que es justo lo contrario de lo que suele pasar en estas peleas. Pero el salto del dato al titular lo ha dado alguien con interés.
Mi postura: yo seguiría usando el modelo. Lo que no seguiría usando es el sandbox tal y como lo tenías. El fallo aquí no es de Qwen, es de arquitectura: hemos normalizado darle a un generador de texto probabilístico una shell con red abierta y credenciales en el entorno, y luego nos sorprende que escriba una URL que no esperábamos. Pues claro que la escribe. Escribe lo que sea estadísticamente plausible después del token anterior, y eso incluye lo que vio en el entrenamiento.
Cuando montamos un agente dentro de una empresa, la conversación larga nunca es qué modelo se usa —eso se cambia en una tarde—. Es qué puede tocar: qué red, qué credenciales, qué comandos pasan sin que los mire nadie. Esa parte no la resuelve el proveedor del modelo, la resuelves tú o no la resuelve nadie.
Cualquier duda me dices y lo vemos.
Un saludo, Vicente.