Qwen3.8-27B abliterado: los rechazos caen al 0% y los benchmarks apenas se mueven

En AdvBench, el Qwen3.8-27B-FP8 oficial rechaza el 99% de las solicitudes. Una versión abliterada del mismo modelo, publicada en Hugging Face por OrcaRouter, rechaza el 0%. En las pruebas de capacidad general, ambos se sitúan dentro de 1,3 puntos entre sí, y MMLU incluso sube 0,4. Juntas, esas dos cifras plantean un punto más contundente que el propio lanzamiento: la alineación de seguridad puede eliminarse de un modelo con precisión casi quirúrgica, dejando el resto del cerebro intacto.

La tarjeta del modelo presenta el lanzamiento como un artefacto de investigación, y en algunos pasajes se lee menos como un producto y más como una nota de investigación con un botón de descarga. Los autores detallan el método de abliteración, el esquema de cuantización, los benchmarks de rechazo y las comprobaciones de capacidad con el suficiente detalle como para que otro equipo pudiera reproducirlo todo. Esa transparencia es la parte inusual, y merece más atención que la etiqueta de "modelo sin censura".

Qué elimina realmente la abliteración

La abliteración proviene de un artículo de 2024 de Arditi et al., citado en la tarjeta, cuyo título expone la tesis con claridad: "Refusal in Language Models Is Mediated by a Single Direction" (El rechazo en los modelos de lenguaje está mediado por una única dirección). La afirmación es que la disposición aprendida del modelo a decir no reside en una dirección de su flujo residual, y que restar esa dirección resta también los rechazos.

En esta versión, la dirección del rechazo se estima en la capa 38 (aproximadamente el 60% del camino a través de 64 capas) como la diferencia media enmascarada de los residuos del último token entre contenidos dañinos y benignos, usando AdvBench para el conjunto dañino y Alpaca para el benigno. Luego se ortogonaliza fuera de cada matriz que escribe residuos: 17 proyecciones de salida de atención, 48 proyecciones de salida de atención lineal, 65 proyecciones de bajada de MLP y el espacio de filas de la incrustación de tokens. La tarjeta enumera las 131 ediciones. La torre de visión se deja intacta, y la cabeza de decodificación especulativa MTP se trata igual que el modelo principal, de modo que la decodificación especulativa sigue funcionando.

El rechazo se derrumba, los benchmarks se mantienen

Las tablas de seguridad se mueven en una sola dirección. Con el razonamiento desactivado, el checkpoint base rechaza entre el 64% y el 99% de los prompts dañinos en los conjuntos de benchmarks. La versión abliterada rechaza entre el 0% y el 6%.

Con el razonamiento activado, el efecto es aún más completo: el rechazo prácticamente nunca ocurre, al 1,7% o menos en todos los benchmarks que enumera la tarjeta.

Un detalle merece atención. En el 27% al 56% de los prompts dañinos, según el benchmark, el modelo responde pero antepone primero un breve descargo de responsabilidad. La frase de la tarjeta para esto es exacta: "está cumpliendo, no rechazando". La advertencia es un hábito de generación de texto, no una salvaguarda.

La capacidad general apenas nota la edición. MMLU pasa del 84,3% al 84,7%, MMLU-Pro baja 0,8 puntos, GSM8K baja 1,3 y CMMLU baja 0,6. Dado que el esquema FP8 es byte-idéntico al checkpoint oficial, estas diferencias reflejan la propia edición de abliteración, que apenas toca la capacidad general. La abliteración también reduce el sobre-rechazo colateral en prompts benignos: los rechazos indebidos en XSTest-safe caen del 5,6% al 0,4%. Quienes ejecutan modelos sin censura para escapar de rechazos molestos obtienen exactamente eso, junto con todo lo demás que conlleva.

Un reemplazo directo, por diseño

El trabajo de cuantización es lo que hace práctica esta versión. Los pesos abliterados se re-cuantizan fuera de línea en block-FP8 con el esquema exacto del lanzamiento FP8 oficial de Qwen: bloques de 128×128, E4M3, activaciones dinámicas, sin conjunto de calibración, y los mismos 882 módulos mantenidos en BF16. La tarjeta informa que el 99,9% de los códigos FP8 coinciden con el checkpoint oficial, y vLLM sirve esta versión con la misma ruta de kernels que la oficial, con contexto de 262K, llamada a herramientas, trazas de razonamiento y la cabeza de borrador MTP intactos. La visión se mantiene byte por byte: ante una imagen de prueba, el modelo nombra formas y colores y lee texto en la imagen, incluido el rótulo "PURPLE 7".

La compensación de tamaño es real: unos 31 GB de pesos en FP8 frente a aproximadamente 56 GB en BF16, un mínimo de unos 40 GB de VRAM para servir, y un H100 o H200 recomendado por los autores para la ventana de contexto completa. Esa es la diferencia entre un juguete de investigación y algo que un laboratorio puede alojar de verdad.

Para qué servían las salvaguardas

La tarjeta es directa sobre lo que es esto. El modelo "cumplirá con solicitudes dañinas, poco éticas, ofensivas o ilegales que el Qwen3.8-27B original rechazaría", no tiene salvaguardas integradas significativas, y se publica estrictamente para investigación legítima: interpretabilidad, estudio del mecanismo de rechazo, red-teaming, evaluación de robustez. El despliegue a usuarios finales sin capas de moderación adicionales queda fuera de alcance, y los autores no aceptan responsabilidad alguna.

Ese encuadre apunta a la paradoja. La misma edición que silencia los rechazos molestos silencia la salvaguarda, y los modelos no saben la diferencia entre un prompt benigno y uno dañino. La responsabilidad recae en quien ejecute los pesos. La licencia Apache 2.0 heredada del modelo base no impone restricciones de uso propias, y la tarjeta muestra 4.285 descargas en el último mes. El encuadre de solo investigación no será lo único que impulse el uso.

El punto más amplio está en los números, no en el debate sobre alojar estos modelos. Una propiedad de alineación instalada mediante entrenamiento con preferencias fue eliminada restando una dirección, en una capa, de 131 matrices, con la capacidad general prácticamente intacta. Si una única dirección mediaba el rechazo en un modelo de 27 mil millones de parámetros, el mecanismo de rechazo nunca fue tan profundo como sugería el entrenamiento que lo instaló.