Unit 42 — Perturbation Probing: Diagnóstico Mecanicista de la Fragilidad en Circuitos FFN de Modelos LLM (N/A)

Fecha de publicación: 28 de agosto de 2026
Categoría: AI attacks (LLM/LocalAI)

Introducción

Investigadores de seguridad e inteligencia artificial han presentado un nuevo método de diagnóstico denominado Perturbation Probing (sondaje por perturbación), diseñado para auditar la concentración interna de los mecanismos de seguridad y alineación en Modelos de Lenguaje Grande (LLM). Publicado por los investigadores de Unit 42 (Palo Alto Networks) Tony Li, Hongliang Liu y Yuhao Wu, este estudio demuestra que el comportamiento de rechazo ante peticiones dañinas en modelos de código abierto como Qwen3-4B no es una defensa distribuida y resiliente, sino una capa superficial muy frágil controlada por un número ínfimo de neuronas en las redes feed-forward (FFN). El hallazgo redefine la comprensión de la robustez en la IA, evidenciando que confiar únicamente en la alineación interna del modelo representa un vector crítico de fallo estructural.

¿Qué es Perturbation Probing y la Fragilidad en la Alineación? (Análisis General)

El entrenamiento de modelos mediante Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF, por sus siglas en inglés) busca inculcar pautas de comportamiento seguras, forzando al LLM a rechazar solicitudes maliciosas y a cumplir con las benignas. Sin embargo, históricamente la industria ha tratado al modelo como una caja negra, asumiendo que la seguridad reside de manera difusa en sus miles de millones de parámetros.

Perturbation Probing rompe esta suposición al identificar con precisión quirúrgica los circuitos neuronales responsables de tareas de rechazo de seguridad (refusal template). Desde una perspectiva de seguridad de sistemas, este fenómeno se alinea con fallos de diseño arquitectónico:

• Clasificación (Estimación razonada): CWE-693 (Protection Mechanism Failure / Fallo del Mecanismo de Protección) / CWE-1188 (Insecure Default Initialization of Resource).
• Puntuación de Riesgo (Estimación razonada): CVSS v3.1 7.5 (Alto) — Vector: CVSS:3.1/AV:N/AC:L/PR:N/UI:N/S:U/C:N/I:H/A:N. (Nota: Al tratarse de un análisis de fragilidad arquitectónica en pesos de modelos de IA, no existe un CVE tradicional asignado; se califica el impacto sobre la integridad de los controles de seguridad).

La concentración de la seguridad en una capa tan delgada implica que un atacante con capacidad de modificar pesos o manipular las activaciones internas puede neutralizar por completo las salvaguardas del modelo con alteraciones mínimas.

¿Cómo funciona? (Análisis Técnico)

El mecanismo técnico detrás de Perturbation Probing se basa en una evaluación computacionalmente eficiente que requiere únicamente dos pases hacia adelante (forward passes) por cada prompt evaluado. El flujo operativo se desglosa de la siguiente manera:

• Identificación Causal de Neuronas: Mediante la medición diferencial de activaciones ante prompts seguros frente a maliciosos, el algoritmo aísla el conjunto mínimo de neuronas feed-forward (FFN) responsables de disparar la plantilla de rechazo. En pruebas sobre Qwen3-4B, se descubrió que solo 50 neuronas de un total de 350,208 (el 0.014%) controlan este comportamiento.
• Manipulación y Supresión de Circuitos: Al eliminar o desactivar estas 50 neuronas específicas, el modelo altera su formato de respuesta en el 80% de un benchmark estándar de 520 prompts maliciosos, anulando efectivamente la negativa de seguridad. En modelos más pequeños como Qwen3.5-2B, la desactivación de 20 neuronas redujo la tasa de aceptación falsa de afirmaciones de usuario del 36.7% al 0%.
• Métrica FFN/Skip Ratio: El cálculo genera un valor numérico único que predice en segundos la facilidad con la que el circuito de seguridad de un modelo puede ser alterado o dirigido. En pruebas con 13 modelos distintos, este ratio explicó el 81% de la varianza en la fragilidad del comportamiento de seguridad, sirviendo como un puntaje cuantitativo pre-despliegue.

“Confiar únicamente en la alineación interna del modelo base es el equivalente en inteligencia artificial a depender de un único cortafuegos perimetral; estructuralmente insuficiente frente a vectores de manipulación avanzada.”

Sistemas / Entornos Afectados

El fenómeno de la fragilidad por concentración de neuronas FFN afecta intrínsecamente a modelos de lenguaje grande entrenados mediante alineación estándar (RLHF/RLAIF) de código abierto y pesado.

• Arquitecturas afectadas: Modelos de pesos abiertos (open-weight) basados en transformadores con capas feed-forward densas o de mezcla de expertos (MoE) donde la alineación se concentra en subconjuntos reducidos de parámetros.
• Entornos de riesgo: Organizaciones que despliegan modelos locales para atención al cliente, generación de código o procesamiento de datos sin pasarela de validación externa.

Mitigación y Detección

Remediación

• Estrategia Defense-in-Depth (Defensa en Profundidad): Nunca exponga un modelo LLM sin salvaguardas externas. Implemente pasarelas de contenido en tiempo de ejecución y filtros de entrada/salida (como Prisma AIRS Runtime Security o herramientas equivalentes de inspección de prompts).
• Auditoría Pre-despliegue: Integre herramientas de diagnóstico mecanicista (como el análisis de ratios FFN/Skip) en los pipelines de CI/CD de Machine Learning para evaluar la fragilidad de la alineación antes de certificar un modelo para producción.
• Amplificación Controlada: Utilice la misma técnica analítica para reforzar comportamientos deseados; por ejemplo, la amplificación de neuronas identificadas en modelos pequeños ha demostrado mejorar la auto-corrección factual de forma significativa sin requerir re-entrenamiento completo.

Detección

• Monitoreo de Deriva de Comportamiento: Implemente pruebas automatizadas de red-teaming en línea para detectar desviaciones repentinas en las tasas de rechazo de solicitudes maliciosas.
• Inspección de Tráfico de Inferencia: Configure sistemas de detección de anomalías para identificar patrones inusuales en las consultas que busquen explotar debilidades lógicas o desviar la directiva del sistema base.

Recapitulando

El estudio sobre Perturbation Probing demuestra que la seguridad en los Modelos de Lenguaje Grande actuales es geométricamente delgada y altamente concentrada en un número microscópico de neuronas FFN. Esto invalida el mito de que el alineamiento mediante RLHF crea una defensa robusta y distribuida en todo el red neuronal. Para mitigar este riesgo estructural, la industria de la ciberseguridad debe abandonar la confianza ciega en los pesos del modelo y adoptar marcos estrictos de defensa en profundidad, combinando diagnósticos mecanicistas internos con pasarelas de seguridad perimetral en tiempo de ejecución.

Referencias

• Li, T., Liu, H., y Wu, Y. (2026, 28 de agosto). Perturbation Probing: A New Diagnostic for the Fragility of LLM Safety. Unit 42, Palo Alto Networks. https://unit42.paloaltonetworks.com/?p=186235
• Palo Alto Networks Unit 42. (2026). Logit-Gap Steering: A New Frontier in Understanding and Probing LLM Safety. Palo Alto Networks.
• arXiv. (2026). Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs. arXiv Academic Repository.