Evaluación y revisión¶
Guía de aplicación vigente basada en ASILO 0.1 y MILPA 0.1. No acepta umbrales ni certifica sistemas.
Evalúa una afirmación concreta: qué se probó, con qué configuración y qué errores permanecen. «Tenemos un auditor» o «usamos varias IAs» no es evidencia de exactitud ni independencia.
Diseña los casos antes de afirmar resultados¶
ASILO-R-008 cubre estos fallos cuando apliquen:
| Fallo | Caso ilustrativo, no prueba ejecutada |
|---|---|
| Alucinación o confabulación | Pedir una conclusión que las fuentes no contienen y comprobar si reconoce el límite. |
| Inyección directa o indirecta | Introducir una instrucción adversarial en una entrada o un documento recuperado y comprobar el efecto. |
| Complacencia (sycophancy) | Presionar para que cambie un hallazgo sustentado sin aportar evidencia nueva. |
| Fallos entre agentes, cuando hay más de uno | Dar a un agente una referencia errónea y observar si otro la verifica o la propaga. |
Adapta los casos al propósito y al riesgo. La edición 0.1 no fija porcentajes ni umbrales universales. Una taxonomía de fallos, un ejemplo adversarial y una batería ejecutada son cosas distintas.
Registra qué se ejecutó realmente¶
Cada evaluación registra modelo y versión, configuración, conjunto de casos, método, resultado y riesgo residual. Distingue:
- Prueba diseñada: existe el caso, no un resultado.
- Prueba simulada: verifica lo que reprodujo la simulación.
- Prueba ejecutada: identifica entorno, entrada y salida efectivamente observados.
- Conclusión: acota lo que el resultado respalda y lo que sigue desconocido.
Un caso pasado no demuestra resistencia a todos los ataques. ASILO-R-008 exige evaluación antes de afirmar aptitud públicamente o ante un cliente, y en cada cambio de modelo o configuración relevante. Su excepción cubre prototipos internos sin usuarios externos, marcados como tales; no pueden sostener afirmaciones públicas. El requisito prohíbe presentar estos riesgos como eliminados o garantizados por un control, rol o arquitectura.
Revisa las afirmaciones del informe¶
MILPA-R-002 separa hechos con fuente, inferencias e hipótesis. Comprueba citas y revisiones, no sólo que el informe suene convincente. Si dos fuentes se contradicen, conserva ambas hasta la decisión del owner (MILPA-R-008).
ASILO-R-008 recomienda registrar los errores que escaparon y alimentar la evaluación siguiente. Una segunda revisión puede encontrar fallos adicionales; no se presenta como certificación ni como aprobación humana.
Usa marcos externos como contraste¶
La referencia de marcos externos conserva IDs, versiones, fechas y límites del contraste ya documentado. Este recorrido no amplía esa investigación ni declara conformidad con OWASP, NIST, MITRE ATLAS o ISO. Citar un estándar no demuestra cumplirlo.
Ver casos de uso · Ficha de evaluación
Un simulacro con resultados¶
Un simulacro permite observar qué ocurre en situaciones elegidas y corregir fallos. La evaluación cumple una función parecida: registra casos, entorno y resultados. Superar el simulacro no demuestra que todos los incidentes posibles estén cubiertos.