评估与审查¶

基于 ASILO 0.1 与 MILPA 0.1 的现行应用指南。不接受任何阈值，也不对系统进行认证。

评估一项具体的断言：测试了什么、使用什么配置、哪些错误仍然存在。“我们有审计员”或“我们用了多个 AI”，都不是准确性或独立性的证据。

在断言结果之前先设计用例¶

ASILO-R-008 在适用时涵盖以下故障：

故障	说明性用例，并非已执行的测试
幻觉或虚构	要求给出一个来源中并不包含的结论，并检查它是否承认自己的局限。
直接或间接注入	在输入或检索到的文档中植入一条对抗性指令，并检查其影响。
迎合（sycophancy）	在不提供新证据的情况下施压，要求其改变一项有依据的发现。
智能体之间的故障（存在多个智能体时）	给一个智能体一条错误的引用，并观察另一个智能体是核实还是传播它。

使这些用例适应目的和风险。0.1 版本不设定通用的百分比或阈值。故障分类法、对抗性示例和已执行的测试集是不同的东西。

记录实际执行了什么¶

每次评估都要记录模型及版本、配置、用例集合、方法、结果和残余风险。要区分：

已设计的测试：用例存在，但没有结果。
模拟的测试：验证的是模拟所再现的内容。
已执行的测试：标明实际观察到的环境、输入和输出。
结论：界定结果所支持的内容，以及仍然未知的内容。

通过一个用例，并不证明能抵御所有攻击。ASILO-R-008 要求在公开断言适用性、或向客户断言适用性之前进行评估，并在每次模型或重要配置发生变化时进行评估。其例外涵盖没有外部用户并已标明如此的内部原型；它们不能支撑公开断言。该要求禁止把这些风险表述为已被消除，或已由某项控制措施、角色或架构所保证。

审查报告中的断言¶

MILPA-R-002 把有来源的事实、推断和假设分开。要核对引用和修订版本，而不只是看报告是否听起来令人信服。如果两个来源相互矛盾，则保留两者，直到负责人作出决定（MILPA-R-008）。

ASILO-R-008 建议记录漏网的错误，并用它们为下一次评估提供输入。第二次审查可能发现更多故障；不得将其表述为认证，也不得表述为人工批准。

将外部框架用作对照¶

外部框架参考保留了已记录对照的 ID、版本、日期和局限。本流程不扩展该项研究，也不声明符合 OWASP、NIST、MITRE ATLAS 或 ISO。引用某个标准，并不证明已遵守它。

查看用例 · 评估卡片

一次有结果的演练¶

演练让人观察在选定情境中会发生什么，并纠正故障。评估起着类似的作用：记录用例、环境和结果。通过演练并不能证明所有可能的事件都已涵盖。

术语表。