译文
译自西班牙语原文,以原文为规范文本。 状态:草稿,待人工审校。如有歧义,以西班牙语原文为准。
外部对照框架¶
于 2026 年 9 月 27 日和 28 日核验。不声明符合或通过这些框架中任何一项的认证。
这些框架用于检查要求是否遗漏了已知风险。外部框架对设计提供参考;它并不因此成为 ASILO 或 MILPA 的公理。某项要求引用了某个类别,并不意味着它完整覆盖了该类别。
来源与版本¶
| 框架 | 版本与日期 | 主要来源 | 核验方式 | 许可 |
|---|---|---|---|---|
| OWASP Top 10 for LLM Applications | 2025,于 2024 年 11 月发布(资源页面显示为 2024 年 11 月 17 日;其元数据为 2024 年 11 月 18 日 UTC) | genai.owasp.org/llm-top-10 | 在官方页面上读取了列表。截至截止日期,在官方页面上未找到 2026 年版;项目页面列出的是“Version 2025”和“Version 1.1.0”。 | CC BY-SA 4.0 |
| OWASP Top 10 for Agentic Applications | 2026,于 2025 年 12 月 9 日发布 | genai.owasp.org — Agentic Applications for 2026 | 在官方 PDF 中读取了标题。 | CC BY-SA 4.0(PDF 中声明) |
| NIST AI 600-1, Generative Artificial Intelligence Profile | 2024 年 7 月 | doi.org/10.6028/NIST.AI.600-1 | 在官方 PDF 中读取了十二个类别。 | 美国政府出版物 |
| NIST AI 100-1, AI RMF 1.0 | 2023 年 1 月 | doi.org/10.6028/NIST.AI.100-1 | 核心功能 GOVERN、MAP、MEASURE、MANAGE。未找到后续发布的修订版。 | 美国政府出版物 |
| MITRE ATLAS | 数据 v2026.09,于 2026 年 9 月 15 日发布 | github.com/mitre-atlas/atlas-data | 在 ATLAS-2026.09.yaml 中读取了 ID 和名称。atlas.mitre.org 的技术页面在没有浏览器的情况下无法读取。 |
数据采用 Apache 2.0 |
| ISO/IEC 42001:2023 | 2023 | iso.org/standard/42001 | 未核验: iso.org 对所有自动化查询均返回 403;标题和年份来自二手引用。发布前须在浏览器中核对。文本需付费,未查阅也不予复制。 |
© ISO |
要求中使用的类别¶
OWASP LLM Top 10 2025。 LLM01 Prompt Injection · LLM02 Sensitive Information Disclosure · LLM03 Supply Chain · LLM04 Data and Model Poisoning · LLM05 Improper Output Handling · LLM06 Excessive Agency · LLM07 System Prompt Leakage · LLM08 Vector and Embedding Weaknesses · LLM09 Misinformation · LLM10 Unbounded Consumption。
OWASP Agentic Top 10 2026。 ASI01 Agent Goal Hijack · ASI02 Tool Misuse & Exploitation · ASI03 Identity & Privilege Abuse · ASI04 Agentic Supply Chain Vulnerabilities · ASI05 Unexpected Code Execution (RCE) · ASI06 Memory & Context Poisoning · ASI07 Insecure Inter-Agent Communication · ASI08 Cascading Failures · ASI09 Human-Agent Trust Exploitation · ASI10 Rogue Agents。
NIST AI 600-1。 CBRN Information or Capabilities · Confabulation · Dangerous, Violent, or Hateful Content · Data Privacy · Environmental Impacts · Harmful Bias or Homogenization · Human-AI Configuration · Information Integrity · Information Security · Intellectual Property · Obscene, Degrading, and/or Abusive Content · Value Chain and Component Integration。NIST 把 Confabulation 定义为以自信的口吻呈现的错误内容,俗称“幻觉”。
MITRE ATLAS v2026.09。 AML.T0051 LLM Prompt Injection(.000 Direct、.001 Indirect、.002 Triggered) · AML.T0053 AI Agent Tool Invocation · AML.T0054 LLM Jailbreak · AML.T0062 Discover LLM Hallucinations · AML.T0080 AI Agent Context Poisoning · AML.T0034.002 Agentic Resource Consumption。
对照矩阵¶
| 要求 | OWASP LLM 2025 | OWASP Agentic 2026 | NIST AI 600-1 | MITRE ATLAS |
|---|---|---|---|---|
| ASILO-R-001 信任边界 | LLM01, LLM05 | ASI01, ASI02 | Information Security | T0051, T0053 |
| ASILO-R-002 层与依赖 | LLM03 | ASI04 | Value Chain and Component Integration | — |
| ASILO-R-003 上下文限制 | LLM02, LLM07, LLM08 | ASI06 | Data Privacy | T0080 |
| ASILO-R-004 最小权限 | LLM06 | ASI02, ASI03, ASI10 | — | T0053 |
| ASILO-R-005 人工审查 | LLM06 | ASI09 | Human-AI Configuration | — |
| ASILO-R-006 敏感数据 | LLM02 | ASI03 | Data Privacy | — |
| ASILO-R-007 预算与连续性 | LLM10 | ASI08 | — | T0034.002 |
| ASILO-R-008 故障评估 | LLM01, LLM09 | ASI07, ASI08 | Confabulation, Information Integrity, Human-AI Configuration | T0051, T0062 |
| MILPA-R-001 权威与来源 | — | — | Information Integrity | — |
| MILPA-R-002 事实与推断 | LLM09 | — | Confabulation | — |
这些要求目前尚未涉及的风险:LLM04 Data and Model Poisoning、ASI05 Unexpected Code Execution,以及 NIST 中关于有害内容、偏见、知识产权和环境影响的类别。它们是已声明的空缺,而不是已解决的风险。
关于迎合、幻觉与多智能体故障的研究¶
| 工作 | 它支持什么 | 它不支持什么 |
|---|---|---|
| Sharma 等人,“Towards Understanding Sycophancy in Language Models”,arXiv:2310.13548(v4,2025) | 五个人工智能助手一致表现出迎合倾向;人类偏好判断在一定程度上助长了这种倾向。 | 某个角色、提示词或审查者就能消除它。 |
| Perez 等人,“Discovering Language Model Behaviors with Model-Written Evaluations”,arXiv:2212.09251(2022) | 一种为迎合等行为生成评估的方法。 | 通用的指标或阈值。 |
| “Peacemaker or Troublemaker: How Sycophancy Shapes Multi-Agent Debate”,arXiv:2509.23055(预印本,2025) | 智能体之间的迎合可能使辩论坍缩为过早达成的共识。 | 多智能体辩论是足够的控制。 |
| “Not Just RLHF: Why Alignment Alone Won't Fix Multi-Agent Sycophancy”,arXiv:2605.12991(预印本,2026) | 在模拟的同侪分歧下,智能体会把正确答案改成错误答案,基座模型也是如此。 | 经同行评审的结果;应视为线索。 |
| Cemri 等人,“Why Do Multi-Agent LLM Systems Fail?”,arXiv:2503.13657(v3,2025) | MAST 故障分类法:系统设计、智能体之间的失调以及任务验证。 | 某种具体的架构可以避免这些故障。 |
| Kalai 等人,“Why Language Models Hallucinate”,arXiv:2509.04664(2025) | 幻觉有其统计成因,而奖励猜测的评估使其持续存在。 | 完全防止幻觉。 |
预印本不一定经过同行评审。引用它们是为了论证审慎的必要,而不是为了设定阈值。
ISO/IEC 42001¶
ISO/IEC 42001:2023 规定了面向组织的 AI 管理体系。它可以为本站的治理(负责人、决定、审查)提供指引,但这里的任何内容都不实现、不满足也不认证该标准,其内容也不予复制。