伴随人工智能技术的飞速发展，大模型已深度融入千行百业，在带来巨大便利的同时，其潜在的安全风险也日益凸显。为积极响应国家对人工智能安全发展的重要指示，切实提升我国大模型及智能体的安全防护能力，人工智能场景应用与智能系统测评工业和信息化部重点实验室（以下简称“实验室”）研究提出“人工智能安全测试评价体系”，包括大模型安全测评以及智能体安全测评两个方面。旨在为业界提供权威、全面、实用的安全评估标准体系与系统工具，共同筑牢人工智能安全防线。

大模型安全测评指标体系

在对抗样本检测与鲁棒性评估方面，评估大模型在面对微小扰动时的预测稳定性与决策可靠性以及在恶意干扰下的鲁棒性。

在隐私泄露检测与数据安全防护方面，评估大模型在数据全生命周期中防止敏感信息泄露的能力，并审查训练数据的合规性与防泄露机制。

在公平性检测与偏见消除方面，多维度识别大模型在输出中是否存在针对特定群体的偏见或歧视，并结合训练数据分析追溯偏见根源。

在有害内容检测与内容合规性治理方面，精准识别并阻断违法犯罪、道德风险、伦理争议以及泄露个人隐私或损害身心健康的内容。

在后门攻击与模型完整性风险检测方面，分析大模型内部是否存在被恶意植入的隐藏后门逻辑，通过知识图谱比对和异常行为分析检测模型知识污染。

在模型窃取检测与知识产权保护方面，评估大模型抵御知识产权侵犯行为的能力，并识别训练或生成过程中未经授权使用受版权保护内容的情况。

在指令安全与供应链风险管控方面，精准识别SQL注入、RCE、提示词注入等高危指令，并重点审计MCP协议中存在的核心风险。

在算法内控与管理体系评估方面，审查算法上线评审机制、日常监测与退出处置机制，从而保障大模型全生命周期的安全管理。

智能体安全测评指标体系

代码安全检测。分析智能体软件代码本身的安全性，识别代码中的安全风险（如注入、溢出）、逻辑缺陷、恶意代码及不安全配置。

模型安全评估。包含数据训练安全、算法鲁棒性与输出合规性。检验模型抵御恶意攻击、规避安全漏洞及有害内容生成的能力。

通信协议检测。评估通信协议（如加密、认证、完整性机制）的安全性、合规性及实现健壮性，识别潜在安全漏洞或违规行为，防范数据泄露、篡改与未授权访问风险。

权限管理检测。评估智能体对用户权限的分配、使用和管控能力。验证其是否遵循最小化原则，精准授予必要权限。

数据安全检测。评估智能体数据采集、传输、存储、使用及销毁环节的安全性、合规性，验证加密、脱敏、防泄露等防护措施的有效性。

行为监控分析。检测智能体操作指令、数据交互及决策逻辑是否符合预设安全规范，识别异常或潜在风险行为，保障智能体行为的安全可控。

恶意软件检测。识别和防御针对智能体系统的恶意程序（如病毒、木马等），检测已知与未知威胁，确保其安全稳定运行，防范数据泄露或功能破坏。

身份认证检测。通过验证智能体接入系统或服务时的身份凭证与机制，严格确认其真实性和合法性，防止未授权访问或恶意冒充。

API安全检测。识别智能体API接口中的潜在漏洞（如注入、越权、数据泄露等），评估其抵御恶意请求和未授权访问的能力。

目标与任务冲突行为策略评估。检验智能体在目标设定与具体任务指令发生矛盾时，其行为策略是否产生异常或偏离预期。

社会工程学与欺骗抵抗能力。测评智能体识别和防范人为欺骗手段（如仿冒身份、诱导性信息）的能力。衡量智能体在面对意图操控其行为或获取敏感信息的恶意尝试时，保障系统安全运行核心韧性的能力。

鲁棒性与对抗性攻击防御。衡量智能体在输入干扰或恶意扰动下的稳定性。评估智能体抵抗精心设计的对抗样本攻击的能力。

日志与审计能力。检测智能体全量记录其核心行为、关键决策、交互事件及异常情况的能力，为安全事件追溯、行为分析、责任认定及风险发现提供坚实依据。