文档天下 图书评论5阅读模式

T/CFEII 0021-2024 人工智能融合应用安全可信度评估规范(组织版) ,该文件为pdf格式 ,请用户放心下载!

尊敬的用户你们好,你们的支持是我们前进的动力,网站收集的文件并免费分享都是不容易,如果你觉得本站不错的话,可以收藏并分享给你周围的朋友。

如果你觉得网站不错,找不到本网站,可以百度、360搜搜,搜狗, 神马搜索关键词“文档天下”,就可以找到本网站。也可以保存到浏览器书签里。

收费文件即表明收集不易,也是你们支持,信任本网站的理由!真心非常感谢大家一直以来的理解和支持!

资源简介
ICS 35.240
CCS L 77
团体标准
T/CFEII 0021—2024
人工智能融合应用安全可信度评估规范(组织版)
Assessment specification for security and trustworthiness ofartificial intelligence integrated applications(Organization edition)
2024 - 07 – 22 发布2024 - 07 – 22 实施
中国电子信息行业联合会 发布

目次
前言................................................................... III
引言.................................................................... IV
1 范围....................................................................... 1
2 规范性引用文件............................................................. 1
3 术语和定义................................................................. 1
4 评估框架与评估方法......................................................... 3
4.1 模型构成............................................................. 3
4.2 评估等级............................................................. 3
5 评价方法................................................................... 4
6 评估内容................................................................... 4
6.1 内设架构............................................................. 4
6.1.1 机构设置....................................................... 4
6.1.2 责任体系....................................................... 4
6.2 制度建设............................................................. 5
6.2.1 文档管理....................................................... 5
6.2.2 日志记录....................................................... 5
6.2.3 风险管理....................................................... 5
6.2.4 应急计划....................................................... 6
6.2.5 多方参与....................................................... 6
6.2.6 信息披露....................................................... 6
6.3 宣贯培训............................................................. 6
6.3.1 人员培训....................................................... 6
6.3.2 传播宣贯....................................................... 7
6.4 过程管理............................................................. 7
T/CFEII 0021-2024
II
6.4.1 数据管理....................................................... 7
6.4.2 数据标注....................................................... 7
6.4.3 算法选择....................................................... 8
6.4.4 版本管理....................................................... 8
6.4.5 性能测试....................................................... 8
6.4.6 下线管理....................................................... 8
6.5 防御机制............................................................. 9
6.5.1 可信环境....................................................... 9
6.5.2 攻击防范....................................................... 9
附录A 人工智能融合应用安全可信度(组织版)评估分级方法......................10
A.1 概述.................................................................10
A.2 评估指标体系构建.................................................... 10
A.2.1 构建原则...................................................... 10
A.2.2 构建步骤...................................................... 10
A.3 加权评分方法........................................................ 10
A.3.1 权重设置...................................................... 10
A.3.2 加权评分...................................................... 10
A.4 分级判定参考........................................................ 11
A.4.1 人工智能融合应用安全可信度一级................................ 11
A.4.2 人工智能融合应用安全可信度二级................................ 11
A.4.3 人工智能融合应用安全可信度三级................................ 11
A.4.4 人工智能融合应用安全可信度四级................................ 12
A.4.5 人工智能融合应用安全可信度五级................................ 12
T/CFEII 0021-2024
III
前言
本标准按照GB/T 1.1—2020 《标准化工作导则第1 部分:标准化文件的结构和起草
规则》的规定起草。
本标准由中国电子信息行业联合会提出并归口。
请注意本标准的某些内容可能涉及专利,本标准的发布机构不承担识别专利的责任。
本标准起草单位:国家工业信息安全发展研究中心、西安交通大学、清华大学公共管理
学院、北京格灵深瞳信息技术股份有限公司、北京工业大学、北京北信源软件股份有限公司、
北京奇虎科技有限公司、商汤集团有限公司、蚂蚁科技集团股份有限公司、北京百度网讯科
技有限公司、北京昇腾人工智能生态创新中心、北京晴数智慧科技有限公司、北京神州绿盟
科技有限公司、北京中科睿鉴科技有限公司、广州广电信息安全科技有限公司、北京中银(深
圳)律师事务所。
本标准主要起草人:王淼、邱惠君、张瑶、刘永东、李卫、张振乾、邱颖昭、沈超、李
前、赵静、陈天博、李铮、王伟茹、姜来、杨东东、韩东、胡正坤、杨胜尧、林冠辰、郭建
领、樊少培、张笑威、杨鑫宜、王子昂、张原、潘良。
T/CFEII 0021-2024
IV
引言
人工智能作为数字化转型的重要赋能技术之一,正在与金融、医疗、工业、交通等领域
融合发展。近年来,人工智能应用范围加速拓展,行业渗透率迅速提升。与此同时,人工智
能存在算法、数据、攻防、应用、管理等方面的风险,已暴露出信息泄露、数据滥用、偏见
歧视、实施诈骗等安全风险,引发了社会各界对人工智能安全问题的广泛关注。
本项目在充分研究分析国内外人工智能安全风险治理原则、政策、标准等文件的基础上,
面向设计、开发、使用人工智能的组织提出人工智能安全可信度评估框架、方法和内容,为
组织开展人工智能安全可信度自评估和第三方评估提供依据,也可以为监管部门提供参考。
对标准中的具体事项,法律法规另有规定的,需遵照其规定执行。
T/CFEII 0021-2024
1
人工智能融合应用安全可信度评估规范(组织版)
1 范围
本标准规定了评估组织人工智能安全可信管理能力的评估框架与评估内容,并提供了评
估规则。
本标准适用于指导人工智能系统开发者、使用者、第三方评估机构等对开发和应用人工
智能系统的组织的安全可信管理能力进行评估。
2 规范性引用文件
本文件没有规范性引用文件。
3 术语和定义
下列术语和定义适用于本文件。
3.1
人工智能artificial intelligence
<学科>人工智能系统相关机制和应用的研究与开发。
[来源:GB/T 41867-2022,3.1.2]
3.2
人工智能系统artificial intelligence system
针对人类定义的给定目标,产生诸如内容、预测、推荐或决策等输出的一类工程系统。
3.3
人工智能风险artificial intelligence risk
人工智能的不确定性对任务和目标的影响。
[来源:ISO/IEC 22989:2022,3.5.11,有修改]
3.4
算法algorithm
<人工智能>用于求解分类、推理、预测等问题,明确界定的有限且有序的规则集合。
[来源:T/CESA 1193-2022,3.1.8,有修改]
3.5
模型model
<人工智能>针对特定问题或任务,基于输入数据,生成推理或预测的计算结构。
注:一个人工智能模型是基于人工智能算法训练的结果。
[来源:T/CESA 1193-2022,3.1.9,有修改]
3.6
T/CFEII 0021-2024
2
安全性security
<人工智能>系统免受恶意攻击、保护数据或阻止未经授权访问的能力。
[来源:ISO/IEC TR 24028:2020,3.35,有修改]
3.7
可信性trustworthiness
<人工智能>系统以可验证的方式,满足利益相关者期望的能力。
注1:根据背景或行业以及具体产品或服务、数据和使用的技术,适用不同的特征,需
要通过客观证据证明,以确保满足利益相关者的期望。
注2:可信的特征包括可靠性、可用性、弹性、安全、隐私性、可问责、透明性、完整
性、真实性、质量等。
注3:可信是一种属性,可应用于服务、产品、技术、数据和信息,在治理背景下也可
应用于组织。
[来源:ISO/IEC TR 24028:2020,3.42,有修改]
3.8
人工智能生命周期artificial intelligence lifecycle
人工智能系统从设计到下线的过程,包括设计开发、验证测试、部署上线、运行维护、
退役下线等阶段。
[来源:ISO/IEC 22989:2022,有修改]
3.9
偏见bias
<人工智能可信赖>对待特定对象、人或群体时,相较于其他对象出现系统性差别的特性。
注:“对待”指任何一种行动,包括感知、观察、表征、预测或决定。
[来源:GB/T 41867-2022,3.4.10,有修改]
3.10
伦理ethics
<人工智能>开展人工智能技术基础研究和应用实践时遵循的道德规范和准则。
[来源:GB/T 41867-2022,3.4.10]
3.11
公平性fairness
<人工智能>尊重既定事实、社会规范和信仰,且不受偏袒或不公正歧视影响的对待、行
为或结果。
注1:对公平性的考虑是与环境高度相关的,并且因文化、代际、地理和政治观点而异。
注2:公平不等于没有偏见。偏见并不总是导致不公平,不公平可能是由于偏见以外的
因素引起的。
[来源:GB/T 41867-2022,3.4.1]
3.12
可解释性interpretability
<人工智能>系统以人能理解的方式,表达影响其(执行)结果的重要因素的能力。
注:可解释性理解为对“原因”的表达,而不是尝试以“实现必要的优势特性”做出争
T/CFEII 0021-2024
3
辩。
[来源:GB/T 41867-2022,3.4.3]
3.13
鲁棒性robustness
<人工智能>系统在任何情况下都保持其性能水平的特性。
[来源:GB/T 41867-2022,3.4.9]
4 评估框架与评估方法
4.1 模型构成
人工智能安全可信度评估模型(组织版)包括内设架构、制度建设、宣贯培训、过程管
理、防御机制五个维度。
图1 人工智能融合应用安全可信度评估模型(组织版)五大维度
编号一级指标编号二级指标
1 内设架构
1.1 机构设置
1.2 责任体系
2 制度建设
2.1 文档管理
2.2 日志记录
2.3 风险管理
2.4 应急计划
2.5 多方参与
2.6 信息披露
3 宣贯培训
3.1 人员培训
3.2 传播宣贯
4 过程管理
4.1 数据管理
4.2 数据标注
4.3 算法选择
4.4 版本管理
4.5 性能测试
4.6 下线管理
5 防御机制
5.1 可信环境
5.2 攻击防范
4.2 评估等级
人工智能融合应用安全可信度等级(组织版)体现了组织在设计、开发、部署、运行人
工智能系统时的安全风险管理水平和应对能力。评估等级由低到高可分为五个等级,更高的
等级代表组织具有更好的人工智能安全可信度。
一级(一般):组织的人工智能安全风险管理意识一般,开展了零散、被动的安全可信
管理工作。
二级(较好):组织具有一定人工智能安全风险管理意识,开展了一定安全可信管理工
作,主要依据经验进行管理,覆盖了人工智能安全可信管理的部分环节,初步具备一定的主
动应对能力。
T/CFEII 0021-2024
4
三级(良好):组织具有较高的人工智能安全风险管理意识,开展了较多的安全可信管
理工作,对管理规则和方法进行了一定主动设计,覆盖了人工智能安全可信管理的多个环节,
能够较好地实现对风险的应对处理。
四级(优秀):组织具有很高的人工智能安全风险管理意识,开展了足够的安全可信管
理工作,积累了较多成熟的实践经验和管理规则,覆盖了人工智能安全可信管理的关键环节,
具有固化的管理流程和较为实用的工具方法,能够很好地实现对风险的应对处理。
五级(卓越):组织高度重视人工智能安全风险管理,开展了全面、高效的安全可信管
理工作,形成了成熟、完善、能够引领行业的管理规范和实践经验,覆盖了人工智能安全可
信管理的所有环节,具有标准化的管理流程和工具方法,能够很好地预判和应对可能存在的
风险。
5 评价方法
a) 查阅文件材料:查阅自评估报告、第三方评估报告、审计报告、测试报告、设计开
发文档、用户沟通文档、系统使用说明书、组织的战略计划、实施计划、制度文件等相关材
料。
b) 访谈相关人员:与组织中的管理人员、系统开发人员、测试人员,以及组织外部的
专家、目标用户等利益相关者进行交流。
c) 查看算法文档:查看算法的源代码、配套说明文档等。
d) 查看系统配置:查看系统日志、配置文件、参数设置、版本记录等。
e) 算法运行测试:运行算法模型,检查其输出结果是否符合预期。
f) 采用测试工具:使用检测工具对人工智能系统的性能和安全性,以及数据集的准确
性、无偏性等进行测试。
g) 进行模拟攻击:模拟相关攻击方法,对人工智能系统进行攻击并分析攻击结果。
6 评估内容
6.1 内设架构
内设架构维度主要评估,是否从组织层面明确设立人工智能安全可信相关负责机构,是
否通过构建责任体系明确相关人员的责任分工。
6.1.1 机构设置
应评估组织是否建立了人工智能安全风险管理、监督、落实机构。可重点评估:
a) 是否从组织层面明确建立人工智能安全风险管理和监督机构,如人工智能安全风险
管理委员会,负责相关研究、布置、总结工作,由高层领导兼任委员会成员,或通过其他组
织机构(如科技伦理委员会、数据安全治理机构、质量管理机构等)覆盖相关的职能。
b) 是否从组织层面明确建立人工智能安全风险管理工作落实机构,如人工智能安全风
险管理工作组,负责落实具体职能,开展日常工作,或通过其他组织机构覆盖了相关职能。
c) 是否从组织层面做出规定,要求对人工智能项目设置专门的安全风险审查人员,负
责对具体项目进行风险管理、评估、审查和提醒,并对其工作年限、职称、培训时长等作出
要求,安全风险审查人员是否与模型开发和部署人员独立。
6.1.2 责任体系
应评估组织是否建立明确的责任体系,明确定义人工智能系统涉及的人员角色、职责、
分工,并建立追责机制,以确保问责制度有效落实。可重点评估:
a) 是否对人工智能系统涉及的所有或相关核心岗位(包括且不限于主要负责人、高级
T/CFEII 0021-2024
5
管理人员、项目管理人员、产品经理、设计人员、开发人员、数据管理人员等),设置人工
智能安全风险管理的岗位职责。
b) 是否规定法定代表人或主要负责人对组织的人工智能安全风险管理负全面领导责任。
c) 是否规定高级管理人员对分管业务范围内的人工智能安全风险管理负直接领导和具
体领导责任。
d) 是否规定项目负责人对本项目的安全风险管理负直接管理责任。
e) 是否规定项目层面的人工智能安全风险审查人员对人工智能安全风险管理负直接责
任。
f) 是否对相关岗位人员因未按规定履行职责产生安全风险时应负的责任作出明确规定。
6.2 制度建设
制度建设维度主要评估组织是否从文档管理、日志记录、风险管理、应急计划、多方参
与、信息披露等角度建立了完善的制度。
6.2.1 文档管理
应评估组织是否建立了合理的文档管理制度,对人工智能系统的设计开发、运行维护等
环节相关文档进行统一管理和备份。可重点评估:
a) 是否对人工智能生命周期各环节需要存档文件类型和存档要求做出明确的规定,涵
盖项目需求说明书、项目实施方案、需求变更说明书、项目自查和审查报告、测试报告、利
益相关者沟通文档、信息披露文档、风险管理文档、算法机制机理说明文档等。
b) 文档管理是否覆盖设计开发、验证测试、部署上线、运行维护、退役下线等全生命
周期的重点环节。
c) 是否规定当系统发生重要变更时,应经相关负责人签字,并保存相关的变更文档。
d) 是否建立了定期审查文档的制度,定期审查相关文档的完整性、可用性和有效性。
6.2.2 日志记录
应评估组织是否建立合理的日志记录制度,要求在人工智能整个生命周期中详细记录设
计开发过程以及对模型和系统所做的更改。可重点评估:
a) 是否对需要进行日志记录的环节和操作做出明确要求,覆盖人工智能全生命周期的
重点环节。
b) 日志记录是否包含系统的运行环境、训练和推理过程、异常事件、用户操作等内容。
c) 是否对日志记录的格式、内容、存储时间等做出明确的规定。
6.2.3 风险管理
应评估组织是否制定和实施了专门、持续的风险管理制度,以便系统地识别、分析、持
续监测和减轻风险。可重点评估:
a) 是否按照ISO/IEC 23894:2023(E)、ISO/IEC 31000:2018(E)及ISO/IEC 42001:2022(E)的要
求开展人工智能风险管理并获取相关认证。
b) 是否在组织层面制定了专门的风险管理制度,进行定期审计和改进。
c) 是否在立项前对潜在安全风险进行识别和分析,涵盖系统对个人、组织、社会、环
境等方面造成的影响,并采取预防措施。
d) 是否在项目进行中持续进行风险识别和分析,实施风险减轻措施,及时调整管理计
划。
e) 是否在系统上线前进行安全风险审查,确保系统符合法律法规、行业标准、道德伦
T/CFEII 0021-2024
6
理等方面的要求。
f) 是否在系统上线后持续监测风险,修复漏洞并提升风险管理能力,保障安全运行。
6.2.4 应急计划
应评估组织是否制定了持续的风险监测机制和应急响应计划,包括异常情况出现时中断
系统以及避免负面影响的相应机制。可重点评估:
a) 是否建立异常状况监测预警机制,能够对系统运行状态、异常事件等进行实时监测、
预警和报告。
b) 是否对安全日志的记录内容和保留期限进行明确要求,以便对潜在的安全威胁进行
监控和分析。
c) 是否制定了应急响应计划,明确系统故障、数据泄露、网络攻击等应急情况的处理
步骤和分工。
d) 是否通过应急演练、人员培训等活动使项目团队成员熟悉应急响应流程,掌握必要
的技能。
e) 是否有专门的应急响应团队负责事件响应和处理,及时发现和应对安全威胁。
f) 是否制定数据备份和恢复机制,定期备份重要数据,并在异常情况发生时能够及时
恢复数据,保障系统迅速恢复正常运行。
6.2.5 多方参与
应评估组织是否建立了利益相关者参与机制,在整个人工智能生命周期中考虑来自不同
利益相关方的视角。可重点评估:
a) 是否建立利益相关方参与机制,对人工智能系统设计、开发、测试、部署的全生命
周期中涉及的利益相关方及可能产生的影响进行分析。
b) 是否在界定和分析利益相关方时,尽可能地考虑特定的人群(例如,不同性别、不
同年龄、残疾人)。
c) 是否在整个生命周期的各个环节中,均建立与各利益相关方持续沟通的机制,不断
收集利益相关者对系统的看法、期望和改进建议。
6.2.6 信息披露
应评估是否建立完整的信息披露机制,要求向监管部门、客户及用户定期披露训练数据、
算法模型等信息。可重点评估:
a) 是否建立人工智能模型基本信息披露机制,以清晰、易懂、充分的方式,向用户提
供数据的基本属性、算法机制机理、系统运行逻辑、潜在风险情况等信息,帮助用户充分理
解并针对其做出相关决策。
b) 是否建立人工智能模型评测信息披露机制,向用户披露模型的准确性、鲁棒性、安
全性、公平性、可解释性等相关维度的评估情况。
6.3 宣贯培训
宣贯培训维度主要评估组织是否围绕人工智能安全风险管理开展了内部的人员培训和
外部的传播宣贯。
6.3.1 人员培训
应评估组织是否开展人员培训,对相关人员进行人工智能安全风险管理意识教育和培训,
使其能够按照相关政策、程序和协议履行职责。可重点评估:
T/CFEII 0021-2024
7
a) 是否对相关员工进行人工智能安全风险种类与应对措施、岗位人工智能安全风险责
任、相关法律法规等方面的培训,提升其人工智能安全风险管理意识。
b) 相关培训的人员是否覆盖组织管理层、中层领导及项目负责人、人工智能项目相关
员工等,包括系统设计、开发、训练、测试、部署,数据采集、标注、处理、管理等所有相
关人员。
c) 是否对系统开发人员进行安全培训,提高其人工智能安全技能水平。
d) 是否对数据标注人员进行专业培训,包括标注指南、质量控制以及数据隐私保护要
求,保障标注的准确性和安全性。
e) 是否通过相关培训增强模型开发、训练、部署等相关人员的公平性意识。
f) 是否对培训内容、参加人员、课时数和培训时间等进行规定,并对每次培训的相关
信息进行记录。
6.3.2 传播宣贯
应评估组织是否面向用户、公众、社会等宣贯其人工智能安全可信管理的理念、文化、
做法、实践,以增强公众的操作技能以及对产品的的认知度和信任度。可重点评估:
a) 是否对人工智能系统的用户进行培训,向用户分享人工智能相关产品的使用技巧、
操作方法等。
b) 是否向公众、社会等传达组织的人工智能安全可信管理的政策、标准、技术、实践、
案例等。
6.4 过程管理
过程管理维度主要评估组织是否重视在数据管理、数据标注、算法选择、版本管理、性
能测试、下线管理等人工智能系统设计、开发、运行、下线的关键环节中的人工智能安全风
险管理。
6.4.1 数据管理
应评估组织是否设置相关规则对数据进行规范管理,保障数据的精准性、无偏性、代表
性、可追溯性、合规性等。可重点评估:
a) 是否考虑数据集的准确性问题,建立数据集预处理、定期检查和更新、数据准确性
检查等机制。
b) 是否考虑数据集可能存在的数据偏见风险,制定相关相关人员的无偏性审查和培训
机制、数据集无偏性审查机制、持续监测和改进机制等。
c) 是否考虑数据的代表性问题,建立数据代表性的分析、评估、验证机制,保障数据
集与系统目标的一致性。
d) 是否考虑数据的可追溯性问题,建立数据来源记录、数据集潜在风险分析、数据操
作记录、数据错误来源追踪追溯等机制。
e) 是否考虑数据合规性问题,建立数据授权、数据脱敏、加密存储、定期备份、数据
最小化、数据使用情况告知、合规审查等机制,以保障数据采集、使用符合数据安全、个人
隐私保护、知识产权等相关法律法规要求。
6.4.2 数据标注
应评估是否对标注的人员、规则等做出规定,对标注的准确性、无偏性等进行审核。可
重点评估:
a) 是否对数据标注的标准做出规定,设定数据标注的准确性要求,以降低标注错误和
T/CFEII 0021-2024
8
不一致性的风险。
b) 是否要求对数据标注的质量进行检查评估,对检查评估的频率、内容、形式、人员
等做出规定,是否要求在内容不准确或不符合质量要求时,进行重新标注。
6.4.3 算法选择
应评估组织是否设置相关规则,对算法的可解释性、鲁棒性、公平性等进行评估和分析,
以便于筛选更合适的算法。可重点评估:
a) 在系统开发过程中,是否优先选择具有较高可解释性、鲁棒性、公平性的算法和模
型架构,平衡了模型性能和安全性,并根据应用场景做出合理选择。
b) 是否对系统的可解释性、鲁棒性、公平性等方面需求进行分析。
c) 是否通过相关工具、技术、方法提升模型可解释性、鲁棒性和公平性。
d) 是否在模型部署前对模型的可解释性、鲁棒性、公平性等进行检查和评估,确保能
够满足部署和使用需要。
e) 是否对模型的风险评估、模型选择和权衡过程等进行详细记录。
6.4.4 版本管理
应评估组织是否设置相关规则,对模型的不同版本的关键信息进行记录,提升系统开发
训练、测试、调优等全流程的可追溯性。可重点评估:
a) 是否建立了较为完善的人工智能系统版本管理制度,对版本标识与命名规范、版本
控制工具、关键信息记录、更新日志和注释与定期备份和存档等做出详细规定。
b) 是否具有适合的版本控制工具,可用于管理模型的源代码、配置文件和训练数据等,
确保有效跟踪和记录模型版本的变更历史。
c) 是否对每个模型版本语音记录的关键信息做出规定,包括但不限于:版本标识和名
称、模型训练时间、模型架构、训练数据集、参数和超参数设置、训练过程、性能评估指标、
更新记录、作者和负责人等信息。
d) 是否规定对模型重要版本的源代码和关键信息等进行备份。
6.4.5 性能测试
应评估组织是否要求在系统上线前对系统性能,如精准性、可靠性、模型生成内容的安
全性等进行自测或第三方测试,确保系统达到一定质量要求和合规要求。可重点评估:
a) 是否要求在上线前对系统的精准性、可靠性、模型生成内容的安全性等方面性能进
行自测或第三方测试。
b) 是否对测试不达标的情况做出规定,要求进行改进以保障系统达到一定性能要求后
方可上线。
c) 当系统发生重大变化或重新训练模型时,是否对系统的性能进行再次检测。
6.4.6 下线管理
应评估是否具有相关规定对退役下线后的设备、数据、算法等进行合理的处理和管理,
必要时进行销毁。可重点评估:
a) 是否要求在退役下线前进行风险评估,并针对相关风险制定数据备份、系统恢复等
措施。
b) 是否要求对下线时间、原因、操作人员等信息进行记录,以便后续追踪和审计。
c) 是否具有规范的规定和流程,对退役下线的系统的数据、模型、相关文档等制定处
理计划。
T/CFEII 0021-2024
9
d) 是否具有规范的规定和流程,对需要删除的数据、模型、文档等进行销毁,并确保
其不可恢复。
e) 是否具有规范的规定和流程,对需要留存的数据进行脱密和加密,设置合理的访问
权限。
6.5 防御机制
防御机制维度主要评估组织是否构建相关制度和管理规范,以提升相关软硬件环境的可
信度,及应对可能遭遇的安全风险或攻击。
6.5.1 可信环境
应评估组织是否建立了相关机制,要求对采用的开源框架、操作系统、基础硬件等软硬
件进行安全检查和测试。可重点评估:
a) 是否建立相关机制,对系统开发的基础设施的物理安全、网络通信安全、计算环境
安全、数据存储安全等方面进行检查,确保具备全方位保障能力。
b) 是否建立相关机制,对系统开发环境进行安全配置和检查,并实施访问权限控制。
c) 是否建立相关机制,对所使用的开源框架进行漏洞审查,持续监控相关安全风险,
并及时采取补救措施。
d) 是否建立相关机制,对系统的供应链安全性进行评估,保障系统运行的稳定性,如
人工智能芯片、服务器等。
6.5.2 攻击防范
应评估组织是否具有相应的管理规范以应对人工智能系统潜在风险和可能遭遇的攻击,
包括采取防护措施应对对抗样本、逆向还原、数据投毒、后门攻击等。可重点评估:
a) 是否构建相关机制,具有相关规范并提供相关工具,对系统进行对抗性的训练和测
试,研究和应用防御算法和技术,提升模型抵御攻击的能力。
b) 是否建立系统攻击监测机制,能够对系统攻击事件进行及时识别并记录。
c) 是否具有相关规范并提供相关工具,使系统具备自防御能力,能够自动应对相关攻
击或及时预警。
d) 是否构建相关机制,保障相关人员及时了解最新的攻击技术和趋势,不断学习和分
享防御实践和经验。
T/CFEII 0021-2024
10
附录A 人工智能融合应用安全可信度(组织版)评估分级方法
A.1 概述
本附录基于本标准的评估框架、评价方法及评估内容,进一步给出人工智能安全可信度
评估指标体系构建、加权评分方法和分级判定参考等,以便于本标准的应用和推广。评估指
标体系构建可按照评估内容展开,依据评估内容逐层细化并设立对应评估指标。基于指标体
系中底层指标所采集的评估数据,可采用加权评分方法对各级评估指标进行定量评分。分级
判定参考给出了组织层面人工智能各级安全可信度评价的总体参考标准。
A.2 评估指标体系构建
A.2.1 构建原则
按照本标准要求,评估指标体系构建应遵循以下原则:
a) 评估指标体系应与本标准评估内容的层次结构相对应,建议可按照三级指标构建。
本标准的一级评估内容:内设架构、制度建设、宣贯培训、过程管理、防御机制可作为指标
体系的一级指标。本标准的二级评估内容:如内设架构的机构设置、责任体系等可作为指标
体系相应的二级指标。本标准二级评估内容下的具体内容可用于设计三级评估指标。
b) 评估指标体系一级和二级指标原则上与本标准的一、二级评估内容相对应,三级指
标建议基本按照本标准相应评估内容设定,可依据需求进行适度调整和补充。
c) 一般情况下,为提高可操作性,各主体最终确定并用于实际测评的评估指标体系应
在满足应用需求的前提下尽量简化。
A.2.2 构建步骤
按照本标准要求,评估指标体系构建可采用如下步骤:
a) 按照评估主体的特色,基于本标准的评估框架、评估方法与评估内容,选择、修订
各级评估内容,对部分评估内容进行必要调整、补充或细化。
b) 对照本标准各级评估内容的层次结构构建评估指标体系。
c) 结合评估主体的需求,参考专家知识和经验,对指标进行必要的调整。
d) 在必要情况下,重复上述步骤,构建完成评估指标体系。
A.3 加权评分方法
A.3.1 权重设置
评估指标体系中各级指标的权重设置应遵循或借鉴如下方面:
a) 面向不同主体开展评估时,各主体一级指标的权重原则上应保持一致,二级指标的
权重建议视不同类型主体使用情况略作调整,三级标权重可按照本主体的特色和需求分别进
行设置。
b) 原则上总分为100 分制,五大一级指标满分加总为100 分。
c) 设置权重时需考虑指标对被评估主体开展人工智能安全可信管理工作的相对重要程
度。
d) 可采用德尔菲法(Delphi)、层次分析法(AHP)或网络分析法(ANP)等进行辅
助决策。
e) 应在一定时期内保持相对稳定。
A.3.2 加权评分
按照指标体系进行评分时应遵循或借鉴如下方面:
T/CFEII 0021-2024
11
a)三级指标的评分可设置为若干独立的选项,不同选项代表不同分值,由专家确定各
选项分值,该指标得分即为所选选项分值。
b)在三级指标评分基础上,二级指标得分可通过加权求和计算得出。一级指标得分可
由二级指标得分加权求和得出。最终总分可由各一级指标得分加权求和得出,满分为一百分。
c)总分60 分及以下或单项一级指标低于50 分建议为人工智能安全可信度一级,总分
61 分-70 分建议为人工智能安全可信度二级,总分71 分-80 分建议为人工智能安全可信度三
级,总分81 分-90 分建议为人工智能安全可信度四级,总分91 分-100 分建议为人工智能安
全可信度五级。
A.4 分级判定参考
A.4.1 人工智能融合应用安全可信度一级
组织的人工智能安全风险管理意识一般,开展了零散、被动的人工智能安全可信管理工
作。
a)人工智能安全风险尚未在组织层面引起重视。
b)尚未开展主动的人工智能安全可信管理活动,仅在必要时进行被动响应。
A.4.2 人工智能融合应用安全可信度二级
组织具有一定人工智能安全风险管理意识,开展了一定安全可信管理工作,主要依据经
验进行管理,覆盖了人工智能安全可信管理的部分环节,初步具备一定的主动应对能力。
a)从组织层面考虑到了人工智能的安全风险问题,初步具有一定的管理意识。
b)基于相关工作人员的经验和技能开展了部分人工智能安全可信管理活动。
c)初步建立了一定人工智能安全可信管理规范和制度,覆盖了本评估规范中的一部分
评估指标。
d)从组织层面对人工智能的安全性问题进行了分析并作出一些主动设计,能够有效管
理部分风险。
A.4.3 人工智能融合应用安全可信度三级
组织具有较高的人工智能安全风险管理意识,开展了较多的安全可信管理工作,对管理
规则和方法进行了一定主动设计,覆盖了人工智能安全可信管理的多个环节,能够较好地实
现对风险的应对处理。
a)从组织层面考虑到了人工智能的安全风险问题并给予了一定的重视,正在建立体系
化认识。
b)主动开展了一定人工智能安全可信管理工作,在人工智能安全可信管理的多个环节
形成了一定实践经验,能够有效管理部分风险。
c)建立了一些的人工智能安全可信管理规范和制度,采用了一些安全检测工具,覆盖
了本评估规范中的大多数评估维度和指标。
d)从组织层面通过相关机构覆盖了人工智能安全风险管理的职能,建立了一定的追责
体系。
e)从组织层面围绕人工智能相关的文档管理、日志记录、风险管理等制定了一定的制
度或规范。
f)从组织层面对人工智能相关的员工进行了一定的培训。
g)针对人工智能的数据管理、数据标注、算法选择、版本管理、性能测试、下线管理
重要环节制定了相关的规定,建立了一定的测试评估制度,能够在大多数环节上实现一定的
T/CFEII 0021-2024
12
安全可信管理目标。
A.4.4 人工智能融合应用安全可信度四级
组织具有很高的人工智能安全风险管理意识,开展了足够的安全可信管理工作,积累了
较多成熟的实践经验和管理规则,覆盖了人工智能安全可信管理的关键环节,具有固化的管
理流程和较为实用的工具方法,能够很好地实现对风险的应对处理。
a)从组织层面考虑到了人工智能的安全风险问题并给予很高的重视,初步具备体系化
认识。
b)主动开展了较多人工智能安全可信管理工作,几乎在人工智能安全可信管理的所有
关键环节均形成一定实践经验,能够有效管理绝大多数风险。
c)建立了较为全面的人工智能安全可信管理规范和制度,采用了较多标准化的管理、
检测、评估工具,覆盖了本评估规范中的几乎所有关键维度和指标。
d)从组织层面建立了专职或兼职的人工智能安全风险管理和监督机构,设置了专门的
安全风险审查人员,建立了较为明确的责任体系。
e)从组织层面围绕人工智能相关的文档管理、日志记录、风险管理、应急计划、多方
参与、信息披露等方面制定了一定的制度或规范。
f)对人工智能相关人员开展了安全风险意识、相关职责、技能等方面的培训,并向公
众传达了在人工智能安全可信管理方面的理念和做法。
g)针对人工智能的数据管理、数据标注、算法选择、版本管理、性能测试、下线管理
等所有环节制定了相关的制度和规定,建立了较为完善的测试评估制度,对系统的性能进行
自测或第三方评估,采用了一定的标准化工具来提升人工智能生命周期各环节的安全可信度,
能够较好的实现人工智能的安全可信管理目标。
h)建立了人工智能安全防御制度,对系统开发、部署环境的安全性进行检查,能够采
取有效措施及时发现和应对可能遭遇的风险和攻击。
A.4.5 人工智能融合应用安全可信度五级
组织高度重视人工智能安全风险管理,开展了全面、高效的安全可信管理工作,形成了
成熟、完善、能够引领行业的管理规范和实践经验,覆盖了人工智能安全可信管理的所有环
节,具有标准化的管理流程和工具方法,能够很好地预判和应对可能存在的风险。
a)从组织层面充分考虑和全面分析了人工智能的安全风险问题,已经建立了体系化的
认识并给予高度重视。
b)全面开展了人工智能安全可信管理活动,在人工智能安全可信管理的全部关键环节
都形成了成熟经验,能够实现全面有效的风险管理。
c)建立了完善、全面的人工智能安全可信管理规范和制度,采用了成熟、系统的专业
工具,覆盖了本评估规范中的所有关键维度和指标。
d)从组织层面建立了专门的人工智能安全风险管理、监督和落实机构,设置了专门的
安全风险审查人员,明确了组织、项目等层面人工智能各类相关角色的风险管理职责并建立
了完善的追责机制。
e)从组织层面围绕人工智能相关的文档管理、日志记录、风险管理、应急计划、多方
参与、信息披露等方面制定了全面、完善的制度或规范,设置了规范的流程,采用了成熟、
自动化、标准化的管理工具进行人工智能安全可信管理。
f)建立了完善的培训宣贯机制,对人工智能相关人员开展了安全风险意识、相关职责、
技能等方面的培训,人员覆盖到了组织管理层、中层领导、项目负责人、项目参与人员等,
能够涵盖人工智能系的全生命周期。向公众和社会传达了在人工智能安全可信管理方面的理
T/CFEII 0021-2024
13
念和做法,提升了公众对产品的认知度和信任度。
g)针对人工智能的数据管理、数据标注、算法选择、版本管理、性能测试、下线管理
等所有环节制定了全面的制度和规定,建立了完善的测试评估制度,对系统的性能进行了权
威的第三方评估,采用了自动化、标准化的管理、测试、加固工具等来提升人工智能生命周
期各环节的安全可信度,能够很好的实现人工智能的安全可信管理目标。
h)建立了完善的人工智能安全防御制度,具有全面有效的规范和自动化的工具,能够
对系统开发、部署环境的安全性进行检查,能够实现前瞻性的防御部署,指出跟踪、实时分
析、及时处理可能遭遇的攻击。

资源下载此资源下载价格为5金币立即购买,VIP免费

1.本站大部份文档均属免费,部份收费文档,经过本站分类整理,花了精力和时间,收费文档是为了网站运营成本等费用开支;
2.所有收费文档都真实可靠,为了节约成本,文档在网站前台不做预览,如果付费后,与实际文档不符合,都可以加微信号:pdftj88申请退款;
3.购买会员(或单次下载)即视为对网站的的赞助、打赏,非商业交易行为(不认同此观点请勿支付)请慎重考虑;
4.付费下载过程中,如果遇到下载问题,都可以加微信号pdftj88解决;
5.手机支付,尽量选择支付宝支付;
6.如图集或者标准不清楚,在本站找不到您需要的规范和图集,希望增加资料等任何问题,可联系微信号:pdftj88解决;

文档天下
  • 本文由 发表于 2025年3月10日 16:21:35
  • 转载请务必保留本文链接:https://www.998pdf.com/54635.html
图书

T/CHSA 075-2024 单侧唇裂诊疗指南

T/CHSA 075-2024 单侧唇裂诊疗指南 ,该文件为pdf格式 ,请用户放心下载! 尊敬的用户你们好,你们的支持是我们前进的动力,网站收集的文件并免费分享都是不容易,如果你觉得本站不错的话,可...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: