T/CIDADS 00019-2024 企业级人工智能产品应用体验设计验收指南

ICS 35.020
CCS Y 70
中国工业设计协会团体标准
T/CIDADS 00019—2024
企业级人工智能产品应用体验设计验收指南
Enterprise-level Artificial Intelligence application product experience designacceptance guide
2024 - 11 - 20 发布2024 - 12 - 20 实施
中国工业设计协会 发布

目次
前言....................................................................................................................................................................... II
引言......................................................................................................................................................................III
1 范围....................................................................................................................................................................1
2 规范性引用文件................................................................................................................................................1
3 术语和定义........................................................................................................................................................1
4 验收指标体系....................................................................................................................................................2
4.1 验收一级评价指标.................................................................................................................................... 2
4.2 验收二级指标.............................................................................................................................................2
4.3 指标优先级划分.........................................................................................................................................3
5 验收规则............................................................................................................................................................4
6 验收流程............................................................................................................................................................4
6.1 验收小组成员组成.................................................................................................................................... 4
6.2 验收流程.....................................................................................................................................................5
附录A （资料性） 验收信息收集表...........................................................................................................7
附录B （资料性） 验收报告............................................................................................................................. 8
T/CIDADS 00019—2024
II
前言
本文件按照GB/T 1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。
请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识别专利的责任。
本文件由中国工业设计协会设计标准分会提出并归口。
本文件起草单位：第四范式（北京）技术有限公司、艾普工华科技（武汉）有限公司、西安迅腾科
技有限责任公司、中电云计算技术有限公司、中移（苏州）软件技术有限公司。
本文件主要起草人：徐昀、冯佳宁、王雨萱、王蔚、李鑫杰、于东、路露、陈罡、浦玉、赵晖、杜
俊志。
本文件为首次发布。
T/CIDADS 00019—2024
III
引言
企业级人工智能应用产品随着人工智能技术的不断升级，逐步面向众多细分行业领域。由于AI技术
特性，人工智能产品在使用方式上往往不同于以往传统业务系统，例如知识图谱产品、模型训练平台等
可以说是诞生了一种新的产品品类。这就意味着人工智能产品对于用户天然具有一定的学习和认知成本。
加之企业级产品本身的专业性、流程的复杂性，对于越复杂的产品，确保向用户提供良好的使用体验就
越困难，因此如何保障企业级人工智能产品的体验是一个值得讨论和探究的问题。
目前业界暂无成熟的对企业级人工智能应用产品体验相关的现行标准与具体指南。业界存在针对人
工智能模型能力、芯片能力、算法能力的评价维度，但无法真实的反映出用户使用企业级人工智能应用
产品的体验水平。
用户体验质量是衡量企业级人工智能应用产品品质的关键；面对市场上不断出现的企业级人工智能
应用产品，具有高可用性的产品会受到客户青睐，因此当前需解决的一个问题就是如何保障企业级人工
智能应用产品满足企业业务需求的同时，还具备可用的体验服务特点。而对于企业级人工智能应用产品
的开发者，可以通过收集体验服务的验收报告，针对真实的用户群体不断改善产品体验质量，增加用户
黏性和市场口碑，占领更多的市场份额，从而推进人工智能应用产品在市场的快速发展和向更多业务领
域的普及。为了达成以上各方的不同需求，且持续的普及和推广人工智能技术至各行业领域，需要构建
一套科学可靠的企业级人工智能应用产品体验设计验收指南。本文件提供了企业级人工智能应用产品体
验设计验收的指南，给出以用户体验为导向的人工智能应用产品体验验收的维度、验收的方法以及验收
实施流程，旨在帮助人工智能应用产品提升产品体验设计质量。

T/CIDADS 00019—2024
1
企业级人工智能应用产品体验设计验收指南
1 范围
本文件规定了企业级人工智能应用产品体验设计的验收指标体系、验收规则和验收流程。
本文件适用于企业级人工智能应用产品或集成人工智能模型与企业业务系统的应用产品的验收。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，
仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本
文件。
GB/T 25000.51系统与软件工程系统与软件质量要求和评价（SQuaRE） 第51 部分：就绪可用软
件产品（RUSP）的质量要求和测试细则。
3 术语和定义
下列术语和定义适用于本文件。
3.1
企业级人工智能应用产品设计enterprise-level Artificial Intelligence application product
design
为满足企业或组织需求，开发和构建以AI技术为核心的产品的过程。设计过程中注重如何将智能功
能无缝融入产品，以增强产品的智能特性和用户价值。
3.2
业务目标business objective
一个组织、公司或企业所设定的具体、可衡量的成就或结果，用于指导其经营和战略决策。这些目
标通常与组织的使命、愿景和长期战略计划相一致，有具体的可衡量的指标，帮助确定公司在特定时间
段内想要达到的结果。
3.3
用户任务user task
用户任务基于3.2中的业务目标向下拆解得到，是用户在使用产品时需要执行的特定操作，旨在满
足他们特定的需求或解决特定问题。用户任务是用户体验设计中的概念，用户任务的高效完成是保障用
户体验的基本单元。
3.4
目标用户target users
在产品、服务、应用设计中，开发者或设计团队明确定义的特定用户群体。产品主要满足他们的需
求和期望。
3.5
待测用户test participants
在用户界面、产品或服务的测试过程中，被邀请参与测试的特定用户群体。
T/CIDADS 00019—2024
2
3.6
核心任务core task
在特定工作中，最为关键和高频的任务或活动，它们对于实现成功和达成目标至关重要。如果它们
没有得到有效执行，将会对工作流程产生显著的不利影响。
4 验收指标体系
4.1 验收一级评价指标
体验验收指标体系希望建立一套能够保障用户在使用人工智能企业级服务应用产品时顺利高效完
整核心任务的产品体验评价标准，进而达成业务目标。结合度量目标，建立6个一级评价维度和20个二
级考察指标，共同组合成一套体验验收指标体系。
一级指标基于用户任务视角，强调用户目标达成与系统的可学习型，具体如下：
1）可用性：关注的是用户目标能否通过产品达成；
2）易学性：从界面呈现内容角度，围绕产品的信息结构、视觉元素、功能概念等方面建立指标，
关注用户对产品理解的容易程度；
3）效率性：从功能操作角度，围绕完成任务的操作步骤是否便捷无冗余、提供多角色协同支持等
方面建立指标，关注用户完成任务的效率；
4）记忆性：将时间维度加入可用性度量，在用户长期使用过程中确保产品提供一定记忆性；
5）防错性：对于用户使用期间的容错性功能进行评价；
对于使用手册文档帮助性内容是作为必须材料要求业务方提供，因此不作为考察指标项；
6）品牌规范性：主要围绕品牌视觉使用的规范性、版权问题、定制化合规等角度进行评价。
4.2 验收二级指标
在4.1中评价维度的基础上，设立跟进一步的二级指标，共20项，具体如下：
4.2.1 可用性
使用该产品/功能时可以使用户达成用户任务。
4.2.2 易学性
易学性包括：
1）在使用该产品/功能时，用户可以时刻明确当前界面的任务；
2）在使用该产品/功能时，当用户感到迷惑时，可通过产品内提供的解释说明或帮助手册解决；
3）在使用该产品/功能时，用户所接触到的现有概念符合其认知；
4）在使用该产品/功能时，对所接触到的产品独特概念，用户可以在产品中找到其清晰的解释；
5）在使用该产品/功能时，用户认为产品的导航划分方式是合理的；
6）在使用该产品/功能时，用户所需操作是能够被用户找到的；
7）在使用该产品/功能时，用户认为产品所用的色彩、图标、插图可被辨识且符合其认知。
4.2.3 效率性
效率性包括：
1）在使用该产品/功能时，产品应根据GB/T 25000.51包含有关使用质量中效率的陈述；
2）在使用该产品/功能时，用户不必进行任何大量的、重复性的操作即可完成任务；
3）在使用该产品/功能时，用户不必进行任何有难度的精确控制即完成任务；
4）在使用该产品/功能时，涉及多角色、不同权限的任务符合用户的协作模式。
4.2.4 记忆性
记忆性包括：
1）在使用该产品/功能时，用户不必记忆任何不属于当前操作界面的信息；
2）在使用该产品/功能时，用户应随时感知他操作的对象所处的状态。
T/CIDADS 00019—2024
3
4.2.5 防错性
防错性包括：
1）在使用该产品/功能时，除非在操作前向用户提供告警，否则所有关键操作均允许用户撤销；
2）在使用该产品/功能时，用户可以随时返回上一个层级/来源页；
3）在使用该产品/功能时，用户每次在执行有风险的命令前，均会接收到二次确认，以便其了解操
作风险；
4）在使用该产品/功能时，如发生错误，用户可以获取到易于理解的错误原因说明及解决错误的方
法。
4.2.6 品牌规范
品牌规范包括：
1）该产品/功能中所使用的品牌及Logo符合公司规范；
2）该产品/功能中所使用的字体、图标、图片等设计元素无版权风险；
3）该产品/功能中，与客户定制化相关的品牌、Logo、文案等信息没有错误。
4.3 指标优先级划分
在指标体系建立的过程中我们紧密聚焦用户目标任务，因此20个二级指标的优先级划分主要以其对
任务的完成的影响作为依据，优先级划分有以下5种：
1）阻塞级(Block)：用户要执行的核心任务完全不可用的问题。如不修复这类问题，用户将认为自
己无法通过产品完成目标。
2）关键级(Critical)：导致某些核心功能不可用的问题。如不修复这类问题，用户将认为产品令其
感到气愤或痛苦。
3）主要级(Major)：可以正常使用、但极大影响用户使用效率的问题。如不修复这类问题，用户将
认为产品体验是不友好的。
4）次要级(Minor)：非体验行业专业用户可察觉的界面样式、交互动效等问题。如不修复这类问题，
用户认为产品设计品质较低。
5）低优先级(Trivial)：仅体验行业专业用户可察觉的微小的界面问题。如不修复这类问题，将不
会影响用户对产品的整体满意度。
综上，完整的指标体系呈现见表1：
表1 体验设计验收指标体系
一级指标二级指标优先级划分
可用性使用该产品/功能可以使用户达成上述所定义的目标
此处结合企业级人工智能产品特性，
建议为：阻塞级
易学性
在使用该产品/功能时，用户可以时刻明确当前界面的任务
此处结合企业级人工智能产品特性，
建议为：阻塞级
在使用该产品/功能时，当用户感到迷惑时，可通过产品内提供的解
释说明或帮助手册解决
此处结合企业级人工智能产品特性，
建议为：关键级
在使用该产品/功能时，用户所接触到的现有概念符合其认知
此处结合企业级人工智能产品特性，
建议为：关键级
在使用该产品/功能时，对所接触到的产品独特概念，用户可以在产
品中找到其清晰的解释
此处结合企业级人工智能产品特性，
建议为：关键级
在使用该产品/功能时，用户认为产品的导航划分方式是合理的
此处结合企业级人工智能产品特性，
建议为：主要级
在使用该产品/功能时，用户所需操作是能够被用户找到的
此处结合企业级人工智能产品特性，
建议为：主要级
在使用该产品/功能时，用户认为产品所用的色彩、图标、插图可被
辨识且符合其认知
此处结合企业级人工智能产品特性，
建议为：主要级
T/CIDADS 00019—2024
4
效率性
在使用该产品/功能时，用户不必进行任何大量的、重复性的操作即
可完成任务
此处结合企业级人工智能产品特性，
建议为：主要级
在使用该产品/功能时，用户不必进行任何有难度的精确控制即完成
任务
此处结合企业级人工智能产品特性，
建议为：主要级
在使用该产品/功能时，涉及多角色、不同权限的任务符合用户的协
作模式
此处结合企业级人工智能产品特性，
建议为：主要级
记忆性
在使用该产品/功能时，用户不必记忆任何不属于当前操作界面的信
息
此处结合企业级人工智能产品特性，
建议为：主要级
在使用该产品/功能时，用户应随时感知他操作的对象所处的状态
此处结合企业级人工智能产品特性，
建议为：主要级
防错性
在使用该产品/功能时，除非在操作前向用户提供告警，否则所有关
键操作均允许用户撤销
此处结合企业级人工智能产品特性，
建议为：阻塞级
在使用该产品/功能时，用户可以随时返回上一个层级/ 来源页
此处结合企业级人工智能产品特性，
建议为：关键级
在使用该产品/功能时，用户每次在执行有风险的命令前，均会接收
到二次确认，以便其了解操作风险
此处结合企业级人工智能产品特性，
建议为：关键级
在使用该产品/功能时，如发生错误，用户可以获取到易于理解的错
误原因说明及解决错误的方法
此处结合企业级人工智能产品特性，
建议为：主要级
品牌规范
性
该产品/功能中所使用的品牌及Logo 符合公司规范
此处结合企业级人工智能产品特性，
建议为：关键级
该产品/功能中所使用的字体、图标、图片等设计元素无版权风险
此处结合企业级人工智能产品特性，
建议为：关键级
该产品/功能中，与客户定制化相关的品牌、Logo、文案等信息没有
错误
此处结合企业级人工智能产品特性，
建议为：主要级
注：可根据实际情况在阻塞级、关键级、主要级、次要级、低优先级，中选择合适级别。
5 验收规则
根据产品版本可支持客户占比进行验收，产品版本分级评价标准见表2。
表2 产品版本分级评价标准
产品版本可支持客户数占比
（以下数值为参考示例）
评价标准
≤15%
1）阻塞级体验问题；
2）其余体验问题提供预案支持
15%＜~30%
1）无阻塞级体验问题；
2）无关键级体验问题；
3） 其余体验问题提供预案支持
30%≤
1）无阻塞级体验问题；
2）无关键级体验问题；
3）无主要级体验问题；
4）其余体验问题提供预案支持
注1:“预案”需保证公司品牌不受影响，“预案支持”即产品出现对应问题有对应方案保障。
注2: 版本售卖客户数越多，相应的度量指标也会越严格，评审标准增加一定灵活性与适用度。
6 验收流程
6.1 验收小组成员组成
6.1.1 验收小组成员包括：主持人、评审专家、待测用户、业务方代表。
T/CIDADS 00019—2024
5
6.1.2 成员分别具备以下相关条件。
1）主持人：熟悉验收流程和相关文件信息；了解验收产品的产品架构、用户需求和判定条件。
2）评审专家：为非待测项目组成员；熟悉用户体验、人工智能的基本知识和相关业务知识；接受
过相关培训，清楚了解测试的目标、范围和标准，以便能够评估测试文档的一致性。评审专家自身进行
启发式评估，以熟悉测试功能、提供专业视角，对于用户忽略的问题以及难以界定的情形会给出专业视
角的补充。
3）待测用户：代表产品或服务的潜在最终用户。技能、知识储备等需要与最终用户画像一致，测
试前会评估用户的角色定位、角色权限、使用场景、行为特点/规律，与目标用户画像的匹配度偏差不
应超过50%，以确保待测用户的反馈和行为能够代表实际用户的需求和期望；不应与测试结果有相关的
利益冲突，以确保待测用户能够提供客观的反馈。
4）业务方代表：熟悉验收产品的产品架构、需求背景、业务方向和用户信息；可以负责组织产品
后续的迭代。
6.2 验收流程
6.2.1 筹备阶段
筹备阶段流程如下：
1）业务方代表明确产品相关的背景、测试边界与协助形式、产品版本与分级信息；
2）业务方代表确定待测用户。业务方代表在测试执行前要为评审小组明确产品的目标用户用户画
像，并负责联系真实用户作为测试对象；
3）业务方代表确定评估边界。业务方代表需明确本次测试核心任务，任务范围与发版材料中的主
干任务一致。此外还需明确测试时为用户提供的预设情景；
4）业务方代表提供稳定的测试环境、账号等必要信息；
5）业务方/产品设计师根据主干任务以及以上信息完成验收信息收集表、用户任务书，验收信息收
集表见附录A。
6.2.2 专家审议
专家审议流程如下：
1）评审专家根据产品的立项材料确认其版本分级对应的验收评审要求；
2）评审专家根据产品的立项材料确认其需求范围及需求等级，以此判断业务方给出的核心任务流
程是否合理；
3）评审专家测试前确认核心任务流程与了解版本功能，各自独立模拟用户完成特定任务，给出基
于任务的指标达成情况判定；
4）表格审核后确定最终测试执行时间、地点。
6.2.3 执行阶段
执行阶段流程如下：
1）为避免真实用户临场紧张或受到干扰，评审组成员不与测试用户在一个空间，通常通过共享屏
幕查看真实用户操作；
2）主持人提供任务书给测试用户，简述背景任务以及注意事项；
3）在测试过程中允许用户按照发版计划接受一定程度的帮助。例如如果产品本身承诺为客户提供
了使用手册、电话咨询等协助，那在测试过程中，允许测试用户进行该范围内的支持；
4）测试过程中评审小组观察用户使用情况，结合用户完成任务情况和走查结果给出各个指标的判
定结果，并综合版本可用性要求，经过几位专家沟通给出最终一致的评审结果；
5）业务方代表需要在测试过程中跟主持人一同观察。
6.2.4 项目复盘
项目复盘阶段流程如下：
1）在统计复盘阶段，验收小组统计每个指标项中问题的数量。根据各检查项重要性级别，得到各
级别下问题的数量，并根据整体的质量标准进行判定；
T/CIDADS 00019—2024
6
2）完成验收报告。报告中包括产品信息、测试用户信息、评审人员信息、需求方信息、验收环境
时间信息、验收目标、范围、内容和达成条件的方式、验收结果、指标统计和各项指标的达成结果以及
改进意见等，具体报告模版见附录B。
6.2.5 验收结论
如未通过测试，需由业务方与相关人员同步问题，阐述失败原因，修改后由项目经理重新预约新一
轮测试。
T/CIDADS 00019—2024
7
附录A
（资料性）
验收信息收集表
验收信息表宜按表A.1 制定。
表A.1 验收信息收集表
产品版本产品分级验收时间
对应级别重要性程度
级别要求
边界/协助范围
目标用户
角色定位角色权限业务熟练度
行为特点/规律使用场景
待测用户
姓名职位是否为真实用户匹配
度偏
差1
辅助工具其他：
产品目标
序号目标简介（根据此版本项目需求转换成用户可理解的任务目标）
1
2
验收指标体系判断条件表
任务一名称
步骤补充材料判定标准结果反馈反馈备注
注：匹配度偏差说明：
将“匹配”拆分为技能匹配、岗位角色匹配、业务知识匹配3 个方面，如过待测用户与真实用户有2 项或以上符合则认
为匹配度较高；1 项符合认为匹配度中等，都不符合则匹配度低。
T/CIDADS 00019—2024
8
附录B
（资料性）
验收报告
验收报告宜按表B.1 制定。
表B.1 验收报告
产品名称： 待测用户：
产品对应分级及体验要求： 用户角色：
问题统计
阻塞级(Block)问题数量
关键级(Critical)问题数量
主要级(Major) 问题数量
次要级(Minor) 问题数量
低优先级(Trivial) 问题数量
总计问题数
评估范围
用户目标产品/功能的目标用户可被划分为几种角色？这些角色分别具有什么能力和限制？
目标目标产品/功能旨在满足用户的什么目标？
任务在达成上述目标过程中，用户需要完成哪些任务
情景用户使用产品的典型场景是什么？是否存在环境/平台/设备等限制
一级指标优先级划分二级指标是否通过存在的问题
可用性阻塞级
1. 使用该产品/功能可以使用户达成上述
所定义的目标
易学性
阻塞级
2. 在使用该产品/功能时，用户可以时刻
明确当前界面的任务
关键级
3. 在使用该产品/功能时，当用户感到迷
惑时，可通过产品内提供的解释说明或帮
助手册解决
关键级
4. 在使用该产品/功能时，用户所接触到
的现有概念符合其认知
关键级
5. 在使用该产品/功能时，对所接触到的
产品独特概念，用户可以在产品中找到其
清晰的解释
主要级
6. 在使用该产品/功能时，用户认为产品
的导航划分方式是合理的
主要级
7. 在使用该产品/功能时，用户所需操作
是能够被用户找到的
主要级
8. 在使用该产品/功能时，用户认为产品
所用的色彩、图标、插图可被辨识且符合
其认知
效率
主要级
9. 在使用该产品/功能时，用户不必进行
任何大量的、重复性的操作即可完成任务
主要级
10. 在使用该产品/功能时，用户不必进行
任何有难度的精确控制即完成任务
主要级
11. 在使用该产品/功能时，涉及多角色、
不同权限的任务符合用户的协作模式
T/CIDADS 00019—2024
9
表B.1 验收报告（续）
一级指标优先级划分二级指标是否通过存在的问题
记忆性
主要级
12. 在使用该产品/功能时，用户不必记
忆任何不属于当前操作界面的信息
主要级
13. 在使用该产品/功能时，用户应随时
感知他操作的对象所处的状态
防错性
阻塞级
14. 在使用该产品/功能时，除非在操作
前向用户提供告警，否则所有关键操作
均允许用户撤销
关键级
15. 在使用该产品/功能时，用户可以随
时返回上一个层级/ 来源页
关键级
16. 在使用该产品/功能时，用户每次在
执行有风险的命令前，均会接收到二次
确认，以便其了解操作风险
主要级
17. 在使用该产品/功能时，如发生错误，
用户可以获取到易于理解的错误原因说
明及解决错误的方法
品牌规范性
关键级
18. 该产品/功能中所使用的品牌及Logo
符合公司规范
关键级
19. 该产品/功能中所使用的字体、图
标、图片等设计元素无版权风险
主要级
20. 该产品/功能中，与客户定制化相关
的品牌、Logo、文案等信息没有错误
其他问题