GB/T 45032-2024 智慧城市 面向城市治理的知识可信赖评估框架

ICS35.240.01
CCS A 69
中华人民共和国国家标准
GB/T45032—2024
智慧城市 面向城市治理的知识可信赖
评估框架
Smartcity—Knowledgetrustworthinessevaluationframeworkforcitygovernance
2024-11-28发布2025-06-01实施
国家市场监督管理总局
国家标准化管理委员会发布

目 次
前言………………………………………………………………………………………………………… Ⅲ
引言………………………………………………………………………………………………………… Ⅳ
1 范围……………………………………………………………………………………………………… 1
2 规范性引用文件………………………………………………………………………………………… 1
3 术语和定义……………………………………………………………………………………………… 1
4 知识可信赖评估框架…………………………………………………………………………………… 2
5 知识可信赖需求分析…………………………………………………………………………………… 3
6 知识可信赖特性识别…………………………………………………………………………………… 4
7 知识可信赖特性度量…………………………………………………………………………………… 4
7.1 概述………………………………………………………………………………………………… 4
7.2 选择度量方法……………………………………………………………………………………… 5
7.3 收集相关数据……………………………………………………………………………………… 6
8 知识可信赖程度评价与反馈…………………………………………………………………………… 6
附录A (资料性) “一网统管”智能派单知识可信赖评估示例………………………………………… 7
A.1 概述………………………………………………………………………………………………… 7
A.2 知识可信赖需求分析……………………………………………………………………………… 7
A.3 知识可信赖特性识别……………………………………………………………………………… 7
A.4 知识可信赖特性度量……………………………………………………………………………… 8
A.5 知识可信赖程度评价与反馈……………………………………………………………………… 8
附录B(资料性) 智能政务客服系统知识可信赖评估示例…………………………………………… 10
B.1 概述………………………………………………………………………………………………… 10
B.2 知识可信赖需求分析……………………………………………………………………………… 10
B.3 知识可信赖特性识别……………………………………………………………………………… 10
B.4 知识可信赖特性度量……………………………………………………………………………… 11
B.5 知识可信赖程度评价……………………………………………………………………………… 11
参考文献…………………………………………………………………………………………………… 13
Ⅰ
GB/T45032—2024

前 言
本文件按照GB/T1.1—2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定
起草。
请 注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。
本文件起草单位:山东省计算中心(国家超级计算济南中心)、中国电子技术标准化研究院、烟台黄
渤海新区管理委员会、江苏索利得物联网有限公司、山东新一代标准化研究院有限公司、北京大学、中国
联合网络通信有限公司山东省分公司、紫光业达科技(山东)有限公司、京东城市(北京)数字科技有限公
司、浪潮智慧科技有限公司、中国人民大学、中移雄安信息通信科技有限公司、华为技术有限公司、中电
长城网际系统应用有限公司、西南交通大学、神州数码信息系统有限公司、北京市大数据中心、新华三大
数据技术有限公司、烟台市智点智能科技有限公司、齐鲁工业大学(山东省科学院)、海南飞行者科技有
限公司、四川易利数字城市科技有限公司、苏州苏高新数字科技有限公司、广东车卫士信息科技有限公
司、铭派科技集团有限公司、成都国恒空间技术工程股份有限公司、数尚(浙江)科技有限公司。
本文件主要起草人:高永超、王妍、王德建、钱恒、王瑶瑶、赵俊峰、安小米、郑庆国、张红卫、闵京华、
张钧波、冯晓蒙、王金柱、马羽霏、陈小忠、杜圣东、张鼎、祁冬、杨小林、卢晓建、黄宁、王秋月、周茹、陈鋆、
陈洪峰、莫然、杨斌、冷海涛、李丽勤、柯嵩宇、郭文艺、李晓晔、汤伟、蒋庆、刘洋、王亚沙、张俊宁、徐川、
刘君涛、张若定、吴昕、杨元兵。
Ⅲ
GB/T45032—2024
引 言
智慧城市依赖海量的数据,通过集成先进的信息技术,不断提升城市管理效率、优化公共服务、提高
居民生活质量。智慧城市领域的知识是指关于城市中的对象、事件、概念或规则、它们之间的关系以及
属性的抽象信息,这些信息是为了面向场景目标的系统使用而组织和应用的。知识是智慧城市的核心
竞争力之一,它使得城市管理者能够做出更加科学、合理和高效的城市决策,推动智慧城市的可持续发
展。随着智慧城市建设的不断深入,城市治理领域对知识的依赖程度日益增强。然而,在海量、复杂的
信息环境中,如何提升所使用知识的可信赖程度,成为城市治理领域亟待解决的关键问题。
知识可信赖是指知识以可验证的方式满足利益相关方期望的能力,它涵盖了知识的来源可靠性、正
确性、时效性等多个维度。在智慧城市中,这些知识广泛应用于城市治理的各个领域,如智能派单、政务
客服、环境监测、交通管理等,其可信赖程度直接关系到城市治理的效率和效果。
为了规范智慧城市中城市治理领域的知识可信赖评估工作,提升城市治理的智能化水平,本文件提
出了面向城市治理领域的知识可信赖评估框架。该框架明确了城市治理领域知识可信赖评估的四个核
心单元,即知识可信赖需求分析、知识可信赖特性识别、知识可信赖特性度量、知识可信赖程度评价与反
馈,这为智慧城市中城市治理领域知识可信赖的评估提供了系统性的指导。本框架的提出,旨在帮助智
慧城市的建设者和运营者,在复杂多变的信息环境中,科学、系统地评估知识的可信赖程度,从而筛选出
满足用户需求、可信赖的知识,为城市治理提供有力支撑。同时,本框架也为智慧城市领域的知识管理、
知识服务等相关标准的制定提供了参考和借鉴。
Ⅳ
GB/T45032—2024
智慧城市 面向城市治理的知识可信赖
评估框架
1 范围
本文件给出了面向智慧城市中城市治理应用场景的知识可信赖评估框架,包括知识可信赖需求分
析、特性识别、特性度量、可信赖程度评价与反馈。
本文件适用于面向智慧城市中城市治理应用场景的知识可信赖程度的评估,以筛选满足用户需求
的可信赖知识。
2 规范性引用文件
本文件没有规范性引用文件。
3 术语和定义
下列术语和定义适用于本文件。
3.1
知识 knowledge
通过学习、实践或探索获得的认识、判断或技能。
注1:知识可以是显性的,也可以是隐性的;可以是组织的,也可以是个人的。
注2:知识可包括事实知识、原理知识、技能知识和人际知识。
注3:知识是经过“编辑”的信息,在具有意义的背景环境与分析处理后,能为组织带来真正的价值,它是隐含在专
利技术、成功产品与有效策略之后的知识力量。而组织知识的集合(累积的经验、员工、管理技能、作业方式、
科技应用、策略伙伴与供货商的关系、顾客及市场情报)就是它的智慧资本(intellectualcapital)。
注4:数据是客观事实的记录,信息是经过加工处理后的数据,是对数据做的有意义的解读,而知识是对信息的深
入理解和应用。
[来源:GB/T23703.2—2010,2.1,有修改]
3.2
实体 entity
所考虑领域中的具体或抽象事物。
[来源:ISO8000-2:2022,3.3.3]
3.3
模型 model
系统或其他事物及过程的抽象表示。
[来源:GB/T36332—2018,3.6]
3.4
知识模型 knowledgemodel
对于特定领域中真实事实的结构化规范。
[来源:ISO18308:2011,3.38]
1
GB/T45032—2024
3.5
可信赖 trustworthiness
以可验证的方式满足利益相关方期望的能力。
注1:依据不同的背景或行业,以及所使用的特定的产品、服务、技术、数据、技术和过程,适用不同的可信赖特
性,并需要验证以确保满足利益相关方的期望。
注2:可信赖特性包括但不限于来源可靠性、正确性、时效性、安全与隐私、完整性、相关性、一致性、可解释性、可问
责性、可控性、稳定性、普适性等。
注3:可验证包括通过客观证据的可测量性和可演示性,如通过与实际情况进行对比、进行实验验证、邀请专家审
查等可测量或可演示的方式来验证知识的正确性。
注4:对可信赖程度的评估,包括对可信赖特性的识别、分析以及依据相关准则对分析结果进行的可信赖程度的评
价等。
[来源:ISO/IECTS5723:2022,3.1.1,有修改]
4 知识可信赖评估框架
面向城市治理的知识可信赖评估框架包括知识可信赖需求分析、知识可信赖特性识别、知识可信赖
特性度量、知识可信赖程度评价与反馈四个单元,见图1。
知识可信赖评估框架主要包括:
a) 知识可信赖需求分析:确定城市治理场景下知识应用场景的范围、识别利益相关方、确定利益
相关方的任务和活动、确定知识用户的需求,并给出可接受的知识可信赖程度的准则,作为城
市治理场景下知识可信赖特性识别、特性度量和结果评价的依据;
b) 知识可信赖特性识别:识别城市治理知识应用场景中用户关注的知识可信赖特性,并给出特性
描述;
c) 知识可信赖特性度量:针对识别出的知识可信赖特性,选择定性、定量或两者相结合的度量方
法,并在知识生命周期各阶段收集相关数据进行各可信赖特性的度量;
d) 知识可信赖程度评价与反馈:依据用户对知识可信赖的需求、可接受的知识可信赖程度的准则
以及各可信赖特性的度量结果,对具体应用场景下的知识可信赖程度进行评价,并通过反馈机
制对知识可信赖评估的全流程进行调整和优化。
面向城市治理的知识可信赖评估框架的应用示例见附录A 和附录B。
2
GB/T45032—2024
图1 面向城市治理的知识可信赖评估框架
5 知识可信赖需求分析
知识可信赖需求分析包括但不限于以下内容。
a) 确定城市治理领域知识应用场景的范围,如公共安全、环境保护、交通管理等场景的目标、业务
流程等。
b) 识别应用场景中的利益相关方,包括评估主体(如知识用户、第三方评估机构),评估对象(主要
指场景中的知识)等。
c) 确定利益相关方的任务和活动,包括但不限于:
1) 识别评估主体需完成的任务,为完成任务需开展的活动,提出对知识的业务功能需求和知
识质量等的要求;
2) 识别评估对象所涉及的知识获取、知识推理、知识验证等生命周期阶段,每阶段可获取的
资源、质量保证措施等。
3
GB/T45032—2024
d) 确定知识用户可接受的可信赖程度的准则。
注:城市治理不同场景下,知识用户可接受的可信赖程度的准则也不相同,如知识的来源权威、可靠;能按要
求定期更新;覆盖应用场景所需的90%以上知识;没有与场景无关的知识;知识的语义准确;可获得与应
用场景紧密相关的外部知识关联;知识中的个人信息匿名化等。
6 知识可信赖特性识别
单个可信赖特性体现了知识在支撑城市治理各项活动中某一方面的可信赖属性,不同可信赖特性
从不同维度描述知识实体、关系或知识模型的可信赖属性。知识可信赖评估主体根据城市治理中知识
的应用场景和用户需求,基于可接受的可信赖程度的准则,对知识实体及其关系的每个可信赖特性进行
定义:
知 识可信赖特性包括但不限于:
a) 来源可靠性,知识来源的可靠程度,包括知识的直接来源以及获取知识的数据来源的可靠
程度;
注1:知识的直接来源可靠性一般指知识的获取渠道是否可靠,如知识是否直接来源于政府部门发布的政策
法规、专业机构的研究报告、城市管理一线工作人员的经验反馈等。
注2:获取知识的数据来源可靠性一般指数据的获取方式是否客观全面,包括数据收集和调查方法的科学性、
数据处理与分析过程的严谨性、数据来源的透明程度等方面,如城市传感器网络采集的数据是否经过
严格校准和验证。
b) 正确性,知识正确表示现实世界事实的程度;
c) 时效性,知识在特定时间范围内的有效程度;
注:时效性既包括知识的新鲜程度、是否符合当前的实际情况,也包括知识在不同时间点的价值变化。如在
考虑城市交通流量数据的时效性时,因交通状况随时变化,只有最新的交通流量数据才能为城市交通管
理决策提供准确的依据,如果使用过时的交通流量数据规划交通路线或调整信号灯时间,可能会导致交
通拥堵或效率低下。
d) 安全与隐私,知识模型和获得的知识未被篡改,确保涉及私人的数据得到保护;
e) 完整性,知识涵盖领域信息的程度,也称全面性或覆盖率;
f) 相关性,知识与领域任务的相关程度;
注:在城市治理场景下,知识与领域任务的相关程度决定了其应用价值。例如,在制定城市环保政策时,关于
大气污染、水污染等方面的知识与任务高度相关;而在城市文化建设中,历史文化遗产保护、文化活动策
划等知识则具有重要意义。
g) 一致性,知识的定义、表示、描述保持一致,不自相矛盾;
注:跨部门、跨系统的城市治理场景下,对于同一知识的定义和表示会有所不同,知识内容描述与实际系统实
现情况不相同,都会导致知识不一致情况。
h) 可解释性,知识是否使用适当的符号表示以及机器是否能够处理知识,语义是否明确。
除上述可信赖特性,知识可信赖评估主体可根据知识的应用场景和需求,选择使用3.5注2给出的
或其他未列出的可信赖特性。如在“一网统管”智能派单场景中,评估主体主要识别知识的来源可靠性、
正确性、时效性、完整性等特性,具体见A.3,在智能政务客服系统知识可信赖评估场景中,评估主体主
要识别知识的来源可靠性、正确性、时效性、完整性、一致性等特性,具体见B.3。
7 知识可信赖特性度量
7.1 概述
知识可信赖评估主体根据其在城市治理场景中知识的具体应用场景和用户需求,识别出用户关注
4
GB/T45032—2024
的知识可信赖特性并进行定义后,对各个特性进行度量。知识可信赖特性度量主要包括选择度量方法、
相关数据收集、计算得出各个可信赖特性的结果。
7.2 选择度量方法
知识可信赖特性度量方法应根据城市治理具体应用场景和目标进行定义,针对各特性可选择定性、
定量或两者相结合的方法,包括但不限于以下内容。
a) 来源可靠性,可用以下方法度量:
1) 知识的直接来源核查,构建受信任的知识提供者列表,以判断知识是否来自经过认证的权
威机构,如政府部门(规划局、城管局、环保局等)、知名研究机构或大学、学术出版物等;
注:在某些场景中,来源于组织内部的知识与外部知识相比可信赖程度更高(如组织的经验知识),因此
在构建受信任的知识提供者列表时,除外部权威机构外,也要考虑组织内部知识来源。
2) 获取知识的数据来源核查,判断数据收集和调查方法的科学性(如数据是通过大规模、随
机抽样且经过严格质量控制的调查收集而来,还是通过小范围、非随机且缺乏有效监督的
方式获取)、数据处理与分析过程的严谨性(如在数据处理过程中,是否可确保数据的完整
性、准确性和一致性;在数据分析过程中,是否采用适当的统计方法和工具,以确保分析结
果的客观性和准确性)、数据来源的透明程度(如数据的收集、处理和分析过程是否公开透
明等)。
示例:在分析评估城市空气质量相关知识时,应确保知识获取阶段在数据收集和处理过程中未丢失关
键监测点的数据,且数据准确反映实际空气质量状况。同时,检查数据分析过程中是否采用适当的统计
方法和工具,以确保分析结果的客观性和准确性。另外,还要关注数据来源的透明程度,如城市环境数
据的收集、处理和分析过程是否向公众公开透明。
b) 正确性,可用以下方法度量:
1) 实验验证,对于可实验验证的知识,通过重复实验来确认其正确性;
示例:如可通过对新的城市垃圾分类处理方法进行试点实验,以观察其实际效果是否与预期数据相符。
2) 对比检验,通过与已知事实、数据或其他可靠来源进行比较来度量,如使用融合了语音识
别、自然语言理解、机器视觉等多项人工智能技术的事实核查辅助技术检查知识的准
确性;
示例:如在分析评估某条主干道在特定时间段内平均车流量的知识时,查询该城市交通部门过去几年
在相同时间段对该主干道的车流量统计数据档案,如果这些历史数据显示的平均车流量与当前知识中
的数值较为接近,那么在一定程度上增加了该知识的可信赖程度。另外,通过部署在该主干道上的摄像
头,利用机器视觉技术对过往车辆进行实时监测和统计,经过一段时间累计得到的车流量数据也可用于
辅助检验知识的正确性。
3) 专业评估,邀请领域专家对知识的专业性进行审查和评价;
示例:如邀请城市规划专家、环保专家等对城市重大建设项目的可行性和环境影响进行评估以验证其
方案的正确性。
4) 逻辑推理和工具校验,利用逻辑推理工具和方法、自然语言处理技术等检查知识的语言清
晰度、逻辑连贯性、语法和拼写错误等。
c) 时效性,可用以下方法度量:
1) 发布日期,查看知识的发布日期和最后更新时间,以确定其是否过时;
2) 更新频率,对于持续更新的知识,观察其更新频率以评估其时效性。
d) 安全与隐私,可用以下方法度量:
1) 安全认证,检查知识是否经过安全认证,如涉及私人的数据匿名化、知识更改记录等;
示例:如分析评估城市智慧医疗系统中知识的安全与隐私保护程度时,检查患者的个人医疗数据是否
得到安全保护,并检查知识更改是否有可追溯的记录。
5
GB/T45032—2024
2) 存储及传输安全,检查知识是否使用了安全的存储和传输协议等,防止被篡改。
示例:如分析评估城市政务信息系统中的知识时,可检查相关数据在存储和传输过程中是否采用加密
技术,以确保数据的完整性和安全性。
e) 完整性,评估知识的覆盖范围,即是否涵盖了相关领域的所有关键概念、理论和实践等。
示例:如分析评估城市综合防灾规划知识时,可检查相关知识是否涵盖地震、洪水、火灾等各种灾害类型的应
对措施,以及城市基础设施的抗灾能力等关键内容。
f) 相关性,可采用主观判断法或使用文本挖掘技术、自然语言处理技术、知识图谱等工具和技术
进行客观语义分析,判断知识与特定主题或问题的匹配程度。
g) 一致性,可采用主观分析判断或通过软件工具自动搜索比对的方法核查,核查内容包括但不
限于:
1) 知识定义一致性,对于跨部门或跨系统知识,核查同一知识的定义是否存在不同的内涵或
范畴,导致对知识理解存在偏差,如指标的具体统计计算方法;
2) 知识实现一致性,核查知识需求定义描述与实际系统实现内容是否保持一致,如政务办理
事项指南与实际办理流程是否相一致。
h) 可解释性,可用以下方法度量:
1) 内容核查,评估知识中语言、符号、单位、数据类型的使用和定义的明确性;
示例:如分析评估城市规划文件中相关知识时,可检查其中的专业术语是否进行了明确解释以便公众
理解。
2) 用户调查,评估知识用户对知识解释的理解程度和满意度。
示例:如通过对城市政务服务平台的使用说明进行用户调查,了解用户对平台操作知识解释的满意
度,以评估知识可被解释的程度以及效果。
7.3 收集相关数据
知识可信赖相关数据指知识生命周期各阶段支持知识可信赖特性度量的数据集合,是开展知识可
信赖评估的数据来源。相关数据收集的要求包括但不限于:
a) 在知识生命周期的知识获取、知识推理和知识验证等阶段,可分别采集知识可信赖特性相关的
定量和定性数据;
b) 收集与知识可信赖特性相关的数据后,应将各类数据进行量化和标准化,用于按照7.2中规定
的方法进行各特性的度量。
8 知识可信赖程度评价与反馈
评估主体基于知识可信赖需求分析环节确定的用户可接受的知识可信赖程度的准则,依据知识可
信赖特性度量环节计算出的各个可信赖特性的度量结果,进行知识可信赖程度评价,得出城市治理各场
景下知识可信赖程度的评价结果。
对于城市治理领域的知识可信赖程度的评价,可对各个可信赖特性分别进行,分别给出各特性的评
价结果。也可对各可信赖特性的度量结果进行综合计算得出评价结果,如采用加权平均法,根据不同城
市治理场景和评估主体的需求,自定义各可信赖特性的权重,得出一个综合的评价结果。
此外,为了不断提升城市治理领域知识的可信赖程度,应建立有效的评价结果反馈机制。当城市治
理决策或行动基于特定知识实施后,应及时收集实际效果的反馈信息,如发现知识的实际应用效果与预
期不符,应回溯知识可信赖评估的各个环节,分析问题所在,优化城市治理领域知识的薄弱方面,以提升
城市治理的效率。
6
GB/T45032—2024
附 录 A
(资料性)
“一网统管”智能派单知识可信赖评估示例
A.1 概述
“一网统管”智能派单依赖于城市事件库、部件库和知识库中的数据,为智能派单的工单单位、相关
人员、建议流程等提供所需信息。智能派单从城市“一网统管”平台或城市运行管理中心(或其他类似协
调指挥机构)中获取有关已办结事件、相似事件等的相关知识,并从业务部门获取有关事件处置流程、责
任人等知识,此外,接入“一网统管”的系统也可提供与智能派单有关的信息予以支撑,以支持智能派单
的准确性和时效性。
本示例基于某地“一网统管”平台中智能派单的场景,评估对象是支撑智能派单提供的相关知识,评
估主体是第三方评估机构。
A.2 知识可信赖需求分析
“一网统管”智能派单场景下的知识可信赖评估需求分析步骤如下。
a) 确定场景范围:
1) 目标,包括提供全面准确的事件信息、实现事件本身字段分析的边界性和准确性,并保护
事件上报人的隐私和数据安全等;
2) 业务流程,包括事件相关数据收集与整合、知识库构建、预派单结果、人工干预优化与推
荐等。
b) 识别利益相关方:
“一网统管”智能派单场景中的利益相关方主要包括事件上报人、事件工单生成人、事件处理中
心(实体或虚拟组织)、派单对象、数据所有方等。
c) 确定利益相关方的任务和活动:
1) 事件上报人,负责提供发生事件的信息,以确保能够被准确地记录,包括事件发生的时间、
地点、相关人、事件情况、预期处理结果,以及上报人的个人信息,如姓名、联系电话、身份
证号等,确保能够第一时间接收处置结论;
2) 事件工单生成人,采集事件上报人提供的信息,并根据工单进行内容的进一步确认(现场
或非现场)和工单细化,能够准确、详实地记录事件信息和上报人信息;
3) 事件处理中心,负责构建智能派单的数字化能力,具备智能派单算法或模型的构建能
力,并能够保障派单结果输出和优化;
4) 派单对象,接收工单的对象,能够准确判断是否属于其职责范围,并结合事件信息对处置
情况进行评估;
5) 数据所有方,包括政府部门、城市级数据平台、事件知识库,通过数据接入来支持智能派单
模型的训练,提高智能派单准确性。
A.3 知识可信赖特性识别
知识可信赖特性识别内容如下。
a) 来源可靠性:事件来源真实、可靠的程度;在“一网统管”智能派单场景中,比起由群众提供的信
息,如果事件信息由网格员、巡查员等专业人员提供,事件工单生成人更有可能信任该信息;一
7
GB/T45032—2024
般来说,当知识由具备一定培训、具有相关职责的人直接上报时,该信息是可靠的。如果事件
工单生成人从群众提供的事件信息中获取信息,可通过网格员、巡查员等专业人员的现场勘查
检查事件是否存在以及信息补充。
b) 正确性:事件信息被正确记录的程度;假设事件为窨井盖丢失事件,在工单中井盖属性被记录
为“水”井盖丢失,是上报人的个人判断,而实际在道路规划中,该井盖属性为“电”;在这种情况
下,该知识是不正确的,因为窨井盖属性并不代表其真实属性。
c) 时效性:事件在特定时间范围内的有效程度;假设群众举报在闹市区非法使用无人机拍摄,如
果智能派单系统错派、漏派,或因无法确认处置部门时,有可能会造成“违法测绘”的重大事
件,延误了处置时机,这种情况智能派单的时效性较低。
d) 完整性:智能派单所涵盖的知识的深度与广度,也称全面性或覆盖率;智能派单包含完整的信
息,包括事件编码、单位代码、相似事件处置全流程信息,以便最快、最准确地进行事件的派单
和处置。
A.4 知识可信赖特性度量
知识可信赖特性度量步骤如下。
a) 选择度量方法:
1) 来源可靠性,进行知识的直接来源核查,定量计算知识提供者的可靠性,度量方法为检查
知识提供者是否包含在受信任的知识提供者列表中,根据不同的来源渠道进行不同程度
的来源可靠性赋分,来源越可靠(如上报人专业身份),得分越高;
2) 正确性,以实际接受派单的单位的认可度以及业务范围的准确程度,度量方法为智能派单
正确的数量/智能派单的总数量,所有智能派单信息都正确,则正确性为100%;
3) 时效性,以智能派单时效和手动派单时效对比,综合度量知识的时效性,智能派单比手动
派单节省的时间越多,则智能派单知识库中的知识时效性越高;
4) 完整性,智能派单能覆盖的事件/城市所有事件的比例,作为评估完整性的依据,覆盖比例
越高,则该智能派单知识库的完整性越高。
b) 收集相关数据:
在知识生命周期的知识获取、知识推理和知识验证等阶段,分别采集支持A.4a)中各项知识可
信赖特性度量的相关数据,如在知识获取阶段,收集城市近5年事件处置数据、业务部门职责
范围及变化数据等以进行事件派单可靠性的度量,收集城市近5年人工派单时效数据、智能派
单时效数据等以进行智能派单时效性的度量。
A.5 知识可信赖程度评价与反馈
A.4中各可信赖特性的度量方式无论是定量的还是定性的,最终都会量化为数字,作为可信赖特性
评价的特征值。不同知识用户根据其可接受的知识可信赖程度的准则为各可信赖特性分配不同权
重,再通过加权法综合计算知识的可信赖程度。在实际评价中,“一网统管”智能派单知识可信赖程度可
按照百分制设置评价体系,见表A.1,并将结果划分为从1(低可信赖)到5(高可信赖)的不同等级,见
表A.2。
在本示例中,基于某地“一网统管”平台中智能派单的场景,按照表A.1中的计算方法进行知识可
信赖程度评价,表中各可信赖特性得分分别为13分、25分、20分、20分,则该示例中知识可信赖程度得
分为78分,该示例中“一网统管”智能派单平台中的知识被认为具有中度可信性。综合来看,该示例中
知识的时效性得分较低,宜通过反馈机制加强知识的更新机制,以提升“一网统管”智能派单效率。
8
GB/T45032—2024
表A.1 “一网统管”智能派单知识库知识可信赖程度评价表
编号可信赖特性计算方法
1 来源可靠性
(15分)
a) 事件信息由网格员、巡查员等专业人员提供,得15分;
b) 事件信息来源于群众提供,得13分;
c) 事件信息来源于社交媒体和论坛等网络渠道,得8分
2 正确性
(30分) 正确性得分=(智能派单正确的数量/智能派单的总数量)×30
3 时效性
(30分)
时效性得分以智能派单派发时间与人工派单派发时间的时间差衡量,其中:
a) -10min≤时间差≤-5min,得30分;
b) -5min<时间差≤-2min,得20分;
c) -2min<时间差<0,得10分;
d) 时间差≥0,不得分
4 完整性
(25分) 完整性得分=(智能派单能覆盖的事件数量/城市事件总数量)×25
表A.2 “一网统管”智能派单知识库知识可信赖程度分级
可信赖程度等级得分
一级(极度可信) 100分
二级(高度可信) 90分≤得分<100分
三级(中度可信) 70分≤得分<90分
四级(低度可信) 60分≤得分<70分
五级(不可信) 得分<60分
9
GB/T45032—2024
附 录 B
(资料性)
智能政务客服系统知识可信赖评估示例
B.1 概述
智能政务客服系统具备智能问答功能,是使用即时通信、网页、短信等表现形式,以拟人化方式与用
户进行实时交互的政务服务软件系统,与用户交互消息包括文本、语音、图像、视频、链接等形式。
智能政务客服系统实现智能问答的关键在于建立政务知识库,包括政务问答知识库和政务知识图
谱。该系统通过与数字政府数据共享交换平台获取政务服务事项、政策、新闻等最新政务数据,动态更
新政务问答知识库和政务知识图谱。同时,对接政务业务支撑系统,包括统一身份认证、事项管理中心、
材料中心、统一受理中心、好差评系统、办件库等系统,实现对客服业务在线支撑。
本示例基于智能政务客服系统(不包括人工服务应答情况)自动应答市民咨询政务相关业务的场
景,评估对象是该智能客服系统包含政务知识库的知识,评估主体是第三方评估机构。
B.2 知识可信赖需求分析
智能政务客服系统知识可信赖评估需求分析步骤如下。
a) 确定场景范围:
1) 目标,包括提供全面准确的政务业务办理相关信息,实现政务服务24h在线,更好地支撑
广大市民的办理政务事务的咨询,保证政务业务咨询服务及时可达等;
2) 业务流程,包括数据收集与整合、知识库构建、用户查询处理、结果优化与推荐、用户反馈
与改进等。
b) 识别利益相关方:
智能政务客服系统中的利益相关方主要包括智能客服系统建设方、运维负责方、政务服务部门
(政务中心)、政务业务主管方、政务相关规范和法律制定方等。
c) 确定利益相关方的任务和活动:
1) 智能政务客服系统建设方,负责设计实现以自然语言处理和智能人机交互等多种人工智
能技术为基础,用户进行实时交互的政务服务软件系统,同时构建智能客服系统的知识
库,完成政务知识录入和政务知识图谱生成,以支撑对市民咨询问题的应答;
2) 智能政务客服系统运维方,负责智能客服系统运行和维护,对政务知识库进行更新和维
护,保证知识库系统的可用性;
3) 政务业务主管方,负责管理政务业务系统的整体运行,并对系统业务运行效果进行评估;
4) 政务相关规范/法律制定方,负责制定、颁布政务业务相关管理办法、技术规定和相关法规
制定的部门或机构。
B.3 知识可信赖特性识别
知识可信赖特性识别内容如下。
a) 来源可靠性,政务知识来源事项办理库、其他政务业务系统、权威机构网站发布的政务管理办
法等,属于非常可靠的知识源;从政务知识图谱,语义搜索获得知识,属于很可靠的知识;知识
来源新闻网站等网络信息,属于相对可靠的知识源;其他来源,属于一般可靠的知识源。
10
GB/T45032—2024
b) 正确性,对于用户咨询的问题,智能客服系统能给出正确回答的比例。
c) 时效性,政务知识定期从事项办理库、其他政务业务系统、发布政务业务管理办法等来源行更
新的情况,确保更新时长满足智能政务客服系统的要求。
d) 完整性,对于用户咨询的问题,智能客服系统能自动给出回答的问题数量占咨询总问题数量的
比例。
e) 一致性,政务知识库系统中的知识与实际运行政务业务系统业务办理逻辑的一致程度。
B.4 知识可信赖特性度量
知识可信赖特性度量步骤如下。
a) 选择度量方法:
1) 来源可靠性,进行知识的直接来源核查,对知识来源进行分类,并规定每类来源的对应权
值,按知识来源占比和权值,综合计算知识来源得分;
2) 正确性,以智能政务客服系统正确回答用户问题的占比作为衡量政务知识库正确程度,即
智能客服系统回答正确用户问题数量/用户咨询问题总数;
3) 时效性,以政务知识库更新频率作为衡量政务知识库时效情况,根据更新周期满足智能客
服需求情况,定性给出分值;
4) 完整性,以智能客服系统能自动给出回答问题的数量占咨询总问题数量的比例,来衡量政
务知识库的完整性;
5) 一致性,根据政务知识库系统中的知识与实际运行政务业务系统业务办理逻辑一致程
度,来衡量政务知识库系统的一致性。
b) 收集相关数据:
确定一个评估的时间点为基准,汇总知识来源信息、知识应答情况、业务系统办理流程等评估
数据,分别收集和计算支持B.4a)中各项知识可信赖特性度量的相关数据。
B.5 知识可信赖程度评价
B.4中可信赖特性的度量,通过定量或定性的方法,量化为数值,作为可信赖特性评价的特征值。
不同知识用户根据其可接受的知识可信赖程度的准则为各可信赖特性分配不同权重,再通过加权法综
合计算知识的可信赖程度。在实际评价中,政务知识库可信赖程度可按照百分制设置评价体系,见
表B.1,并将结果划分为:一级(极度可信)、二级(高度可信)、三级(中度可信)、四级(低度可信)、五级
(不可信),具体见表B.2。
在本示例中,基于某地智能政务客服系统(不包括人工服务应答情况)自动应答市民咨询政务相关
业务的场景,按照表B.1中的计算方法进行知识可信赖程度评价,表中各可信赖特性得分分别为14分、
18分、18分、18分、22分,则该示例中知识可信赖程度得分为90分,该示例中的知识被认为具有高度可
信性。
11
GB/T45032—2024
表B.1 智能客服政务知识库知识可信赖程度评价表
编号可信赖特性计算方法
1 来源可靠性
(15分)
a) 知识来源于政务事项库、政务支撑系统等,得15分;
b) 知识来源于知识图谱,通过语义检索获得,得14分;
c) 通过网络新闻等第三方渠道获得,得10分;
d) 来源其他渠道获得,得8分
2 正确性
(20分) 正确性得分=(智能客服系统正确回答用户问题数量/用户咨询问题总数量)×20
3 时效性
(20分)
包括知识库更新频率、与国家/地方政策、管理规范、技术规范等同步更新情况,其中:
a) 同步实时更新,得20分;
b) 按天更新,得18分;
c) 按周更新,得16分;
d) 按月更新,得12分;
e) 按半年更新,得10分;
f) 按年更新,得8分;
g) 更新时间超过一年,得0分
4 完整性
(20分) 完整性得分=(客服能回答的问题数量/业务问题总数量)×20
5 一致性
(25分) 一致性得分=(与政务业务系统实现保持一致的业务知识数量/业务知识总数量)×25
表B.2 智能客服政务知识可信赖程度分级
可信赖程度等级得分
一级(极度可信) 100分
二级(高度可信) 90分≤得分<100分
三级(中度可信) 70分≤得分<90分
四级(低度可信) 60分≤得分<70分
五级(不可信) 得分<60分
12
GB/T45032—2024
参 考 文 献
[1] GB/T23703.2—2010 知识管理 第2部分:术语
[2] GB/T23703.6—2010 知识管理 第6部分:评价
[3] GB/T30847.1—2014 系统与软件工程 可信计算平台可信性度量 第1部分:概述与
词汇
[4] GB/T34680.1—2017 智慧城市评价模型及基础评价指标体系 第1部分:总体框架及分
项评价指标制定的要求
[5] GB/T36332—2018 智慧城市 领域知识模型 核心概念模型
[6] GB/T37970—2019 软件过程及制品可信度评估
[7] ISO8000-2:2022 Dataquality—Part2:Vocabulary
[8] ISO18308:2011 HealthInformatics—Requirementsforanelectronichealthrecordarchitecture
[9] ISO/IEC5087-1:2023 Informationtechnology—Citydata model—Part1:Foundation
levelconcepts
[10] ISO/IECTS5723:2022 Trustworthiness—Vocabulary
[11] ISO/IEC21972:2020 Informationtechnology—Upperlevelontologyforsmartcityindicators
[12] ISO/IEC25062:2006 Softwareengineering—SoftwareproductQualityRequirementsand
Evaluation(SQuaRE)—CommonIndustryFormat(CIF)forusabilitytestreports
[13] ISO/IEC30145-2:2020 Informationtechnology—SmartCityICTreferenceframework—
Part2:Smartcityknowledgemanagementframework
[14] ISO/IEC/IEEE15288:2023 Systemsandsoftwareengineering—Systemlifecycleprocesses
13
GB/T45032—2024