YY/T 1949-2024 人工智能医疗器械 数据集专用要求:糖尿病视网膜病变眼底彩照 , 该文件为pdf格式 ,请用户放心下载!
尊敬的用户你们好,你们的支持是我们前进的动力,网站收集的文件并免费分享都是不容易,如果你觉得本站不错的话,可以收藏并分享给你周围的朋友。
如果你觉得网站不错,找不到本网站,可以百度、360搜搜,搜狗, 神马搜索关键词“文档天下”,就可以找到本网站。也可以保存到浏览器书签里。
收费文件即表明收集不易,也是你们支持,信任本网站的理由!真心非常感谢大家一直以来的理解和支持!
资源简介
ICS11.040.99
CCS C30
中华人民共和国医药行业标准
YY/T1949—2024
人工智能医疗器械 数据集专用要求:
糖尿病视网膜病变眼底彩照
Artificialintelligencemedicaldevice—Specificrequirementfordatasets:
colorfundusimagesofdiabeticretinopathy
2024-09-29发布2025-10-15实施
国家药品监督管理局发布
目 次
前言………………………………………………………………………………………………………… Ⅲ
引言………………………………………………………………………………………………………… Ⅳ
1 范围……………………………………………………………………………………………………… 1
2 规范性引用文件………………………………………………………………………………………… 1
3 术语和定义……………………………………………………………………………………………… 1
4 数据集说明要求………………………………………………………………………………………… 1
5 数据集质量要求………………………………………………………………………………………… 5
6 数据集质量符合性评价………………………………………………………………………………… 7
附录A (规范性) 数据采集要求………………………………………………………………………… 10
附录B(资料性) 数据标注流程示例…………………………………………………………………… 13
附录C(资料性) 元数据举例…………………………………………………………………………… 17
参考文献…………………………………………………………………………………………………… 19
Ⅰ
YY/T1949—2024
前 言
本文件按照GB/T1.1—2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定
起草。
请 注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本标准由国家药品监督管理局提出。
本标准由人工智能医疗器械标准化技术归口单位归口。
本文件起草单位:首都医科大学附属北京同仁医院、国家卫生健康委能力建设和继续教育中心、
清华大学深圳国际研究生院、中国食品药品检定研究院、国家药品监督管理局医疗器械技术审评中心、
中山大学中山眼科中心、浙江大学医学院附属第二医院、中国医学科学院北京协和医院、北京医院、哈尔
滨医科大学附属第二医院、北京鹰瞳科技发展股份有限公司、依未科技(北京)有限公司、北京眼视光
学会。
本文件主要起草人:魏文斌、杨爱平、董力、邵蕾、马岚、李静莉、马兆毅、刘枭寅、林浩添、叶娟、陈有信、
戴虹、原慧萍、宋超、于晨、于伟泓、赵晶、金凯、林铎儒、高琳、蒋博、张川、李方、孟祥峰、王浩、郝烨、唐超、
凌赛广、白玉婧。
Ⅲ
YY/T1949—2024
引 言
糖尿病视网膜病变眼底彩照数据集是糖尿病视网膜病变辅助诊断软件等人工智能医疗器械研发、
训练、测试、质控等环节常用的资源,对产品质量有重要影响。本文件在参考YY/T1833.2—2022的基
础上,提出了糖尿病视网膜病变眼底彩照数据集的专用要求,用于指导此类数据集的质量评价,对于制
定其他的数据集专用评价规范有借鉴意义。
Ⅳ
YY/T1949—2024
人工智能医疗器械 数据集专用要求:
糖尿病视网膜病变眼底彩照
1 范围
本文件规定了用于人工智能医疗器械的糖尿病视网膜病变(以下简称“糖网”)眼底彩照数据集的专
用要求,描述了相应的试验方法。
本文件适用于对糖网眼底彩照进行后处理的人工智能医疗器械研发、生产、质控等环节使用的数
据集。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文
件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于
本文件。
YY/T1833.1 人工智能医疗器械 质量要求和评价 第1部分:术语
YY/T1833.2—2022 人工智能医疗器械 质量要求和评价 第2部分:数据集通用要求
YY/T0634 眼科仪器 眼底照相机
WS/T305 卫生健康信息数据集元数据标准
3 术语和定义
YY/T1833.1、YY/T1833.2—2022界定的以及下列术语和定义适用于本文件。
3.1
糖尿病视网膜病变 diabeticretinopathy
糖尿病导致视网膜微血管损害从而引起的一系列眼底病变。
3.2
眼底彩照 colorfundusphotograph
使用眼底照相机获取的数字化彩色眼底照片。
4 数据集说明要求
4.1 数据集描述
4.1.1 数据集整体描述
4.1.1.1 数据集类型
数据集说明应符合YY/T1833.2—2022中4.1.1.1的要求。
4.1.1.2 数据集形态
数据集说明应符合YY/T1833.2—2022中4.1.1.2的要求。
1
YY/T1949—2024
4.1.1.3 数据集层次
数据集说明应根据以下维度,描述数据集的数据层次、子集分解和组合变化:
a) 从图像分类的角度考虑数据分层,如正常眼底彩照、糖网的各种诊断分期或筛查分级、非糖网
的其他眼底疾病(易混淆的疾病病种)、接受过激光治疗的眼底图像、图像质量不可接受的
情形;
b) 从病灶特征的角度考虑数据分层,如视网膜微血管瘤、出血、渗出、新生血管;
c) 从数据来源的角度考虑数据分层,如眼底相机型号、拍照机构和应用场景。
4.1.1.4 应用场景
数据集说明应描述数据集的整体、子集或其组合能够模拟的临床适用场景,如社区糖网筛查、体检
中心糖网筛查、医疗机构门诊/住院/急诊。
注:数据集的临床适用场景受病种组成与比例、流行病学统计分布、受试者人群分布特征等因素制约。
4.1.1.5 版本控制
数据集说明应符合YY/T1833.2—2022中4.1.1.5的要求。
4.1.1.6 数据集更新
对于动态数据集,数据集说明应符合YY/T1833.2—2022中4.1.1.6的要求,并描述数据更新的频
次,分析数据更新对于病种组成与比例、患者体征、流行病学统计分布、受试者人群分布特征、不同数据
层次的影响。
4.1.1.7 文档管理
数据集说明应符合YY/T1833.2—2022中4.1.1.7的要求。
4.1.1.8 元数据属性
数据集说明应符合YY/T1833.2—2022中4.1.1.8的要求。数据集元数据应包含患者标识、性别、
出生年月、糖尿病家族史等必要信息,宜包含视力、血糖、糖尿病分型、眼底病诊疗史等信息。
4.1.1.9 数据元属性
数据集说明应符合YY/T1833.2—2022中4.1.1.9的要求。
4.1.1.10 标注信息
数据集说明应描述数据集是否具有标注信息,包括以下的适用维度:
a) 图像总体标注:糖网病变严重程度分期或分级、是否转诊、其他眼底疾病、图像质量分级、眼别、
是否存在治疗激光斑;
b) 病灶标注:病灶编号、病灶区域、中心点坐标、边界坐标、病灶类型;
c) 病历标注:视力、血糖、糖尿病分型、糖尿病家族史、眼底病变诊疗史。
4.1.2 数据采集信息
4.1.2.1 合规性陈述
数据集说明应包含审查和批准数据采集的机构名称及收集途径;数据集说明应声称“病例信息的收
2
YY/T1949—2024
集、储存、传播和使用已获得被采集者的同意,并由相关伦理委员会批准”。
4.1.2.2 隐私保护
数据集说明应符合YY/T1833.2—2022中4.1.2.2的要求。
4.1.2.3 多样性
数据集说明应符合YY/T1833.2—2022中4.1.2.3的要求。
4.1.2.4 数据采集依从原则
数据集说明应符合YY/T1833.2—2022中4.1.2.4的要求。
4.1.2.5 数据筛选
数据集说明应符合YY/T1833.2—2022中4.1.2.5的要求。
4.1.3 数据预处理
数据集说明应符合YY/T1833.2—2022中4.1.3的要求。
4.1.4 数据集标注
数据集说明应描述数据集标注的内容、规则和流程,描述标注规则所参考的糖网临床指南、专家共
识或参考文献,至少包含判定糖网分期/分级、转诊、图像质量分级、其他眼底疾病的依据,以及病灶检出
与分割的依据。
4.1.5 数据集存储信息
数据集说明应符合YY/T1833.2—2022中4.1.5的要求。
4.1.6 数据集用户访问
数据集说明应符合YY/T1833.2—2022中4.1.6的要求。
4.2 数据集标识
数据集说明应符合YY/T1833.2—2022中4.2的要求。
4.3 数据集质量特性描述
4.3.1 完整性
4.3.1.1 准确性
数据集说明应陈述糖网图像、临床数据、标注结果、元数据与真实值一致的程度,以书面形式提供可
验证的指标。其中,数据采集、信息记录的准确性宜采用单张图像、单个病例作为最小的考量对象,指标
可使用不合格品百分数;分类标注的准确性宜采用单张图像作为最小的考量对象,指标可使用准确率的
期望值;元数据、文字描述的准确性宜采用病例作为最小的考量对象,指标可使用不合格品百分数。数
据集说明应描述仲裁人员的标注结果是否进行过验证,以及验证过程、验证结果。
注:数据采集包含采集设备、人员操作等方面。
4.3.1.2 完备性
数据集说明应描述糖网眼底彩照数据集在图像、病历、元数据、标注结果等方面满足数据集预期用
3
YY/T1949—2024
途的程度,并以书面形式展示可验证的证据。
4.3.2 唯一性
数据集说明应符合YY/T1833.2—2022中4.3.2的要求。
4.3.3 一致性
数据集说明应符合YY/T1833.2—2022中4.3.3的要求。
4.3.4 确实性
数据集说明应符合YY/T1833.2—2022中4.3.4的要求。
4.3.5 时效性
数据集说明应符合YY/T1833.2—2022中4.3.5的要求。
4.3.6 可访问性
数据集说明应符合YY/T1833.2—2022中4.3.6的要求。
4.3.7 依从性
数据集说明应符合YY/T1833.2—2022中4.3.7的要求。
4.3.8 保密性
数据集说明应符合YY/T1833.2—2022中4.3.8的要求。
4.3.9 资源利用性
数据集说明应符合YY/T1833.2—2022中4.3.9的要求。
4.3.10 精度
数据集说明应符合YY/T1833.2—2022中4.3.10的要求。
4.3.11 可追溯性
数据集说明应符合YY/T1833.2—2022中4.3.11的要求。
4.3.12 可理解性
数据集说明应以术语、注释、参考文献等形式,为糖网眼底彩照数据集的数据元、元数据和标注结果
的含义提供解释,并以书面形式展示可验证的证据。
4.3.13 可得性
数据集说明应符合YY/T1833.2—2022中4.3.13的要求。
4.3.14 可移植性
数据集说明应符合YY/T1833.2—2022中4.3.14的要求。
4.3.15 可恢复性
数据集说明应符合YY/T1833.2—2022中4.3.15的要求。
4
YY/T1949—2024
4.3.16 代表性
数据集说明应符合YY/T1833.2—2022中4.3.16的要求。
5 数据集质量要求
5.1 概述
YY/T1833.2—2022中5.1适用。
5.2 质量特性
5.2.1 完整性
5.2.1.1 准确性
糖网眼底彩照数据集应符合数据集说明有关准确性的陈述,如:
a) 采集设备:应使用具有医疗器械注册证、处于有效期内的彩色眼底照相机,指标参数要求按附
录A;
b) 人员操作:操作人员应接受设备使用规范培训,对眼底彩照的拍摄方法、拍摄者资质的举例按
附录A;
c) 记录信息:眼底照片、受试者的个人信息和病历资料的对应关系应准确无误;
d) 文字描述:数据集说明使用的名词术语、文档内容应准确、清晰、无歧义;
e) 数据标注:以仲裁人员的标注结果作为参考标准,标注人员的准确率要求应满足糖网诊断分类
标注准确率不低于80%,糖网分期标注准确率不低于70%,对于是否需要“转诊”的糖网标注
准确率不低于80%,在病灶分割时标注人员与参考标准的平均分割交并比不低于70%,数据
标注示例及人员要求见附录B;
注:分类、分期准确率以及交并比的定义见YY/T1833.1。
f) 数据形式:若采集糖网患者病历资料,其中所涉及的描述性文字应依据WS/T305采集,示例
见附录C。
5.2.1.2 完备性
糖网眼底彩照数据集宜包含左右眼的眼底彩照,图像包含黄斑、视盘;标注结果宜包含诊断和分
期,其中糖网分期的文献依据由数据集制造责任方提供,宜遵循有关指南和专家共识,推荐使用糖网国
际分期或国内分期。如适用,病历数据应包含糖尿病史相关临床数据。元数据宜根据研究者需要,按照
WS/T305采集。
5.2.2 唯一性
糖网眼底彩照数据集内的数据应是唯一的,以同一时期、同一机构内的患者个体为识别特征,对照
片进行唯一编号。
5.2.3 一致性
同一糖网眼底彩照数据集内数据的采集、预处理、标注方法应保持一致。对于不同来源的糖网眼底
彩照数据集,应事先对数据的采集过程、标注环节进行统一,使其在眼别、照片编号、视野描述等数据特
征方面保持一致。
数据集中的每一张图均应具有2名及以上标注人员的标注,标注结果不一致时应由仲裁专家参与
5
YY/T1949—2024
审核。数据标注人员应从事眼科阅片工作5年以上或从事眼底疾病诊疗工作5年以上,职称为主治医
师及以上;仲裁专家应由从事眼科阅片工作或从事眼底疾病诊疗工作10年以上的副主任医师或主任医
师担任。计算不同标注医生间的一致性,Kappa系数应不低于0.8。
注:Kappa系数的定义见YY/T1833.1。
5.2.4 确实性
YY/T1833.2—2022中5.2.4适用。
5.2.5 时效性
YY/T1833.2—2022中5.2.5适用。
5.2.6 可访问性
YY/T1833.2—2022中5.2.6适用。
5.2.7 依从性
YY/T1833.2—2022中5.2.7适用。
5.2.8 保密性
YY/T1833.2—2022中5.2.8适用。
5.2.9 资源利用性
YY/T1833.2—2022中5.2.9适用。
5.2.10 精度
YY/T1833.2—2022中5.2.10适用。
5.2.11 可追溯性
YY/T1833.2—2022中5.2.11适用。
5.2.12 可理解性
糖网眼底彩照数据集应符合数据集说明有关可理解性的陈述,如:
a) 提供糖网标注的标签与临床分期、分级及病灶的对应关系;
b) 说明标注结果中各空间坐标的含义;
注:空间坐标指彩照图像某个像素的空间位置。
c) 说明如何使用标注结果评估标注人员的一致性、准确性;如采用辅助标注算法,应说明辅助标
注算法的性能指标与评价方法。
5.2.13 可得性
YY/T1833.2—2022中5.2.13适用。
5.2.14 可移植性
YY/T1833.2—2022中5.2.14适用。
6
YY/T1949—2024
5.2.15 可恢复性
YY/T1833.2—2022中5.2.15适用。
5.2.16 代表性
数据分布宜具有多样性以控制选择偏倚,从以下几个方面进行考虑。
a) 受试者人群地域:数据来源宜覆盖3个及以上不同地理区划。
注:地理区划包含华中、华北、华东、华南、西北、西南、东北。
b) 采集场所:数据采集来源宜包含所有预期的临床应用场景,如医院门诊、住院病例、体检机构、
社会筛查等。对预期用于糖网筛查的人工智能医疗器械,数据集中体检机构或社会筛查来源
的眼底照片比例宜高于70%;对预期用于糖网辅助诊断的人工智能医疗器械,数据集中医院
门诊和住院病例来源的眼底照片比例宜高于70%。数据集制造责任方在数据集说明中描述
数据的来源。
c) 设备与配置:宜使用不同厂商的不同型号眼底照相机。
d) 样本量:训练集样本量宜达到1000例以上;测试集阳性样本量计算公式可参考YY/T1858—
2022中4.3.2,测试集总样本量中的阴性样本量应根据患病率情况进行推算,如糖尿病患者中
糖网患病率约为30%。
e) 病种多样性:数据集宜同时包含Ⅰ型糖尿病和Ⅱ型糖尿病患者的糖网照片,可包括经手术、眼
内激光治疗后糖网眼底彩照,宜包含30%~70%的正常眼底彩照,宜包含5%~10%的非糖网
其他眼底疾病彩照;数据集制造责任方可根据需要,提升非糖网其他眼底疾病彩照的比例。
f) 糖网分期均衡性:数据集中应包含不同分期和不同严重程度的糖网眼底彩照。对预期用于糖
网筛查的人工智能医疗器械,数据集中增殖期糖网照片比例宜占糖网照片的10%~30%,“转
诊”糖网的比例宜占糖网照片的10%~50%;对预期用于糖网辅助诊断的人工智能医疗器
械,数据集中增殖期糖网照片比例宜占糖网照片的30%及以上,“转诊”糖网的比例宜占糖网
照片的30%及以上。
5.3 数据集风险分析
YY/T1833.2—2022中5.3适用。
6 数据集质量符合性评价
6.1 通则
除下述内容外,YY/T1833.2—2022中6.1适用。
在抽样检验过程中,按以下方式进行均匀随机抽样:当数据集样本量小于1万张图时,抽样比例不
低于5%;当数据集样本量大于或等于1万张图且小于10万张时,抽样数量不低于500张;当数据集样
本量大于或等于10万张时,抽样数量不低于1000张。
6.2 数据集说明评价
YY/T1833.2—2022中6.2适用。
6.3 质量特性评价
6.3.1 准确性
采用YY/T1833.2—2022中6.3.1的方法进行验证,判断抽样样本集是否全部符合5.2.1.1的要
7
YY/T1949—2024
求。如数据集制造责任方组织第三方专家对数据集标注结果进行抽样检验,第三方专家由三甲医院从
事眼科阅片工作或从事眼底疾病诊疗工作10年以上的副主任医师或主任医师担任。
对于动态变化的数据集,根据数据集制造责任方的更新频率,进行重新抽样检验;抽样数量根据更
新后的样本总量确定。
6.3.2 完备性
编写测试用例,对计数型抽样样本集的数据、元数据和标注内容进行检查,判断其结果是否符合
5.2.1.2的要求。
6.3.3 唯一性
对糖网眼底彩照数据集进行抽样,将计数型抽样样本集在总体样本中进行查重验证,判断其结果是
否符合5.2.2的要求。
6.3.4 一致性
根据糖网眼底彩照数据集说明声称的一致性指标进行试验验证,计算计量型抽样样本集中符合要
求的样本比例,判断其结果是否符合5.2.3的要求。
6.3.5 确实性
采用YY/T1833.2—2022中6.3.5的方法进行验证,判断其结果是否符合5.2.4的要求。
6.3.6 时效性
采用YY/T1833.2—2022中6.3.6的方法进行验证,判断其结果是否符合5.2.5的要求。
6.3.7 可访问性
采用YY/T1833.2—2022中6.3.7的方法进行试验验证,判断其结果是否符合5.2.6的要求。
6.3.8 依从性
采用YY/T1833.2—2022中6.3.8的方法进行试验验证,判断其结果是否符合5.2.7的要求。
6.3.9 保密性
采用YY/T1833.2—2022中6.3.9的方法进行试验验证,判断其结果是否符合5.2.8的要求。
6.3.10 资源利用性
采用YY/T1833.2—2022中6.3.10的方法进行试验验证,判断其结果是否符合5.2.9的要求。
6.3.11 精度
对照糖网眼底彩照数据集说明,检查计数型抽样样本集的标注结果包含的数据定量特征、病灶边界
描记的精度,判断其结果是否符合5.2.10的要求。
6.3.12 可追溯性
采用YY/T1833.2—2022中6.3.12的方法进行资料验证,判断其结果是否符合5.2.11的要求。
6.3.13 可理解性
对照糖网眼底彩照数据集说明,对图像、病历、标注结果和元数据进行预览和解释,判断其结果是否
8
YY/T1949—2024
符合5.2.12的要求。
6.3.14 可得性
采用YY/T1833.2—2022中6.3.14的方法进行试验验证,判断其结果是否符合5.2.13的要求。
6.3.15 可移植性
采用YY/T1833.2—2022中6.3.15的方法进行试验验证,判断其结果是否符合5.2.14的要求。
6.3.16 可恢复性
采用YY/T1833.2—2022中6.3.16的方法进行试验验证,判断其结果是否符合5.2.15的要求。
6.3.17 代表性
对照糖网眼底彩照数据集说明,对整个数据集开展统计分析,检查统计分层、样本组成、数据多样性
等,判断其结果是否符合5.2.16的要求。
6.4 数据集风险分析评价
采用YY/T1833.2—2022中6.4的方法,对数据集风险分析文档进行检查,判断其结果是否符合
5.3的要求。
9
YY/T1949—2024
附 录 A
(规范性)
数据采集要求
A.1 人员要求
A.1.1 一般要求
数据采集中人员方面的一般要求如下:
a) 应由医疗机构中具备相关资质的专业医疗人员完成;
b) 应为经医院医务科、信息科和相关部门授权的人选。
A.1.2 培训
应对采集人员按照医院的安全和标准作业流程进行培训。
A.1.3 考核
采集人员应熟悉眼底照相相关技术要点,考核中根据病种的不同,调整合适的参数进行扫描,以获
取质量最佳的数据。考核标准从操作规范性、操作娴熟度、操作稳定度三方面进行综合评价。
A.2 设备要求
A.2.1 一般要求
数据采集中设备方面的一般要求如下。
a) 眼底照相机应符合YY/T0634的要求。
b) 对焦方式:宜支持自动对焦。
c) 曝光方式:宜支持自动曝光。
d) 视场角:拍摄单视野时,应不小于45°;拍摄多视野时,每个拍照视野应不小于30°;单个病例的
图像需要涵盖黄斑和视盘。
e) 免散大瞳孔可拍摄的最小瞳孔直径:应能达到3mm。
f) 内固视点:眼底照相机的内置固视点应至少能调节至3个位置,分别对应以视盘为视野中心、
以黄斑为视野中心、以视盘和黄斑连线的中点为视野中心的位置,且能根据需要指定固视点。
g) 应具备半自动或全自动免散大瞳孔平面彩色照相功能。
h) 存储格式:应支持无损压缩的TIFF格式或无损压缩的PNG格式,支持无损JPEG 格式(压缩
比例不大于10∶1),支持DICOM 格式。
A.2.2 采集精度
探测器的位数应为8bit、12bit、16bit等。
A.2.3 图像输出预设
若采用DICOM 格式存储,应包含脱敏后的受检者信息;采用JPEG、PNG、TIFF格式存储时,受检
者信息应与图片对应。
10
YY/T1949—2024
A.3 采集过程
A.3.1 采集准备
在进行眼底照相前,必要时使用药物充分散大瞳孔,瞳孔直径宜不小于5.5 mm(散瞳时间为
20min~30min,对于瞳孔不能充分散大的患者,需要相对地延长扩瞳时间)。
A.3.2 采集过程
眼底数据采集过程确保图像质量应符合A.3.3中的“可接受”,避免上传质量不可接受的图片。
A.3.3 质量分级
分为可接受和不可接受2类:
———可接受:图片不存在能够干扰数据标注的质量问题,且符合A.4.2中关于彩照位置的要求;
———不可接受:包含严重曝光异常、严重屈光间质混浊、大片污损、信息缺失及无关图片等。
A.4 采集规范
A.4.1 拍摄角度
拍摄单视野时,应不小于45°;拍摄多视野时,每个拍照视野应不小于30°。
A.4.2 眼底彩照位置要求
宜使用以下3个照相视野:
———视野1:图像以黄斑为中心;
———视野2:图像以视盘为中心;
———视野3:图像以视盘和黄斑连线的中点为中心。
A.4.3 屈光补偿
对于屈光不正患者,应对屈光补偿进行调节:
———+挡(+5.00~+15.00D):针对老视眼、高度远视眼和无晶状体眼;
———-挡(-9.00~-15.00D):针对高度近视眼。
A.4.4 数量
每眼应采集A.4.2提到的3个视野中至少1个视野的图片。
A.4.5 图像质量
A.4.5.1 眼底图像对焦要求
眼底图像应对焦准确,视盘表面、视网膜主干血管、视网膜分支血管、黄斑中心凹、视网膜病变等结
构均应清晰可辨。眼底图像对焦不准表现为眼底结构虚化、重影等。
A.4.5.2 眼底图像曝光适度
眼底图像曝光适度即眼底图像亮度适中。眼底图像曝光过强表现为视盘苍白,视盘表面血管甚至
视盘、视杯的边界不易分辨,后极部视网膜反光增强等。
11
YY/T1949—2024
A.4.5.3 避免眼底图像成像质量缺陷
采集图像时,避免出现以下缺陷。
———眼底照相机镜头或其他光学系统污迹或污斑:眼底照相机镜头污迹特点是同一人的双眼眼底
图像的同一部位以及不同人眼底图像的同一部位均出现一致性的斑点状或团雾状斑块,轻者
不干扰对眼底图像的判断,重者可影响阅片结果,甚至可能造成误诊,如误认为是微血管囊样
病变、出血斑、棉绒斑等。
———睫毛、头发、毛发异物虚影:拍摄眼底图像时,若睑裂睁开有限或眨眼,可能导致出现睫毛或毛
发虚影。尤其应注意下眼睑睫毛。
———周边黄色边缘、漏光样边缘或水滴样反光带:由于患者瞳孔较小,故拍摄眼底图像时部分区域
无法完全进入拍摄范围内,眼底图像周边区域出现不同程度的黄色边缘或其他颜色的边缘;或
拍摄到周边的灰尘,呈现为密集斑点状分布的水滴样反光。
A.5 数据脱敏
A.5.1 一般要求
数据应预先进行脱敏处理。
A.5.2 内容
脱敏字段应至少包含:病人姓名、证件、住院/门诊登记号等涉及敏感信息的数据。
A.5.3 方法
应将敏感信息删除,或通过替换、加密等方式进行假名化。
12
YY/T1949—2024
附 录 B
(资料性)
数据标注流程示例
B.1 标注人员要求
B.1.1 组成
标注工作需要标注医师和仲裁专家参加。
B.1.2 选拔
标注医师的条件为:从事眼科阅片工作5年以上或从事眼底疾病诊疗工作5年以上,职称为主治医
师及以上。
仲裁专家由从事眼科阅片工作或从事眼底疾病诊疗工作10年以上的副主任医师或主任医师担任。
B.1.3 培训
入选的标注医师预先接受培训,统一对标注规则的认识,熟悉标注软件操作。
B.1.4 考核
考试内容包括数据集覆盖的全部病种和图像特征的检出与分类,由权威专家对参考标准进行审核
与把关。
B.2 检出与分割标注流程
如采用AI算法进行辅助标注,算法的性能需要预先被确认。检出与分割标注按照图B1的流程进
行,人工调整/修改后进行一致性比对和审核。对于单纯的人工检出与分割任务,以图B1的分工形式
作为参考。
13
YY/T1949—2024
图B.1 标注流程图
B.3 分类标注
B.3.1 分类标注步骤
分类标注步骤如下。
a) 评估图片质量是否清晰。
b) 对于右眼以黄斑为中心的图像,观察如下特征:
———视网膜血管管径与管壁:颞上、颞下视网膜2 级分支动、静脉管径比;是否存在动静脉交
叉压迫;动脉管壁混浊;
———视网膜病变:
1) 微血管瘤;视网膜出血(点片或火焰状);硬性渗出;棉絮斑;
2) 静脉串珠、静脉成襻;视网膜内微血管异常(IRMA);视网膜新生血管;视网膜前出血
或玻璃体积血、视网膜前纤维增生和(或)牵拉性视网膜脱离;
3) 激光斑;
———黄斑区病变:黄斑区渗出、微血管瘤、出血。
c) 对于右眼以视盘为中心图像,执行以下步骤:
(1) 记录杯盘比;
(2) 观察是否存在视神经病变:局部或象限苍白区、视盘新生血管或增殖膜、视乳头水肿、视
神经萎缩。
d) 左眼图片按上述顺序评估;
e) 综合双眼结果填写报告。
B.3.2 分类标注流程图
分类标注流程图见图B.2。
14
YY/T1949—2024
图B.2 阅片流程图
B.3.3 标注细则
标注细则如下。
a) 标注时用不同颜色区分主要征象和次要征象。以主要征象为主,做到不漏;尽量多标注次要征
象。标注病灶轮廓即可,内部细节部分用文字进行描述即可。
b) 对于视网膜新生血管、新生血管膜、牵拉性视网膜脱离等增殖期糖网特征病灶,标注出所有
病灶。
c) 对于视网膜微血管瘤、出血、硬性渗出、软性渗出等病灶,由于病灶数量通常极多,有时无法识
别所有病灶,此时对离黄斑中心凹最近的每一类病灶进行标注(如分别标注出离黄斑中心凹最
近的渗出和出血点)。
d) 非糖网疾病的病灶不强制标注(如玻璃膜疣等)。
e) 边界分割:尽量沿病灶边缘轮廓进行准确标注(必要时可使用图像增强软件)。
B.3.4 一致性检验
两位标注医生分别完成标注后,使用软件对每张眼底照片的诊断以及各类病灶分别进行一致性检
验。诊断的一致性检验包括是否为糖网、糖网分期及是否需要转诊等,若两位医生诊断相同,则认为诊
断一致性良好,反之则认为诊断不一致,应由仲裁专家进行审核和重新诊断。计算两位医生标注分类结
果的一致性,Kappa系数不低于0.8。病灶分割的一致性检验将分析计算出两位医生标注病灶总体区域
的交并比,病灶总体交并比大于80%时,则认定标注一致性满足要求;反之,则认定病灶分割标注一致
15
YY/T1949—2024
性不满足要求,需交由仲裁专家重新审核和标注。
B.3.5 可追溯性
为满足数据后期与其他临床资料可对照及后续跟进研究的需要,保证病例可追溯,故在数据脱敏之
前对所提取的患者信息进行加密备份一份,用于后续追溯使用。所涉及的患者信息主要包括被采集者
姓名、身份证号、住院/门诊登记号等用于回溯至被采集者真实身份的信息。
16
YY/T1949—2024
附 录 C
(资料性)
元数据举例
C.1 现病史
现病史数据元专用属性描述举例如下。
a) 视力减退:发生时间,一过性或持续性,快速进展或缓慢进展,是否伴眼红、眼痛、畏光、流泪。
b) 有无视物变形、复视、雾视、闪光感、黑影飘动等。
c) 有无夜盲,晚间能否走黑路,是否碰墙、绊脚或蹒跚等。
d) 有无怕光流泪,有无眼球疼痛、转动痛、牵拉痛、胀痛或钝痛。
e) 有无眼外伤(化学性、机械性、辐射性),创伤物的种类(金属性、非金属性、植物性、胶带等),致
伤物是锐性还是钝性,致伤物的速度、距离、受伤环境。
f) 患眼疾后是否得到诊治,如已诊治,用药情况如何,疗效如何。
g) 其他现患全身疾病应另起一段予以记录,但不应记录在既往史中。如:患者因白内障住院,同
时患2型糖尿病5年、原发性高血压2年、稳定型心绞痛型冠心病1年,现注射胰岛素、口服降
压药治疗,这些全身疾病应另起一段予以记录,但不应记录在既往史中。
C.2 既往史
过去眼病史,如白内障、视网膜脱离等。
C.3 个人史
个人史,包括出生日期、年龄、性别、民族、身高、体重等。
C.4 家族史
家族史着重询问与眼疾有关的全身疾病病史(如高血压、糖尿病、血液病、内分泌和代谢性疾病)和
遗传疾病史。小儿眼疾询问母孕期病史和小儿生长发育史。
C.5 体格检查
体格检查如下。
a) 视力:远视力、近视力、矫正视力、光感、光定位及色觉等。
b) 眼压:指压法(Tn、T -、T +)、眼压计测量法(压陷、压平)。
c) 眼球外观:有无突出、陷没、眼位、震颤,运动障碍,如为斜视,记录手电光下斜视度,眼球运动情
况,注视性质。
d) 眼睑:有无红肿、水肿、瘀血斑、疤痕、肿块、睑缘糜烂、眼裂大小、睫毛情况等。
e) 泪器:有无溢泪,泪小点位置和大小,冲洗泪道有无阻塞,压迫泪囊区有无分泌物,泪囊区皮肤
有无红肿、压痛。
f) 结膜:睑结膜有无充血、浸润肥厚、乳头滤泡、疤痕、结石、溃疡、肉芽组织增生。球结膜有无充
血、出血、水肿、干燥、粘连、增生等。
g) 巩膜:颜色、色素、充血、隆起、压痛、新生物。
h) 角膜:形态、大小、透明度、角膜后沉着物。角膜上皮,实质层情况,如有溃疡应记录溃疡大小、
表面光滑度、凹陷度等。
17
YY/T1949—2024
i) 前房:中央前房深度,周边前房深度,有无房水混浊、积脓、积血。
j) 虹膜:颜色、纹理、新生血管、有无前后粘连、脱色素萎缩、震颤。
k) 瞳孔:大小、形状、位置、反应、后粘连、闭锁、膜闭、对光反应。
l) 晶状体:有或无、位置、透明或混浊情况,色素沉着,人工晶体位置及晶体后囊情况。
m) 玻璃体:有无混浊、积血、玻璃体后脱离。
n) 眼底:需绘图说明。视乳头大小,边界,颜色,动静脉比例。黄斑是否水肿、出血、渗出,视网膜
是否水肿、出血、渗出、隆起等。
o) 屈光:屈光性质及度数。
18
YY/T1949—2024
参 考 文 献
[1] YY/T1858—2022 人工智能医疗器械 肺部影像辅助分析软件 算法性能测试方法
[2] 中华医学会眼科学分会眼底病学组,中国医师协会眼科医师分会眼底病专业委员会.我国糖
尿病视网膜病变筛查的图像采集及阅片指南(2017年)[J].中华眼科杂志,2017,53(12):890-896.DOI:
10.3760/cma.j.issn.0412-4081.2017.12.003
[3] 中华医学会眼科学分会眼底病学组,中国医师协会眼科医师分会眼底病学组.我国糖尿病视
网膜病变临床诊疗指南(2022 年)[J].中华眼底病杂志,2023,39(02):99-124.DOI:10.3760/cma.j.
cn511434-20230110-00018
[4] Wilkinson,C.P.,Ferris,F.L.,3rd,Klein,R.E.,Lee,P.P.,Agardh,C.D.,Davis,M.,Dills,
D.,Kampik,A.,Pararajasegaram,R.,Verdaguer,J.T.,& GlobalDiabeticRetinopathyProjectGroup
(2003).Proposedinternationalclinicaldiabeticretinopathyanddiabeticmacularedemadiseaseseverity
scales[J].Ophthalmology,110(9),1677-1682.DOI:10.1016/S0161-6420(03)00475-5
19
YY/T1949—2024
CCS C30
中华人民共和国医药行业标准
YY/T1949—2024
人工智能医疗器械 数据集专用要求:
糖尿病视网膜病变眼底彩照
Artificialintelligencemedicaldevice—Specificrequirementfordatasets:
colorfundusimagesofdiabeticretinopathy
2024-09-29发布2025-10-15实施
国家药品监督管理局发布
目 次
前言………………………………………………………………………………………………………… Ⅲ
引言………………………………………………………………………………………………………… Ⅳ
1 范围……………………………………………………………………………………………………… 1
2 规范性引用文件………………………………………………………………………………………… 1
3 术语和定义……………………………………………………………………………………………… 1
4 数据集说明要求………………………………………………………………………………………… 1
5 数据集质量要求………………………………………………………………………………………… 5
6 数据集质量符合性评价………………………………………………………………………………… 7
附录A (规范性) 数据采集要求………………………………………………………………………… 10
附录B(资料性) 数据标注流程示例…………………………………………………………………… 13
附录C(资料性) 元数据举例…………………………………………………………………………… 17
参考文献…………………………………………………………………………………………………… 19
Ⅰ
YY/T1949—2024
前 言
本文件按照GB/T1.1—2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定
起草。
请 注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本标准由国家药品监督管理局提出。
本标准由人工智能医疗器械标准化技术归口单位归口。
本文件起草单位:首都医科大学附属北京同仁医院、国家卫生健康委能力建设和继续教育中心、
清华大学深圳国际研究生院、中国食品药品检定研究院、国家药品监督管理局医疗器械技术审评中心、
中山大学中山眼科中心、浙江大学医学院附属第二医院、中国医学科学院北京协和医院、北京医院、哈尔
滨医科大学附属第二医院、北京鹰瞳科技发展股份有限公司、依未科技(北京)有限公司、北京眼视光
学会。
本文件主要起草人:魏文斌、杨爱平、董力、邵蕾、马岚、李静莉、马兆毅、刘枭寅、林浩添、叶娟、陈有信、
戴虹、原慧萍、宋超、于晨、于伟泓、赵晶、金凯、林铎儒、高琳、蒋博、张川、李方、孟祥峰、王浩、郝烨、唐超、
凌赛广、白玉婧。
Ⅲ
YY/T1949—2024
引 言
糖尿病视网膜病变眼底彩照数据集是糖尿病视网膜病变辅助诊断软件等人工智能医疗器械研发、
训练、测试、质控等环节常用的资源,对产品质量有重要影响。本文件在参考YY/T1833.2—2022的基
础上,提出了糖尿病视网膜病变眼底彩照数据集的专用要求,用于指导此类数据集的质量评价,对于制
定其他的数据集专用评价规范有借鉴意义。
Ⅳ
YY/T1949—2024
人工智能医疗器械 数据集专用要求:
糖尿病视网膜病变眼底彩照
1 范围
本文件规定了用于人工智能医疗器械的糖尿病视网膜病变(以下简称“糖网”)眼底彩照数据集的专
用要求,描述了相应的试验方法。
本文件适用于对糖网眼底彩照进行后处理的人工智能医疗器械研发、生产、质控等环节使用的数
据集。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文
件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于
本文件。
YY/T1833.1 人工智能医疗器械 质量要求和评价 第1部分:术语
YY/T1833.2—2022 人工智能医疗器械 质量要求和评价 第2部分:数据集通用要求
YY/T0634 眼科仪器 眼底照相机
WS/T305 卫生健康信息数据集元数据标准
3 术语和定义
YY/T1833.1、YY/T1833.2—2022界定的以及下列术语和定义适用于本文件。
3.1
糖尿病视网膜病变 diabeticretinopathy
糖尿病导致视网膜微血管损害从而引起的一系列眼底病变。
3.2
眼底彩照 colorfundusphotograph
使用眼底照相机获取的数字化彩色眼底照片。
4 数据集说明要求
4.1 数据集描述
4.1.1 数据集整体描述
4.1.1.1 数据集类型
数据集说明应符合YY/T1833.2—2022中4.1.1.1的要求。
4.1.1.2 数据集形态
数据集说明应符合YY/T1833.2—2022中4.1.1.2的要求。
1
YY/T1949—2024
4.1.1.3 数据集层次
数据集说明应根据以下维度,描述数据集的数据层次、子集分解和组合变化:
a) 从图像分类的角度考虑数据分层,如正常眼底彩照、糖网的各种诊断分期或筛查分级、非糖网
的其他眼底疾病(易混淆的疾病病种)、接受过激光治疗的眼底图像、图像质量不可接受的
情形;
b) 从病灶特征的角度考虑数据分层,如视网膜微血管瘤、出血、渗出、新生血管;
c) 从数据来源的角度考虑数据分层,如眼底相机型号、拍照机构和应用场景。
4.1.1.4 应用场景
数据集说明应描述数据集的整体、子集或其组合能够模拟的临床适用场景,如社区糖网筛查、体检
中心糖网筛查、医疗机构门诊/住院/急诊。
注:数据集的临床适用场景受病种组成与比例、流行病学统计分布、受试者人群分布特征等因素制约。
4.1.1.5 版本控制
数据集说明应符合YY/T1833.2—2022中4.1.1.5的要求。
4.1.1.6 数据集更新
对于动态数据集,数据集说明应符合YY/T1833.2—2022中4.1.1.6的要求,并描述数据更新的频
次,分析数据更新对于病种组成与比例、患者体征、流行病学统计分布、受试者人群分布特征、不同数据
层次的影响。
4.1.1.7 文档管理
数据集说明应符合YY/T1833.2—2022中4.1.1.7的要求。
4.1.1.8 元数据属性
数据集说明应符合YY/T1833.2—2022中4.1.1.8的要求。数据集元数据应包含患者标识、性别、
出生年月、糖尿病家族史等必要信息,宜包含视力、血糖、糖尿病分型、眼底病诊疗史等信息。
4.1.1.9 数据元属性
数据集说明应符合YY/T1833.2—2022中4.1.1.9的要求。
4.1.1.10 标注信息
数据集说明应描述数据集是否具有标注信息,包括以下的适用维度:
a) 图像总体标注:糖网病变严重程度分期或分级、是否转诊、其他眼底疾病、图像质量分级、眼别、
是否存在治疗激光斑;
b) 病灶标注:病灶编号、病灶区域、中心点坐标、边界坐标、病灶类型;
c) 病历标注:视力、血糖、糖尿病分型、糖尿病家族史、眼底病变诊疗史。
4.1.2 数据采集信息
4.1.2.1 合规性陈述
数据集说明应包含审查和批准数据采集的机构名称及收集途径;数据集说明应声称“病例信息的收
2
YY/T1949—2024
集、储存、传播和使用已获得被采集者的同意,并由相关伦理委员会批准”。
4.1.2.2 隐私保护
数据集说明应符合YY/T1833.2—2022中4.1.2.2的要求。
4.1.2.3 多样性
数据集说明应符合YY/T1833.2—2022中4.1.2.3的要求。
4.1.2.4 数据采集依从原则
数据集说明应符合YY/T1833.2—2022中4.1.2.4的要求。
4.1.2.5 数据筛选
数据集说明应符合YY/T1833.2—2022中4.1.2.5的要求。
4.1.3 数据预处理
数据集说明应符合YY/T1833.2—2022中4.1.3的要求。
4.1.4 数据集标注
数据集说明应描述数据集标注的内容、规则和流程,描述标注规则所参考的糖网临床指南、专家共
识或参考文献,至少包含判定糖网分期/分级、转诊、图像质量分级、其他眼底疾病的依据,以及病灶检出
与分割的依据。
4.1.5 数据集存储信息
数据集说明应符合YY/T1833.2—2022中4.1.5的要求。
4.1.6 数据集用户访问
数据集说明应符合YY/T1833.2—2022中4.1.6的要求。
4.2 数据集标识
数据集说明应符合YY/T1833.2—2022中4.2的要求。
4.3 数据集质量特性描述
4.3.1 完整性
4.3.1.1 准确性
数据集说明应陈述糖网图像、临床数据、标注结果、元数据与真实值一致的程度,以书面形式提供可
验证的指标。其中,数据采集、信息记录的准确性宜采用单张图像、单个病例作为最小的考量对象,指标
可使用不合格品百分数;分类标注的准确性宜采用单张图像作为最小的考量对象,指标可使用准确率的
期望值;元数据、文字描述的准确性宜采用病例作为最小的考量对象,指标可使用不合格品百分数。数
据集说明应描述仲裁人员的标注结果是否进行过验证,以及验证过程、验证结果。
注:数据采集包含采集设备、人员操作等方面。
4.3.1.2 完备性
数据集说明应描述糖网眼底彩照数据集在图像、病历、元数据、标注结果等方面满足数据集预期用
3
YY/T1949—2024
途的程度,并以书面形式展示可验证的证据。
4.3.2 唯一性
数据集说明应符合YY/T1833.2—2022中4.3.2的要求。
4.3.3 一致性
数据集说明应符合YY/T1833.2—2022中4.3.3的要求。
4.3.4 确实性
数据集说明应符合YY/T1833.2—2022中4.3.4的要求。
4.3.5 时效性
数据集说明应符合YY/T1833.2—2022中4.3.5的要求。
4.3.6 可访问性
数据集说明应符合YY/T1833.2—2022中4.3.6的要求。
4.3.7 依从性
数据集说明应符合YY/T1833.2—2022中4.3.7的要求。
4.3.8 保密性
数据集说明应符合YY/T1833.2—2022中4.3.8的要求。
4.3.9 资源利用性
数据集说明应符合YY/T1833.2—2022中4.3.9的要求。
4.3.10 精度
数据集说明应符合YY/T1833.2—2022中4.3.10的要求。
4.3.11 可追溯性
数据集说明应符合YY/T1833.2—2022中4.3.11的要求。
4.3.12 可理解性
数据集说明应以术语、注释、参考文献等形式,为糖网眼底彩照数据集的数据元、元数据和标注结果
的含义提供解释,并以书面形式展示可验证的证据。
4.3.13 可得性
数据集说明应符合YY/T1833.2—2022中4.3.13的要求。
4.3.14 可移植性
数据集说明应符合YY/T1833.2—2022中4.3.14的要求。
4.3.15 可恢复性
数据集说明应符合YY/T1833.2—2022中4.3.15的要求。
4
YY/T1949—2024
4.3.16 代表性
数据集说明应符合YY/T1833.2—2022中4.3.16的要求。
5 数据集质量要求
5.1 概述
YY/T1833.2—2022中5.1适用。
5.2 质量特性
5.2.1 完整性
5.2.1.1 准确性
糖网眼底彩照数据集应符合数据集说明有关准确性的陈述,如:
a) 采集设备:应使用具有医疗器械注册证、处于有效期内的彩色眼底照相机,指标参数要求按附
录A;
b) 人员操作:操作人员应接受设备使用规范培训,对眼底彩照的拍摄方法、拍摄者资质的举例按
附录A;
c) 记录信息:眼底照片、受试者的个人信息和病历资料的对应关系应准确无误;
d) 文字描述:数据集说明使用的名词术语、文档内容应准确、清晰、无歧义;
e) 数据标注:以仲裁人员的标注结果作为参考标准,标注人员的准确率要求应满足糖网诊断分类
标注准确率不低于80%,糖网分期标注准确率不低于70%,对于是否需要“转诊”的糖网标注
准确率不低于80%,在病灶分割时标注人员与参考标准的平均分割交并比不低于70%,数据
标注示例及人员要求见附录B;
注:分类、分期准确率以及交并比的定义见YY/T1833.1。
f) 数据形式:若采集糖网患者病历资料,其中所涉及的描述性文字应依据WS/T305采集,示例
见附录C。
5.2.1.2 完备性
糖网眼底彩照数据集宜包含左右眼的眼底彩照,图像包含黄斑、视盘;标注结果宜包含诊断和分
期,其中糖网分期的文献依据由数据集制造责任方提供,宜遵循有关指南和专家共识,推荐使用糖网国
际分期或国内分期。如适用,病历数据应包含糖尿病史相关临床数据。元数据宜根据研究者需要,按照
WS/T305采集。
5.2.2 唯一性
糖网眼底彩照数据集内的数据应是唯一的,以同一时期、同一机构内的患者个体为识别特征,对照
片进行唯一编号。
5.2.3 一致性
同一糖网眼底彩照数据集内数据的采集、预处理、标注方法应保持一致。对于不同来源的糖网眼底
彩照数据集,应事先对数据的采集过程、标注环节进行统一,使其在眼别、照片编号、视野描述等数据特
征方面保持一致。
数据集中的每一张图均应具有2名及以上标注人员的标注,标注结果不一致时应由仲裁专家参与
5
YY/T1949—2024
审核。数据标注人员应从事眼科阅片工作5年以上或从事眼底疾病诊疗工作5年以上,职称为主治医
师及以上;仲裁专家应由从事眼科阅片工作或从事眼底疾病诊疗工作10年以上的副主任医师或主任医
师担任。计算不同标注医生间的一致性,Kappa系数应不低于0.8。
注:Kappa系数的定义见YY/T1833.1。
5.2.4 确实性
YY/T1833.2—2022中5.2.4适用。
5.2.5 时效性
YY/T1833.2—2022中5.2.5适用。
5.2.6 可访问性
YY/T1833.2—2022中5.2.6适用。
5.2.7 依从性
YY/T1833.2—2022中5.2.7适用。
5.2.8 保密性
YY/T1833.2—2022中5.2.8适用。
5.2.9 资源利用性
YY/T1833.2—2022中5.2.9适用。
5.2.10 精度
YY/T1833.2—2022中5.2.10适用。
5.2.11 可追溯性
YY/T1833.2—2022中5.2.11适用。
5.2.12 可理解性
糖网眼底彩照数据集应符合数据集说明有关可理解性的陈述,如:
a) 提供糖网标注的标签与临床分期、分级及病灶的对应关系;
b) 说明标注结果中各空间坐标的含义;
注:空间坐标指彩照图像某个像素的空间位置。
c) 说明如何使用标注结果评估标注人员的一致性、准确性;如采用辅助标注算法,应说明辅助标
注算法的性能指标与评价方法。
5.2.13 可得性
YY/T1833.2—2022中5.2.13适用。
5.2.14 可移植性
YY/T1833.2—2022中5.2.14适用。
6
YY/T1949—2024
5.2.15 可恢复性
YY/T1833.2—2022中5.2.15适用。
5.2.16 代表性
数据分布宜具有多样性以控制选择偏倚,从以下几个方面进行考虑。
a) 受试者人群地域:数据来源宜覆盖3个及以上不同地理区划。
注:地理区划包含华中、华北、华东、华南、西北、西南、东北。
b) 采集场所:数据采集来源宜包含所有预期的临床应用场景,如医院门诊、住院病例、体检机构、
社会筛查等。对预期用于糖网筛查的人工智能医疗器械,数据集中体检机构或社会筛查来源
的眼底照片比例宜高于70%;对预期用于糖网辅助诊断的人工智能医疗器械,数据集中医院
门诊和住院病例来源的眼底照片比例宜高于70%。数据集制造责任方在数据集说明中描述
数据的来源。
c) 设备与配置:宜使用不同厂商的不同型号眼底照相机。
d) 样本量:训练集样本量宜达到1000例以上;测试集阳性样本量计算公式可参考YY/T1858—
2022中4.3.2,测试集总样本量中的阴性样本量应根据患病率情况进行推算,如糖尿病患者中
糖网患病率约为30%。
e) 病种多样性:数据集宜同时包含Ⅰ型糖尿病和Ⅱ型糖尿病患者的糖网照片,可包括经手术、眼
内激光治疗后糖网眼底彩照,宜包含30%~70%的正常眼底彩照,宜包含5%~10%的非糖网
其他眼底疾病彩照;数据集制造责任方可根据需要,提升非糖网其他眼底疾病彩照的比例。
f) 糖网分期均衡性:数据集中应包含不同分期和不同严重程度的糖网眼底彩照。对预期用于糖
网筛查的人工智能医疗器械,数据集中增殖期糖网照片比例宜占糖网照片的10%~30%,“转
诊”糖网的比例宜占糖网照片的10%~50%;对预期用于糖网辅助诊断的人工智能医疗器
械,数据集中增殖期糖网照片比例宜占糖网照片的30%及以上,“转诊”糖网的比例宜占糖网
照片的30%及以上。
5.3 数据集风险分析
YY/T1833.2—2022中5.3适用。
6 数据集质量符合性评价
6.1 通则
除下述内容外,YY/T1833.2—2022中6.1适用。
在抽样检验过程中,按以下方式进行均匀随机抽样:当数据集样本量小于1万张图时,抽样比例不
低于5%;当数据集样本量大于或等于1万张图且小于10万张时,抽样数量不低于500张;当数据集样
本量大于或等于10万张时,抽样数量不低于1000张。
6.2 数据集说明评价
YY/T1833.2—2022中6.2适用。
6.3 质量特性评价
6.3.1 准确性
采用YY/T1833.2—2022中6.3.1的方法进行验证,判断抽样样本集是否全部符合5.2.1.1的要
7
YY/T1949—2024
求。如数据集制造责任方组织第三方专家对数据集标注结果进行抽样检验,第三方专家由三甲医院从
事眼科阅片工作或从事眼底疾病诊疗工作10年以上的副主任医师或主任医师担任。
对于动态变化的数据集,根据数据集制造责任方的更新频率,进行重新抽样检验;抽样数量根据更
新后的样本总量确定。
6.3.2 完备性
编写测试用例,对计数型抽样样本集的数据、元数据和标注内容进行检查,判断其结果是否符合
5.2.1.2的要求。
6.3.3 唯一性
对糖网眼底彩照数据集进行抽样,将计数型抽样样本集在总体样本中进行查重验证,判断其结果是
否符合5.2.2的要求。
6.3.4 一致性
根据糖网眼底彩照数据集说明声称的一致性指标进行试验验证,计算计量型抽样样本集中符合要
求的样本比例,判断其结果是否符合5.2.3的要求。
6.3.5 确实性
采用YY/T1833.2—2022中6.3.5的方法进行验证,判断其结果是否符合5.2.4的要求。
6.3.6 时效性
采用YY/T1833.2—2022中6.3.6的方法进行验证,判断其结果是否符合5.2.5的要求。
6.3.7 可访问性
采用YY/T1833.2—2022中6.3.7的方法进行试验验证,判断其结果是否符合5.2.6的要求。
6.3.8 依从性
采用YY/T1833.2—2022中6.3.8的方法进行试验验证,判断其结果是否符合5.2.7的要求。
6.3.9 保密性
采用YY/T1833.2—2022中6.3.9的方法进行试验验证,判断其结果是否符合5.2.8的要求。
6.3.10 资源利用性
采用YY/T1833.2—2022中6.3.10的方法进行试验验证,判断其结果是否符合5.2.9的要求。
6.3.11 精度
对照糖网眼底彩照数据集说明,检查计数型抽样样本集的标注结果包含的数据定量特征、病灶边界
描记的精度,判断其结果是否符合5.2.10的要求。
6.3.12 可追溯性
采用YY/T1833.2—2022中6.3.12的方法进行资料验证,判断其结果是否符合5.2.11的要求。
6.3.13 可理解性
对照糖网眼底彩照数据集说明,对图像、病历、标注结果和元数据进行预览和解释,判断其结果是否
8
YY/T1949—2024
符合5.2.12的要求。
6.3.14 可得性
采用YY/T1833.2—2022中6.3.14的方法进行试验验证,判断其结果是否符合5.2.13的要求。
6.3.15 可移植性
采用YY/T1833.2—2022中6.3.15的方法进行试验验证,判断其结果是否符合5.2.14的要求。
6.3.16 可恢复性
采用YY/T1833.2—2022中6.3.16的方法进行试验验证,判断其结果是否符合5.2.15的要求。
6.3.17 代表性
对照糖网眼底彩照数据集说明,对整个数据集开展统计分析,检查统计分层、样本组成、数据多样性
等,判断其结果是否符合5.2.16的要求。
6.4 数据集风险分析评价
采用YY/T1833.2—2022中6.4的方法,对数据集风险分析文档进行检查,判断其结果是否符合
5.3的要求。
9
YY/T1949—2024
附 录 A
(规范性)
数据采集要求
A.1 人员要求
A.1.1 一般要求
数据采集中人员方面的一般要求如下:
a) 应由医疗机构中具备相关资质的专业医疗人员完成;
b) 应为经医院医务科、信息科和相关部门授权的人选。
A.1.2 培训
应对采集人员按照医院的安全和标准作业流程进行培训。
A.1.3 考核
采集人员应熟悉眼底照相相关技术要点,考核中根据病种的不同,调整合适的参数进行扫描,以获
取质量最佳的数据。考核标准从操作规范性、操作娴熟度、操作稳定度三方面进行综合评价。
A.2 设备要求
A.2.1 一般要求
数据采集中设备方面的一般要求如下。
a) 眼底照相机应符合YY/T0634的要求。
b) 对焦方式:宜支持自动对焦。
c) 曝光方式:宜支持自动曝光。
d) 视场角:拍摄单视野时,应不小于45°;拍摄多视野时,每个拍照视野应不小于30°;单个病例的
图像需要涵盖黄斑和视盘。
e) 免散大瞳孔可拍摄的最小瞳孔直径:应能达到3mm。
f) 内固视点:眼底照相机的内置固视点应至少能调节至3个位置,分别对应以视盘为视野中心、
以黄斑为视野中心、以视盘和黄斑连线的中点为视野中心的位置,且能根据需要指定固视点。
g) 应具备半自动或全自动免散大瞳孔平面彩色照相功能。
h) 存储格式:应支持无损压缩的TIFF格式或无损压缩的PNG格式,支持无损JPEG 格式(压缩
比例不大于10∶1),支持DICOM 格式。
A.2.2 采集精度
探测器的位数应为8bit、12bit、16bit等。
A.2.3 图像输出预设
若采用DICOM 格式存储,应包含脱敏后的受检者信息;采用JPEG、PNG、TIFF格式存储时,受检
者信息应与图片对应。
10
YY/T1949—2024
A.3 采集过程
A.3.1 采集准备
在进行眼底照相前,必要时使用药物充分散大瞳孔,瞳孔直径宜不小于5.5 mm(散瞳时间为
20min~30min,对于瞳孔不能充分散大的患者,需要相对地延长扩瞳时间)。
A.3.2 采集过程
眼底数据采集过程确保图像质量应符合A.3.3中的“可接受”,避免上传质量不可接受的图片。
A.3.3 质量分级
分为可接受和不可接受2类:
———可接受:图片不存在能够干扰数据标注的质量问题,且符合A.4.2中关于彩照位置的要求;
———不可接受:包含严重曝光异常、严重屈光间质混浊、大片污损、信息缺失及无关图片等。
A.4 采集规范
A.4.1 拍摄角度
拍摄单视野时,应不小于45°;拍摄多视野时,每个拍照视野应不小于30°。
A.4.2 眼底彩照位置要求
宜使用以下3个照相视野:
———视野1:图像以黄斑为中心;
———视野2:图像以视盘为中心;
———视野3:图像以视盘和黄斑连线的中点为中心。
A.4.3 屈光补偿
对于屈光不正患者,应对屈光补偿进行调节:
———+挡(+5.00~+15.00D):针对老视眼、高度远视眼和无晶状体眼;
———-挡(-9.00~-15.00D):针对高度近视眼。
A.4.4 数量
每眼应采集A.4.2提到的3个视野中至少1个视野的图片。
A.4.5 图像质量
A.4.5.1 眼底图像对焦要求
眼底图像应对焦准确,视盘表面、视网膜主干血管、视网膜分支血管、黄斑中心凹、视网膜病变等结
构均应清晰可辨。眼底图像对焦不准表现为眼底结构虚化、重影等。
A.4.5.2 眼底图像曝光适度
眼底图像曝光适度即眼底图像亮度适中。眼底图像曝光过强表现为视盘苍白,视盘表面血管甚至
视盘、视杯的边界不易分辨,后极部视网膜反光增强等。
11
YY/T1949—2024
A.4.5.3 避免眼底图像成像质量缺陷
采集图像时,避免出现以下缺陷。
———眼底照相机镜头或其他光学系统污迹或污斑:眼底照相机镜头污迹特点是同一人的双眼眼底
图像的同一部位以及不同人眼底图像的同一部位均出现一致性的斑点状或团雾状斑块,轻者
不干扰对眼底图像的判断,重者可影响阅片结果,甚至可能造成误诊,如误认为是微血管囊样
病变、出血斑、棉绒斑等。
———睫毛、头发、毛发异物虚影:拍摄眼底图像时,若睑裂睁开有限或眨眼,可能导致出现睫毛或毛
发虚影。尤其应注意下眼睑睫毛。
———周边黄色边缘、漏光样边缘或水滴样反光带:由于患者瞳孔较小,故拍摄眼底图像时部分区域
无法完全进入拍摄范围内,眼底图像周边区域出现不同程度的黄色边缘或其他颜色的边缘;或
拍摄到周边的灰尘,呈现为密集斑点状分布的水滴样反光。
A.5 数据脱敏
A.5.1 一般要求
数据应预先进行脱敏处理。
A.5.2 内容
脱敏字段应至少包含:病人姓名、证件、住院/门诊登记号等涉及敏感信息的数据。
A.5.3 方法
应将敏感信息删除,或通过替换、加密等方式进行假名化。
12
YY/T1949—2024
附 录 B
(资料性)
数据标注流程示例
B.1 标注人员要求
B.1.1 组成
标注工作需要标注医师和仲裁专家参加。
B.1.2 选拔
标注医师的条件为:从事眼科阅片工作5年以上或从事眼底疾病诊疗工作5年以上,职称为主治医
师及以上。
仲裁专家由从事眼科阅片工作或从事眼底疾病诊疗工作10年以上的副主任医师或主任医师担任。
B.1.3 培训
入选的标注医师预先接受培训,统一对标注规则的认识,熟悉标注软件操作。
B.1.4 考核
考试内容包括数据集覆盖的全部病种和图像特征的检出与分类,由权威专家对参考标准进行审核
与把关。
B.2 检出与分割标注流程
如采用AI算法进行辅助标注,算法的性能需要预先被确认。检出与分割标注按照图B1的流程进
行,人工调整/修改后进行一致性比对和审核。对于单纯的人工检出与分割任务,以图B1的分工形式
作为参考。
13
YY/T1949—2024
图B.1 标注流程图
B.3 分类标注
B.3.1 分类标注步骤
分类标注步骤如下。
a) 评估图片质量是否清晰。
b) 对于右眼以黄斑为中心的图像,观察如下特征:
———视网膜血管管径与管壁:颞上、颞下视网膜2 级分支动、静脉管径比;是否存在动静脉交
叉压迫;动脉管壁混浊;
———视网膜病变:
1) 微血管瘤;视网膜出血(点片或火焰状);硬性渗出;棉絮斑;
2) 静脉串珠、静脉成襻;视网膜内微血管异常(IRMA);视网膜新生血管;视网膜前出血
或玻璃体积血、视网膜前纤维增生和(或)牵拉性视网膜脱离;
3) 激光斑;
———黄斑区病变:黄斑区渗出、微血管瘤、出血。
c) 对于右眼以视盘为中心图像,执行以下步骤:
(1) 记录杯盘比;
(2) 观察是否存在视神经病变:局部或象限苍白区、视盘新生血管或增殖膜、视乳头水肿、视
神经萎缩。
d) 左眼图片按上述顺序评估;
e) 综合双眼结果填写报告。
B.3.2 分类标注流程图
分类标注流程图见图B.2。
14
YY/T1949—2024
图B.2 阅片流程图
B.3.3 标注细则
标注细则如下。
a) 标注时用不同颜色区分主要征象和次要征象。以主要征象为主,做到不漏;尽量多标注次要征
象。标注病灶轮廓即可,内部细节部分用文字进行描述即可。
b) 对于视网膜新生血管、新生血管膜、牵拉性视网膜脱离等增殖期糖网特征病灶,标注出所有
病灶。
c) 对于视网膜微血管瘤、出血、硬性渗出、软性渗出等病灶,由于病灶数量通常极多,有时无法识
别所有病灶,此时对离黄斑中心凹最近的每一类病灶进行标注(如分别标注出离黄斑中心凹最
近的渗出和出血点)。
d) 非糖网疾病的病灶不强制标注(如玻璃膜疣等)。
e) 边界分割:尽量沿病灶边缘轮廓进行准确标注(必要时可使用图像增强软件)。
B.3.4 一致性检验
两位标注医生分别完成标注后,使用软件对每张眼底照片的诊断以及各类病灶分别进行一致性检
验。诊断的一致性检验包括是否为糖网、糖网分期及是否需要转诊等,若两位医生诊断相同,则认为诊
断一致性良好,反之则认为诊断不一致,应由仲裁专家进行审核和重新诊断。计算两位医生标注分类结
果的一致性,Kappa系数不低于0.8。病灶分割的一致性检验将分析计算出两位医生标注病灶总体区域
的交并比,病灶总体交并比大于80%时,则认定标注一致性满足要求;反之,则认定病灶分割标注一致
15
YY/T1949—2024
性不满足要求,需交由仲裁专家重新审核和标注。
B.3.5 可追溯性
为满足数据后期与其他临床资料可对照及后续跟进研究的需要,保证病例可追溯,故在数据脱敏之
前对所提取的患者信息进行加密备份一份,用于后续追溯使用。所涉及的患者信息主要包括被采集者
姓名、身份证号、住院/门诊登记号等用于回溯至被采集者真实身份的信息。
16
YY/T1949—2024
附 录 C
(资料性)
元数据举例
C.1 现病史
现病史数据元专用属性描述举例如下。
a) 视力减退:发生时间,一过性或持续性,快速进展或缓慢进展,是否伴眼红、眼痛、畏光、流泪。
b) 有无视物变形、复视、雾视、闪光感、黑影飘动等。
c) 有无夜盲,晚间能否走黑路,是否碰墙、绊脚或蹒跚等。
d) 有无怕光流泪,有无眼球疼痛、转动痛、牵拉痛、胀痛或钝痛。
e) 有无眼外伤(化学性、机械性、辐射性),创伤物的种类(金属性、非金属性、植物性、胶带等),致
伤物是锐性还是钝性,致伤物的速度、距离、受伤环境。
f) 患眼疾后是否得到诊治,如已诊治,用药情况如何,疗效如何。
g) 其他现患全身疾病应另起一段予以记录,但不应记录在既往史中。如:患者因白内障住院,同
时患2型糖尿病5年、原发性高血压2年、稳定型心绞痛型冠心病1年,现注射胰岛素、口服降
压药治疗,这些全身疾病应另起一段予以记录,但不应记录在既往史中。
C.2 既往史
过去眼病史,如白内障、视网膜脱离等。
C.3 个人史
个人史,包括出生日期、年龄、性别、民族、身高、体重等。
C.4 家族史
家族史着重询问与眼疾有关的全身疾病病史(如高血压、糖尿病、血液病、内分泌和代谢性疾病)和
遗传疾病史。小儿眼疾询问母孕期病史和小儿生长发育史。
C.5 体格检查
体格检查如下。
a) 视力:远视力、近视力、矫正视力、光感、光定位及色觉等。
b) 眼压:指压法(Tn、T -、T +)、眼压计测量法(压陷、压平)。
c) 眼球外观:有无突出、陷没、眼位、震颤,运动障碍,如为斜视,记录手电光下斜视度,眼球运动情
况,注视性质。
d) 眼睑:有无红肿、水肿、瘀血斑、疤痕、肿块、睑缘糜烂、眼裂大小、睫毛情况等。
e) 泪器:有无溢泪,泪小点位置和大小,冲洗泪道有无阻塞,压迫泪囊区有无分泌物,泪囊区皮肤
有无红肿、压痛。
f) 结膜:睑结膜有无充血、浸润肥厚、乳头滤泡、疤痕、结石、溃疡、肉芽组织增生。球结膜有无充
血、出血、水肿、干燥、粘连、增生等。
g) 巩膜:颜色、色素、充血、隆起、压痛、新生物。
h) 角膜:形态、大小、透明度、角膜后沉着物。角膜上皮,实质层情况,如有溃疡应记录溃疡大小、
表面光滑度、凹陷度等。
17
YY/T1949—2024
i) 前房:中央前房深度,周边前房深度,有无房水混浊、积脓、积血。
j) 虹膜:颜色、纹理、新生血管、有无前后粘连、脱色素萎缩、震颤。
k) 瞳孔:大小、形状、位置、反应、后粘连、闭锁、膜闭、对光反应。
l) 晶状体:有或无、位置、透明或混浊情况,色素沉着,人工晶体位置及晶体后囊情况。
m) 玻璃体:有无混浊、积血、玻璃体后脱离。
n) 眼底:需绘图说明。视乳头大小,边界,颜色,动静脉比例。黄斑是否水肿、出血、渗出,视网膜
是否水肿、出血、渗出、隆起等。
o) 屈光:屈光性质及度数。
18
YY/T1949—2024
参 考 文 献
[1] YY/T1858—2022 人工智能医疗器械 肺部影像辅助分析软件 算法性能测试方法
[2] 中华医学会眼科学分会眼底病学组,中国医师协会眼科医师分会眼底病专业委员会.我国糖
尿病视网膜病变筛查的图像采集及阅片指南(2017年)[J].中华眼科杂志,2017,53(12):890-896.DOI:
10.3760/cma.j.issn.0412-4081.2017.12.003
[3] 中华医学会眼科学分会眼底病学组,中国医师协会眼科医师分会眼底病学组.我国糖尿病视
网膜病变临床诊疗指南(2022 年)[J].中华眼底病杂志,2023,39(02):99-124.DOI:10.3760/cma.j.
cn511434-20230110-00018
[4] Wilkinson,C.P.,Ferris,F.L.,3rd,Klein,R.E.,Lee,P.P.,Agardh,C.D.,Davis,M.,Dills,
D.,Kampik,A.,Pararajasegaram,R.,Verdaguer,J.T.,& GlobalDiabeticRetinopathyProjectGroup
(2003).Proposedinternationalclinicaldiabeticretinopathyanddiabeticmacularedemadiseaseseverity
scales[J].Ophthalmology,110(9),1677-1682.DOI:10.1016/S0161-6420(03)00475-5
19
YY/T1949—2024
评论