CCS A 00
团体标准
T/CI 506—2024
智慧科研机构大数据平台技术要求
Technical requirements for big data platform of intelligentscientific research institutions
2024-09-18 发布2024-09-18 实施
中国国际科技促进会发布
目次
前言.......................................................................................................................................... II
1 范围......................................................................................................................................... 1
2 规范性引用文件......................................................................................................................1
3 术语和定义..............................................................................................................................1
4 缩略语..................................................................................................................................... 2
5 平台架构概述..........................................................................................................................2
6 功能性技术要求......................................................................................................................3
7 非功能性技术要求..................................................................................................................8
II
前言
本文件按照GB/T 1.1—2020《标准化工作导则第1 部分：标准化文件的结构和起草
规则》的规定起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由中国国际科技促进会提出并归口。
本文件起草单位：北京大学长沙计算与数字经济研究院、华为技术有限公司、北京大学
大数据分析与应用技术国家工程实验室、工业和信息化部电子第五研究所、船舶信息研究中
心(中国船舶集团有限公司第七一四研究所)、北京航天情报与信息研究所、北京新科时代传
媒信息技术有限公司、嵊州市大数据发展管理中心、嵊州市档案馆、同方知网数字出版技术
股份有限公司、智慧流动(北京)科技有限公司、河南聚合科技有限公司、紫光软件系统有限
公司、北京国科标研科技有限公司。
本文件主要起草人：王新民、乔欢、孙鹏飞、朱洪波、刘志斌、陈平、林家全、于敏、
佟盛、全晓东、高辰杰、张雷、汪伟民、何佳、王路宽、张艳丽，肖洪，李洪生、赵紫峰、
尚尔钧、张林虎。
1
智慧科研机构大数据平台技术要求
1 范围
本文件规定了智慧科研机构大数据平台的平台架构概述、功能性技术要求、可靠性等相
关内容。
本文件适用于对智慧科研机构在建立大数据平台的技术要求指导，包括科研机构、高校，
研究型机构，以及具有科研属性的实体单位。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期
的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括
所有的修改单）适用于本文件。
GB/T 37721-2019 信息技术大数据分析系统功能要求
GB/T 38673-2020 信息技术大数据系统基本要求
3 术语和定义
下列术语和定义适用于本文件。
3.1
智慧科研机构intelligent scientific research institutions
通过大数据、人工智能、云计算等新一代信息技术的应用，实现科研流程数字化、智能
化、协同化、开放化、创新化的科研机构。
3.2
分布式计算distributed computing
一种覆盖存储层和处理层的、用于实现多类型程序设计算法模型的计算模式。
3.3
集群cluster
一组相互独立的、通过高速网络互联的计算机或服务器。
2
[来源：GB/T 38673-2020，3.3]
3.4
租户tenant
对一组物理和虚拟资源进行共享访问的一个或多个云服务用户。
[来源：GB/T 38673-2020.3.4]
4 缩略语
下列缩略语适用于本文件。
API：应用程序编程接口（Application Programming Interface）
HTML：超文本标记语言（Hyper Text Markup Language）
JSON：JavaScript 对象简谱（JavaScript Object Notation）
LPA: 标签传播算法(Label Propagation Algorithm)
SDK: 软件开发工具包(Software Development Kit)
XML：可扩展标记语言(Extensible Markup Language)
5 平台架构概述
智慧科研机构大数据平台的目标是基于大数据、人工智能等新一代信息技术，为科研机
构提供全面、精准、实时数据服务的平台，通过整合多个数据源，如科研文献、研究论文、
实验记录、科研人员信息、科研项目数据等，实现大数据的精准挖掘和分析，为科研人员提
供全面的科研支持和服务，架构见图1。
3
图1 智慧科研机构大数据平台参考架构
智慧科研机构大数据平台由数据接入、数据存储、数据处理、数据分析、数据服务和运
维管理等部分组成，主要内容如下。
a) 数据接入提供结构化数据、非结构化数据或半结构化数据的采集、数据的导入导出
以及数据流的定义等功能，支持多协议接入，支持多系统集成。结构化数据包括数据库文件
以及结构化文本文件等，非结构化数据包括图片、音频、视频、文档及应用数据等。半结构
化数据包括XML、表格、JSON、HTML、电子邮件等。
b) 数据存储提供大数据的分布式存储管理，涵盖多种存储方式和文件系统。
c) 数据处理支持结构化、半结构化及非结构化数据，提供丰富的API 接口和SDK 开发
包，支持分布式计算技术、流处理技术、内存计算技术等，实现稳定、强大的数据处理能力。
d) 数据分析通过机器学习、可视化、统计分析等组件支持不同的数据分析类型、分析
模式。
e) 数据服务为科研工作者提供个性化内容推荐、用户画像、科研成果数据分析、知识
产权服务，以及实验数据、论文数据、科研资料、专利信息的访问、查询、可视化等基础服
务。
f) 运维管理包含资源管理和系统管理等，具备高可靠、安全、容错、易用的集群管理
能力，能够保护用户的数据隐私和安全，防止数据泄露和滥用。
6 功能性技术要求
6.1 数据接入功能要求
6.1.1 作业调度
包括但不限于以下要求：
a) 应支持对不同实验室、不同实验设备、不同业务系统的数据接入作业做智能调度；
b) 应支持对不同业务类型、实验类型的数据接入作业做智能编排、调度；
c) 应支持各类数据接入作业的批量启停、导入、导出；
d) 宜支持不同作业设备、业务数据接入任务的可视化、窗口化管理。
6.1.2 数据采集
包括但不限于以下要求：
4
a) 应支持与硬件实验设备、科研业务系统、科研文献系统等的互联互通；
b) 应支持数据的批量采集和实时采集；
c) 宜支持爬虫功能，支持对科研资讯、科研热点、政策热点、科研机构舆情等互联网
数据的抓取；
d) 应支持对结构化数据、非结构化数据和半结构化数据的自动采集；
e) 宜支持对PDF 等文档数据的批量导入、数据转换、提取入库等功能；
f) 宜支持采集任务的可视化配置管理、图形窗口式操作；
g) 应支持多种形式的数据导入方式，如报表、XML、API 接口、机器语言等。
6.1.3 消息队列
包括但不限于以下要求：
a) 应支持高吞吐、分布式消息的处理；
b) 应支持消息的缓存；
c) 应支持离线应用和在线应用对消息的使用和处理，保证实验设备数据采集的完整性；
d) 宜支持多种设备类型、多平台、多种客户端间的通信。
6.1.4 数据传输
包括但不限于以下要求：
a) 应支持通用的数据传输协议，如实验设备、机器数据、API 接口数据等的传输；
b) 应保证数据传输的稳定性、连续性、完整性、安全性。
6.2 数据存储功能要求
6.2.1 分布式文件系统
应符合GB/T 38673-2020 中6.3 规定，另包含但不限于以下要求：
a) 应支持文件容错机制和系统高可用机制，包括系统级、节点级、模块级的容错、系
统快速恢复等；
b) 宜支持将小文件自动打包为大文件，进行集中存储；
c) 应支持结构化、半结构化、非结构化数据存储。
6.2.2 分布式列数据库
应符合GB/T 38673-2020 中6.3 规定，另包含但不限于以下要求：
a) 应支持对不同架构、操作系统的兼容性；
b) 应支持根据工作负载和运行环境，提供配置参数修改的能力；
c) 应支持多级索引。
5
6.2.3 分布式图数据库
应符合GB/T 38673-2020 中6.3 规定，另包含但不限于以下要求：
a) 应支持主流开发接口，如RESTful 等接口；
b) 宜内置多种科研领域算法模型，如结合科研项目、科研课题、科研人才、科研成果
转化、科研机构舆情等进行算法模型构建。
6.2.4 分布式关系型数据库
包括但不限于以下要求：
a) 应支持结构化数据的分布式存储机制，保障数据存储的可扩展性和一致性；
b) 应支持多表关联、跨库关联；
c) 宜提供常见API 接口类型，实现数据的各类查询操作、接口对接操作。
6.3 数据处理功能要求
6.3.1 批处理
应符合GB/T 38673-2020 中6.4 规定，应包含但不限于支持离线计算任务进度与状态的
实时上报。
6.3.2 流处理
应符合GB/T 38673-2020 中6.4 规定，另包含但不限于以下要求：
a) 应支持用户级别的访问控制；
b) 应支持滚动窗口和滑动窗口两种窗口方式的实时分析任务，时间窗口大小可调；
c) 应具备高容错能力，如节点、进程等出现异常时，能够重新部署该处理单元；
d) 应支持与常见数据库接口的兼容性；
e) 宜支持基于多种分布式流处理引擎的查询语言，如flink、spark 等。
6.3.3 图计算
应符合GB/T 38673-2020 中6.4 规定，另包含但不限于以下要求：
a) 应支持同步计算模型或异步计算模型编写迭代算法；
b) 应支持实现水平扩展的分布式图计算和图查询；
c) 宜支持索引，提供在线图分析和图查询功能；
d) 宜支持PageRank、社区发现、最短路、LPA 等多种图计算能力。
6.3.4 内存计算
应符合GB/T 38673-2020 中6.4 规定，另包含但不限于以下要求：
a) 应支持负载均衡和水平扩展；
6
b) 应支持高度抽象算子，快速构建分布式的数据处理应用；
c) 应支持根据任务复杂程度及依赖关系，自动调度任务。
6.3.5 批流融合计算
应符合GB/T 38673-2020 中6.4 规定，另包含但不限于以下要求：
a) 宜支持常用时间窗口，包括滚动窗口、滑动窗口，窗口大小可调节；
b) 宜支持对复杂任务的调度，如支持深度学习的训练等。
6.4 数据分析功能要求
6.4.1 分析模式
应符合GB/T 37721-2019 中8.1 对离线数据分析、流数据分析、交互式数据分析等模
块的规定。
6.4.2 分析类型
应符合GB/T 37721-2019 中8.2 对预测型分析、描述型分析等模块的规定。
6.4.3 分析支撑组件
6.4.3.1 查询
应符合GB/T 37721-2019 中7.1 对查询接口、查询优化等模块的规定。
6.4.3.2 机器学习
应符合GB/T 37721-2019 中7.2 对数据集管理、支持算法、模型评估内容等模块的规
定。
6.4.3.3 统计分析
应符合GB/T 37721-2019 中7.3 对统计分析的内容模块规定。
6.4.3.4 可视化
包括但不限于以下要求：
a) 应支持常见的数据源数据格式作为输入，如Excel、关系型数据库、JSON、XML 等；
b) 应支持数据可视化，支持多维度、多图表、多形式的展示方式；
c) 应支持数据模型可视化，支持可视化交互、调整模型；
d) 宜支持数据资产可视化，如数据资产图谱等；
e) 宜内置多种行业、专业可视化展示模版，如仿真模拟数据可视化、三维可视化、科
研管理可视化、成果转化可视化等；
f) 宜支持根据科研资讯、数据爬取、系统已有数据等内容自动生成科研报告。
7
6.4.4 流程编排
应符合GB/T 37721-2019 中第9 章对工作流管理、告警和日志内容模块等模块的规定。
6.5 数据服务功能要求
6.5.1 个性化内容推荐
包括但不限于以下要求：
a) 应支持用户行为分析，包括查询偏好、活跃度等；
b) 应支持个性化内容推荐，如科研热点、学术推荐、荣誉认定等。
6.5.2 用户画像
包括但不限于以下要求：
a) 应支持用户自然属性数据分析；
b) 应支持用户系统日志、科研数据分析；
c) 应支持用户标签及多维度细分，包括科研领域、活跃度、忠诚度、影响力、用户属
性、浏览偏好等；
d) 应支持多用户的关联分析。
6.5.3 科研成果数据分析
包括但不限于以下要求：
a) 宜支持科研相关业务数据的管理服务，如课题申报、经费管理、课题批文、论文投
稿、论文发表、学术著作、成果鉴定、验收管理、成果获奖、成果转化、专利管理、学术会
议、项目评审、业务申报评审等业务数据；
b) 宜提供多维度科研绩效考核服务。
6.5.4 知识产权服务
包括但不限于以下要求：
a) 应支持智慧科研机构专利检索、分析等服务；
b) 应支持专利文献信息聚类分析，对技术热点进行文本聚类和引证分析；
c) 应支持智慧科研机构知识产权信息动态发布；
d) 应支持智慧科研机构成果转化延伸服务、资源管理、资源对接等。
6.5.5 数据基础服务
包括但不限于以下要求：
a) 应支持用户数据访问控制，包括用户基本信息、科研领域等；
b) 应支持上层应用注册机制、鉴权、管理；
8
c) 应支持服务功能查询机制；
d) 宜支持数据订阅、报告推送等功能。
6.6 运维管理功能要求
6.6.1 资源管理
应符合GB/T 38673-2020 中6.8 资源管理模块规定，宜支持超算、智算等多种算力资源
的提供、智能调度等功能。
6.6.2 系统管理
应符合GB/T 38673-2020 中6.9 对配置管理、租户管理、监控告警、服务管理、健康检
查管理等模块的规定。
7 非功能性技术要求
7.1 可靠性
7.1.1 高可用
应符合GB/T 38673-2020 中7.1.1 的规定，另包含但不限于以下要求：
a) 应保障业务连续性；
b) 宜具备提供计算、存储、网络资源等核心组件的故障替换维护能力。
7.1.2 数据冗余存储与分布
应符合GB/T 38673-2020 中7.1.2 的规定，另包含但不限于以下要求：
a) 应支持存储资源故障恢复后，数据能够自动重构，实现数据分布再平衡；
b) 应支持至少一种数据库高可用架构，如主备、主从、多活等，可结合数据库高可用
能力保证业务连续性。
7.1.3 数据备份和恢复
应符合GB/T 38673-2020 中7.1.3 对数据全量备份、数据增量备份、数据自动备份、数
据手动备份、数据恢复等模块的规定。
7.1.4 故障恢复与迁移
应符合GB/T 38673-2020 中7.1.4 中对故障恢复、故障迁移、故障影响等模块的规定。
7.2 兼容性
包括但不限于以下要求：
a) 兼容不同品牌的操作系统；
9
b) 宜支持国产自主可控操作系统及数据库等。
7.3 安全性
7.3.1 用户管理
应符合GB/T 38673-2020 中7.3.1 对用户身份标识和鉴别、用户登录失败措施等模块的
规定。
7.3.2 权限管理
应符合GB/T 38673-2020 中7.3.2 对权限配置的规定。
7.3.3 日志管理
应符合GB/T 38673-2020 中7.3.3 对操作日志统计、查询、分析等模块的规定。
7.3.4 数据安全
包括但不限于以下要求：
a) 应支持数据传输链路冗余机制，保障数据传输可靠性；
b) 应支持数据采集、传输、存储、处理等全流程安全加密机制，防止信息泄露；
c) 应支持数据分级、分类处理策略；
d) 应支持数据清洗、转换及使用过程中的安全性及可追溯性；
e) 应支持个人隐私信息保护，应支持个人信息授权同意、更正、删除；
f) 应支持基于用户角色的安全控制机制；
g) 应支持应用、设备与外部服务组件安全管理；
h) 应支持数据的脱敏、变形；
i) 宜支持多租户数据安全；
j) 宜支持行为审计与分析审计。
7.4 可扩展性
应符合GB/T 38673-2020 中7.4 对在线扩容、离线扩容等模块的规定。
7.5 维护性
应符GB/T 38673-2020 中7.5 规定，另包含但不限于以下要求：
a) 应支持多种安装部署方式，如本地化部署、云上部署等；
b) 宜支持仅内网访问、互联网访问等多种网络访问方式。
10
7.6 易用性
应符合GB/T 38673-2020 中7.6 对图形界面、产品文档等内容的规定。
评论