一、项目概况
通过对建设人学校统一数据标准的制定和管理,全面采集治理各类数据,对数据进行数据治理,构建一套长期服务于全校的高质量、多维度的数据“一张网”。可为全校各个部门、各位师生、各类软件开发者提供全面、便利的数据供应支持,用于支持智慧校园统一平台、个人信息查询、决策辅助、数据分析、综合报表填报、软件系统开发、数据下载等多种用途。建设全校级数据标准体系,帮助学校构建和完善未来新建业务系统的数据准入制度,使智慧校园的整体建设向规范化、标准化、科学化方向发展。
建设清单: 内容清单 序号 建设类别 建设项 数据治理体系建设 数量 单位 项 项 项 项 个 项 1 2 智慧校园 1 1 1 1 1 1 校级数据标准制定及标准落地方案制定 数据治理服务 “一张网” 数据治理总体监控 线下表格数据采集与清洗 平台集成 3 4 5 6 二、项目需求 (一)建设要求
1.技术要求
(1)数据标准先行:以国家标准和教育部发布的行业数据参考标准为基础,结合建
设人实际情况进行调整和扩充,形成长期稳定的数据标准,并以此作为数据中心平台的建模依据。
(2)全域数据采集:全域是指要求各种类型的数据能够采集入库,对于不同类型的
数据要求能够采取相应的主流数据库。
(3)松耦合架构:从数据采集到平台之间,以及数据平台与应用系统之间,均采用
松耦合的体系,通过数据库、APl等产生关联,整个系统层次清晰、关系简单、健壮稳定、开放性强。
(4)开放体系数据生态:采用REST风格的WebService接口,采用JSON或XML
数据格式,支持各种软件开发架构,支持不特定的第三方厂商,支持团队和个人开发者使用数据。
2 .信息规范要求
为配合和推进建设人信息化建设,保证应用系统正常运行,需要建立一个符合国家、教育部和行业标准的、适合建设人信息化建设的规范体系;以教育部《教育部2012版教育信息化数据标准》为基础,制定符合学校实际需要的数据标准规范、接口规范和管理规范。让信息化建设落到实处,做到有章可循,有序建设,从而从制度上保证整个系统的标准化、可扩展性、支持互操作、保证信息化工作的顺利进行。
3 .性能指标要求
(1)功能响应性要求
系统响应时间:平均响应时间不超过1秒,最大响应时间不超过2秒。
(2)存储能力要求
存储能力:系统整体数据处理与存储能力要具备扩展能力,能够支持TB级以上。流计算实时任务,数据吞吐量22万条记录/s。
(3)处理能力要求
系统进行数据查询时,在查询的数据量为1万条以上记录的情况下:500用户并发平均响应时间小于2秒;100O用户并发平均响应时间小于3秒,事务请求成功率99.99%o
(4)运行环境要求
采用目前主流的大数据、微服务、容器化技术,要求所有组件都基于容器方式进行部署,大数据计算平台软件不能限制节点扩展的数量,可以根据需要进行扩展节点。
(5)连续性工作指标
实现7X24小时连续不间断稳定工作标准。
4 .安全性要求
本项目建设过程中,需要充分考虑数据从采集到集中存储到开放使用全路径的安全措施,包括数据采集、存储、开放、授权、调用、传输的全过程。
软件的代码必须具备足够的安全特性,在Web层和后台屏蔽原生SQL语句。涉及SQL交互时,需要对敏感字段进行过滤,杜绝SQL注入攻击,在HTML层对不安全字符进行屏蔽。
系统按照国家网络安全等级保护第三级(以等保定级专家定级意见为准)要求进行建设,配合建设人进行等保认证的改造工作。
5 .国产化适配要求
本次建设内容与服务要求能够适配国产操作系统、数据库、服务器等,需免费配合建设人进行信创环境的迁移和适配。
(二)详细要求
类别 序号 项目 详细要求 通过对学校各个职能部门的调研,了解各职能部门的业务内容、组织机构、管理信息系统、后台数据库信1 数据调研 息、数据内容和形态、供需关系、交换共享要求、数据质量问题、可引入的标准资源等,对学校数据管控现状进行全面评估,输出XX学院数据资产现状报告。 帮助学校设计和制定一整套数据管理相关的规范和制度,主要包括:数据管理的顶层设计方案、数据标准2 数据管理规范执行规范、数据访问安全规范、数据集成共享规范、与制度 数据治理 体系建设 数据质量保障规范、数据接口调用规范、数据存档操作规范、数据开发设计规范、软件操作流程规范、数据管理机构职能、数据质量保障要求、数据安全保障要求、数据供应保障要求、数据存档要求等等。 根据数据采集、清洗过程中梳理的信息,输出以下数据管理知识库信息: 数据供需关系 数据采集源信息 原始数据数据字典集合 数据管理知识库输出 3 数据采集ETL接口/任务信息 元数据库 数据质量规则库 数据质量规则绑定表 数据质量检核报告 数据资产目录 数据交换ETL接口/任务信息 数据全流向信息 要求根据国家标准、教育部标准和建设人业务和数据特点,本着尽量减少对学校业务系统、管理过程的影4 数据标准 响为原则,制定《XX学院大学数据标准》,并基于学校服务期限内使用的情况,根据需求进行调整。 为建设人提供的数据标准体系内容至少包括如下内容: 元数据标准(参考JY/T1006-2012及国家强制标准并结合学校数据现状及业务需求完成梳理) 代码标准(参考JY/T1006-2012及国家强制标准并结5 合学校数据现状及业务需求完成梳理)编码规范(如数据标准体系 校级数据标学号、工号、房间号、部门编号、资产编号等符合建准制定及标准落地方窠制 定 设人实际业务需求的编制规范) 对象命名规范(如表、字段、接口、文档等对象的统一命名规则) 数据标准的业务涵盖范围至少应包括:学校概况数据6 数据集 集、教职工管理数据集、学生管理数据集、教务管理数据集、财务管理数据集、图书管理数据集、一卡通管理数据集。 1、而向组织层面数据安全管理的顶层方针、策略、基本原则,如数据分类分级原则、数据安全和业务发展7 数据安全管理匹配原则、数据安全管理方针和政策,数据安全违规标准 处理规定;数据安全各生命周期及具体某个特定安全域的操作流程、规范,及相应的作业指导书或指南, 配套模板文 件等;数据安全模板文件,与管理流程、规范和指南相配套的固定格式文档,以确保执行一致性、以及便于数据或信息的汇总统计等,如权限申请和审批表模板,日志存储格式模板;执行数据安全管理制度产生的相应计划、表格、报告、各种运行/检查记录、日志文件等。 阶段输出成 本阶段输出《部门调研报告》《数据供需关系》 8 果 《数据字典汇总》 1、数据接入:根据业务需求,在起始阶段定义数据获取、处理、治理、组织、服务各环节的流程、方法和流转机制,并根据数据探查和定义将多元异构数据接入大数据中心,完成与数据提供方的数据对账。 (1)对接系统范围 包括但不限于教务系统、OA系统、学工系统(易班)、财务系统、图书管理系统、一卡通、科研系统、国资管理系统、统一身份认证、统一门户、VPN、督导平台等,项目实施过程中,未对接的业务系统可根据建设人实际需求进行替换或变更。 数据治理服务 9 数据接入 (2)数据源接入服务 A、实现主流数据库包括但不限于OraCIe、MySQL、SqISerVer、PoStgreSQL、HiVe、MongODB、dm、DaMeng(达梦)、KingBaSe(人大金仓)、KafkaImpalax文本等数据源的接入服务。 ΛB、实现可视化和脚本两种模式进行数据接入任务的建立,实现手动建立任务和周期建立任务。C、实现数据全量抽取和增量抽取两种方式。 I)、实现对数据源进行数据源信息的管理(数据 源名称、数据源类型、来源单位、添加时间),数据源责任部门和管理人员,方便后续数据确权的管理。 E、实现对接入的数据源进行数据源的确权和授权管理,可分配接入的数据源分属不同的数据源管理部门和人员,对数据来源进行维护和管理,授权体系实现与学校统一身份认证的授权体系进行互通。 F、检查当前数据源运行是否异常状况,查看连接异常的数据源数量,查看异常数据源明细。 G、实现云端APl数据接入。云端APl数据集成能力演示,投标人需通过数据治理管理工具平台演示实现配置好API数据源后可通过产品进行全量交换、增量交换、任务调度、自动建表的自定义配置,同时需实现针对请求参数的自定义配置和测试,从接口获取到数据后可在同一个界面完成数据结构及解析路径的定义和主键的配置以及目标库、目标表的定义,所有操作在同一个界面即可完成,无需重复操作。 (1)数据提取 A、根据数据定义的结果,从源格式数据中提取出目的格式数据。根据数据种类不同,数据提取可分为结构化数据提取和非结构化数据提取。结构化提取的来10 数据处理 源和目的数据格式均为结构化,主要是根据数据组织或业务需要进行数据的转换及整合,获得按照目的数据形式组织的数据。结构化提取首先获得结构化提取策略或规则并进行解析,得到从来源数据集/字段到目的数据集/字段的映射关系、运算规则,然后 按照规则实施结构化提取。 B、非结构化数据包括办公文档、网页、文本、图像和视频。这些数据需要进行结构化提取才便于进行进一步的计算和使用,在硬件资源环境许可下,根据建设人实际建设需求,对全校非结构化数据资源进行统一存储、统一计算。 (2)数据清洗 A、根据数据定义结果进行数据过滤、去重、格转、校验操作,生成满足标准及质量要求的数据。通过数据清洗实现数据标准化。 B、数据整合确认权威数据源,将两系统相同字段进行去重处理,扩展数据维度。经过清洗的数据需满足以下要求:单一字段中不存在多种信息;相同对象的名称表达一致;缩写词、惯用语的表达一致;值与字段名含义匹配;同类数据的计量单位统一;同一字段内的数据格式统一。 C、结构化数据清洗服务:根据数据质量管理的要求,对问题数据利用相关技术的数据清洗规则,转化成满足数据质量要求的数据。 D、非结构化、半结构化治理服务:根据数据质量管理的要求,对问题数据或有价值数据进行监控、调度、标注、转码、转换、内容挖掘等服务。 E、使用相关工具配置APl接口、离线表格、数据库、ETL类型等至少四种数据共享方式。 F、开展数据治理服务过程中,记录相关业务元数据、技术元数据信息,并将相关内容配置、记录在学校已有数据仓库管理系统中相关模 块。 (3)数据关联 根据数据定义中的关联规则或算法,将数 据和其它知识数据、业务数据进行关联,并输 出关联信息,实现关联回填、关联提取。主要 包括:人员身份关联、车辆物品关联、时空关 联、认证账号关联、手机注册信息关联、活动 场所关联。 (4)数据对比 在数据处理过程中,按照规则对结构化数 据进行相同比较或相似度计算,对于命中规则 的数据,实现按照输出描述进行输出,常用于 信息布控和信息订阅。 (5)数据标识 基于标签知识库,利用标签引擎对数据进 行比对分析、模型计算,并对其打上标签,为 上层应用提供支撑。标签一般分为通用标签和 业务标签。通用标签是数据自身所蕴含特性的 显性化,通常利用知识库,结合数据自身属性 或关联比对结果来确定的标签。 如:数据敏感级别标识:维护不同敏感级别的 规则(如:领导帐号、举报邮箱),通过匹配, 对数据标识相应敏感级别。 (6)数据分发 完成数据提取、清洗、关联、比对和标识之 后,根据不同应用场景,按照数据定义的分发 策略,将处理过程产生的关联、关系、标签信 息、,以及数据本身信息,进行同步或异步的相 关处理,并将结果数据对应分发到原始库、资 源库、主题库、知识库、业务库。 (1)数据标准模型管理服务 提供云端参考标准集,包括教育部的标准及软件厂商自身在高校案例积累形成的标准集,实现从云端下载标准作为参考依据; As实现标准生成,以WOrC1、excel或其他文本的形式进行标准共享,进行标准线下查看;B、实现数据标准版本管理,可使用全局发布以及自定义发布功能,可自定义发布审核权限。C、版本对比管理,用户可根据需要选择对比不同版本之间的差异,掌握数据标准的变动。 I)、实现导入执行代码集,成为学校可使用的代码集。 E、实现分类管理执行代码集。对执行代码集及代码11 数据治理 集分类进行增删改查,实现检索。 F、实现模型标准与国标对比检测工作,可以分析与国标的差异变化,方便管理人员及时掌握哪些符合国标,哪些是学校特有标准。 (;、实现定版的数据标准进行映射管理 (2)数据质量监控管理服务 数据质量监控模块实现灵活的规则配置,预置30种以上的内置基础业务模板,拥有完备的数据质量度量标准。模板中提供了波动阈值比较、固定值比较两种度量方式,覆盖字段级、表级规则,包含空值、唯一值、最大值、最小值、平均值等采集方法,且提供了自定义规则适配多样化业务需求。 A、中标人在合同签订后需向建设人汇报详细的数据质量检测方案,建设人对投标人的具体技 术要求包括但不限于如下内容:
(a)检查现库与元数据版本是否一致。 (b)检查数据是否符合检测规则。
B、提供全量检测和自定义范围检测。对本次数据
治理服务中集成的数据和现有共享库中数据进行数据质量检测服务,重点检测对象为人员基本信息(含教职工和学生)、教务、学工、科研、论文、财务、获奖等高频使用的数据表。检测内容包含:质量检测规则制定、质量评价权重配置、质量检测任务配置、质量报告反馈和修正(指通过确定的规则在清洗过程中修正)、量化质量评价的解释。 质量问题数据拦截过滤能力演示,投标人需通过数据治理管理工具平台演示实现通过工具可根据数据质量检测规则自动进行数据质量问题数据的自定义实时拦截下发,有问题的数据在ETL环节去掉,没问题的数据继续执行,阻止问题数据通过ETL环节流入到标准数据仓库中。C、根据数据的质量特性,制定合理的质量规则(如身份证号有效性检测,代码有效性校验,枚举有效性检测等),查看所有跟规则相关的对象的数据质量情况。 实现数据质量规则的可视化设定。设置的规则包括但不限于以下几个方面:
(a)值域规则:用来检核某个字段的取值范围是否
有效,至少实现值范围、值类型、值长度、值格式的自主配置。
(b)枚举规则:用来检核某个字段的取值范围是否
遵循学校的标准代码集,比如人员的性别、民族、籍贯等,应可从执行代码集、主数据获取枚举质量检测规则的取值范围,并且实现自定义枚举。
(C)正则规则:用来检核某个字段的取值范围是否
符合其数值格式,可以用来匹配比较复杂的质量检查,比如身份证号有效性匹配、时间日期有效性匹配。
(d)唯一性规则:用来检核某个字段的取值是否唯
一,属于特定规则,一般用来检查比如学号、身份号等字段是否是唯一的。
基于SQL语句的自定义规则:通过自定义SQL语句,用来校验某些字段是否符合特定业务规则,如某些业务数据取值是否与数据源保持一致。
D、列举常见字段的规则库:身份证、学号、工
号、电话号码、邮箱地址、日期时间等。
E、数据质量反馈:实现对建设人表进行数据质量
检测服务,要求将数据质量检测结果反馈至前端资源目录系统,便于对应责任部门线上认领、跟进处理。
(3)数据资源目录
A、数据资产目录管理的主要功能是采用元数据对
数据资产特征进行描述,形成统一规范的目录内容,通过对目录内容的有效组织和管理,形成目录信息库,为数据资产的汇聚、共享以及对应用的支撑提供指引。
B、数据资产目录建设,应遵循稳定性、关联性、
标准性、精简性、统一性的原则,通过对信息资源进行规范和分类,帮助资产使用者(用户和开发人员)快速准确掌握信息资源的基本概况,发现、定位、使用所需要的信息资源。
C、实现自定义数据资产目录级域资产目录名称。 D、建立数据资产台账、定义资源分类,发布数据
目录,建立数据资源档案。
E、面向服务资源提供者、管理者和使用者,提供
统一访问入口,多维度地清晰展现共享服务资源目录,建立可视化的共享资源访问申请管理。
F、具备服务目录管理、服务资产发布、服务资源
检索、服务访问申请以及请求接入审批等功能。
G、资产订阅:用户依据数据资产地图呈现的信
息,按需发起数据订阅申请,确定对应的数据服务方式与使用时限,通过订阅审核管控流程控制数据服务权限,便于后续的数据服务提供。H、完成资产目录数据。确定数据资产目录数据提供方及权责,其次,梳理数据资产目录信息,包含资产分类、资产名称,资产更新频率,资产数据来源单位,资产编目,数据安全等级等信息。中标人开展相关工作,同时按建设人要求提供《数据资产目录梳理报告》。
(4)数据安全管控服务
A、数据接入安全:在数据接入过程中,采用数据
对账服务和数据读取访问控制技术,保障数据接入安全。
B、数据处理安全:数据处理主要包括数据提取、
数据清洗、数据关联、数据比对、数据标识和数据分发,为数据组织和数据服务提供支撑。在数据分发服务将数据处理结果分发到数据资源库的过程中,对数据资源库账号进行安全管理,保障数据的安全。
C、数据治理安全:采用数据授权与鉴权、数据操作
审计、测试数据脱敏、高敏感数据加密等技术,防止在数据治理过程中出现数据泄露和篡改。实现字段
级的数据加密机脱敏策略,在发布时一键将高敏感或与个人隐私高度相关的数据实现加密授权。 数据加密脱敏安全管理:投标人需通过数据治理管理工具平台演示实现AES、MD5及国密SM2、SM3、
SM4多种加密方式。(提供现场演示)①对于数据的
访问都应当受到监控,确保敏感数据访问的合法性、合理性、安全性,规范用户对访问敏感数据的访问权限。
②数据脱敏:包含有敏感信息的数据库,在不限制用户访问的情况下,需要对敏感信息进行动态遮蔽。比如,存储有关公民个人信息,例如,身份证号码,电话号码,电子邮件等,应该对这些敏感信息进行部分或者全部遮蔽,来达到数据安全保护的目的。 ③实现HASH和掩盖两种脱敏方式。
④脱敏规则配置:数据脱敏配置列表展示脱敏名称、脱敏方式、负责人、创建时间等信息,白名单配置管理列表展示规则、用户、生效时间、失效时间等信息。
D、数据制度安全:实现按照数据安全管理办法,制
定建设人的数据分级分类管理信息,根据公
安部、教育部《教育系统核心数据和重要数据识别认定工作指南(试行)的通知》的数据安全分级分类管理办法,建立安全管理机制。在分级分类建设的各个阶段中,输出对应的服务成果《数据分类分级指南/规范》、《数据分类分级报告》。
E、数据组织安全:根据数据应用需求,按照数据定
义的标准统一、流程规范的组织方案,实现数据资源分类建库。数据组织主要包括原始库、资源库、主题库、知识库、业务库、业务要素索引库等。
F、通过安全防护体系提供的能力进行文件加密、数
据库加密,保障数据存储安全。
G、数据分级分类:输出数据分类分级策略,参考数
据分类策略包括:一级分类包括:学校概况数据、学生管理数据、教学管理数据、教职工管理数据、科研管理数据、财务管理数据、图书管理数据、一卡通管理数据、其他数据等。H、实现按各类检索条件对操作日志进行检索,以便能快速定位安全事件。
I、实现对发布的数据清单设置安全级别,细化到字
段级别,实现同一个数据清单中不同的字段安全级别不一致,体现在数据审核的环节,使得不同安全级别的字段走的审批流出不一样,实现数据的精细化、差异化管理。
数据安全等级控制能力演示,投标人需通过数据治理管理工具平台演示实现不少于三种安全级别设置,同一个数据清单中的不同安全级别的数据字段,在同一次数据申请过程中需要走
不同的审批流程。(提供现场演示) J、能防止用户非法登录,未授权的人员不能阅读或者修改相应权限的信息和数据,而授权人员可按权限要求进行正确访问。 K、数据服务安全:各类数据资源对外提供的访问和管理能力,数据资源包括原始库、资源库、主题库、业务库、知识库,及元数据、数据资源目录等。采用数据服务化、数据服务访问控制、数据授权、数据鉴权、数据泄露检测、数据销毁等技术,保障数据服务安全。 (5)数据生命周期管理服务 A、实现数据从业务系统到数据原始库,到数据仓库,到接口封装,到支撑应用的全链路生命周期管理。 B、可查看数据流向。当点选数据时,上下游表的关联字段即自动弹出并高亮显示。 C、对重要历史数据进行存档,方便从多个维度进行访问和检索,实现全校数据的全生命周期管理。 4、数据组织: 整体架构需采用分层设计的方法,各层具有独立的功能含义和实施要求。需包含:数据源、贴源层(ODS)>标准层(DWD)应用层(DM、ΛDS)o详12 数据组织 细如下: 而从业务层面来讲,数据存储的架构划分也是对数据架构健壮性的重要评判标准,根据高校行业特征,充分借鉴其他行业标准规范,对XX学院全域数据中心的数据后台分为数据源、贴源层(ODS)、标准层(DWD)、应用层 (DM、ADS)部分,配合历史数据存储的扩充,构成数
据实体存储的标准架构方案。各层级将围绕校园实际数据分层化需求逐一对价值呈现:
(1)贴源层(ODS)
也即数据ODS层,利用流批一体式数据集成技术存储校园内各类关系型、非关系型的1:1原始数据,并依托分布式技术进行实际存储落地。
(2)标准层(DwD)
依托国家标准或教育部标准,结合学校个性化部分,打造校园标准数据仓库,一般情况下将围绕教工域、学生域、财务域、教学域、科研域、学校管理域等主题域进行建设,并兼顾数据语义标签的自动与主动打标,在标准层之上构建围绕数据管理的分级分类方案。
标准数据入库,原始数据经过采集、识别、质量检查、清洗治理之后,就形成了标准数据。标准数据的范围是依据数据标准涵盖的范围确定的。标准数据的数据结构是按照数据标准的内容定义的。标准数据存储在数据仓库中,数据按照数据标准清洗转换后,依次按照数据子集分类存储到数据仓库,存储完成后,使用数据质量管理,对数据做一轮完整的数据质量检查。
(3)应用层
应用层将分为两小类一数据集市(DM)与标签指标库(ADS)o
(八)数据集市(DM)
需构建包括教学、科研、学工、消费、资产、图书等各类数据分析主题、教师发展中心主题、学生成长中心主题等应用专题,不少于5项。 (B)标签指标库(ADS) 包括学校、院系、个人、资产层面的数据上报、综合分析所需要的标签指标数据库。数据根据实际数据需求生成满足,表格,图形等数据展示和应用;是数据计算的最终结果,无其他数据处理过程依赖此数据库。此层数据形式大都是简单视图方式,提供给各应用系统(如门户、综合校情分析、手机门户等)直接使用。其创建需求就是来自于各应用系统的数据接口需求。 (1)数据服务资源管理:对服务资源进行新增、查询、修改、启用、停用、注销功能,同时可以对服务所关联的应用资源进行修改。 (2)数据查询服务:查询检索服务提供数据通用查询的功能,以预设或自定义的数据项为单一查询条件或组合查询条件,通过标准化的查询配置或服务接口调用数据,建立基于条件查询的分类分目查询功能和13 数据服务 一键式查询功能,实现按要素分类查询或基于不确定关键字的一键式全网检索。 (3)数据管理服务:按需将数据治理和数据服务的能力进行接口封装,为其他应用系统、平台内其他子系统提供服务。 (4)数据鉴权服务:要求对于不同的用户,数据资源需要开放不同数据访问权限。数据根据 开放程度的不同分为三类: A类:属于公共资源数据,普通用户以及游客都可以通过智能数据门户对数据进行获取,如学校各学院人数统计等可以公开的信息。 B类:属于学生个人数据或者部门内部数据,这部分可以经过申请获取,需要经过数据管理员审核批准后,用户可以获取数据。 C类:属于个人隐私数据,或者部门涉及机密的数据,这部分数据要求经过数据管理员、部门领导、校领导等多方审核后,才能进行发放。 (5)数据的审核流程需对外提供接口,与学校的服务大厅、移动端等应用对接,从而方便建设人各类用户对数据的需求。 (6)实现数据访问黑白名单配置。可基于数据调用者的源地址进行访问权限控制,源地址可指定单个IP地址、特定的IP段或域名等方式进行定义。设置黑白名单后,黑名单用户将被禁止访问指定的清单,或只允许白名单用户访问指定的数据清单。 (1)数据对账:对数据接入环节进行对账,提供了对账管理包括对账单名称、表名、系统名、类型、对账方案、状态、对账时间等。状态实现对账成功、未对账、对账未成功。 14 数据运维 管理 数据运维管 理 (2)数据接入对账报告:实现生成数据对账报 告,数据治理方可查看对账报告,包含对账明细、包含的问题和解决方案,实现对数据提供账单和数据账单进行数据盘点对账。 (3)对账报警:对接入的数据进行对账失败报警 设置,运维人员可设置对账报警通知,实现 设置通过邮件等方式通知用户。 (4)运维策略设置:对接入数据源进行对账策略的设置,实现即时对账和定时对账两种模式,定时对账可按照分钟、小时、天、周、年、月等进行调度任务的配置,可对运维钓鱼任务进行是否启用设置。(提供产品功能截图) (5)数据维护:实现对运维和对账的数据进行数据的维护,实现对数据源和数据表进行映射管理。 按照校领导关注的业务视角以数据报告及数据概览的方式整体展示治理情况: 1、数据服务概况:实现对数据服务情况进行总览展示,内容包括数据目录总数、服务总数、数据分布情况、数据请求情况和数据请求趋势。 (提供产品功能截图) 2、数据标准情况:数据监控台应对标准模型的建设情况进行全方面的展示呈现,至少应包含数据标准发布审核情况、生效统计情况、数据标准变化趋势情15 数据治理 数据治理总体况,实现对数据集的新增、修改、删除进行进行趋势总体监控 监控 分析,管理员可以看见指标内容的详细情况。(提供产品功能截图)3、数据资产情况:校级数据资产,展示建设人数据体量情况,实现资产总量、数据表总量、数据项、数据接口、文件数据、部门数量的最新状态查看和总体数据展示。实现按照主题目录分类、部门分类和热门资产分类,对接入的数据资产进行全局的展示。(展示字段根据实际情况或建设人需求调整)(提供产品功能截图) 4、数据质量情况:可以对所接入的各业务系统数据进行分值展示,其指标应符合行业标准,可实现统计全校已接入业务数据的质量评分状况,同时实现评分趋势的查看,可自定义时间范围。查看所管理的数据中心的质量问题分布情况,可以清晰的显示当前质量问题主要集中在哪里,为数据管理员做管理决策提供支撑。 5、数据治理任务情况:包括运行中、未运行、运行失败、等待时间、运行成功等,实现对实例执行情况分布情况和任务执行情况,实现对任务执行时长进行排行,对出错情况进行排行。6、治理进度可视化:提供数据治理进度看板,实现展示以下内容: ①数据中心中业务系统的基本信息,包括:业务部门数、业务系统数、厂商数量、数据表数量、数据项、数据总量、表注释率、字段注释率。 ②数据湖的数据治理成果,包括:业务部门数、业务系统数、厂商数量、数据表数量、表确权数量、数据项、数据总量、空值率、表注释率、字段注释率。 ③数据仓库的数据治理成果信息,包括:标准模型数、业务域模型个数、业务部门数、数据表数量、数据项、数据条目数、空值率、表注释率、字段注释率。(展示字段根据实际情况或建设人需求调整) 线下表格数线下表格数据线下表格数据采集功能用来将线下Excel文件记录的16 据采集与清成为数据库中记录的数据,并提供WEB采集与清洗 数据进行采集,界面对数据进行查看、编辑, 洗 从而使原先在线下的数据录入过程完全在线化。同时,还需要对线下表格数据按照设定的质量规则进行清洗、转换成标准数据后入库。实现电子表格文件的在线数据导入,实现数据在线编辑(实时保存至数据库,无需担心数据丢失),也可下载至本地编辑,然后上传至数据库。无需本地安装EXCEL即可通过Web界面在线修改数据。实现浏览器的管理方式,授权无终端数限制,使用时无需安装浏览器插件。实现管理人员通过简单设置避免数据重复风险。业务数据采集填报服务:根据调研制定的数据标准,设计数据模型,对接不同的数据来源,按照业务场景的实际数据需求开发对应数据资源,对具体业务填报场景提供表单设计、数据带出、数据填报、数据审核等服务。本次根据4个目标业务完成相关填报场景的支撑。 1、实现与学校的统一身份认证进行集成; 17 平台集成 平台集成 2、实现与学校的一站式服务大厅进行集成、实现与学校的统一消息平台进行集成; 3、实现与学校认证授权体系进行集成。
因篇幅问题不能全部显示,请点此查看更多更全内容