一种基于数据感知的安全数据采集方法及系统[发明专利]

(12)发明专利申请

(10)申请公布号 CN 110336818 A(43)申请公布日 2019.10.15

(21)申请号 201910609756.9(22)申请日 2019.07.08

(71)申请人 郑州黑猫数字科技有限公司

地址 450000 河南省郑州市金水区国基路

60号国家知识产权创意产业试点园区A座4楼409(72)发明人 李文政　唐永振　邓伟伟　朱红亮　

钱重光　(74)专利代理机构 广州海心联合专利代理事务

所(普通合伙) 44295

代理人 马赟斋　冼俊鹏(51)Int.Cl.

H04L 29/06(2006.01)H04L 29/08(2006.01)G06F 21/44(2013.01)

权利要求书1页 说明书4页 附图2页

G06F 21/60(2013.01)

CN 110336818 A(54)发明名称

一种基于数据感知的安全数据采集方法及系统

(57)摘要

本发明公开了一种基于数据感知的安全数据采集方法，属于数据采集技术领域，主要解决

警力资的是现有公安大数据采集方式时效性差、

源占用大、数据安全无法保障的技术问题，所述方法通过在目标采集系统客户端与目标采集系统服务器之间的私有网络内设置采集安全终端，实时接收所述采集安全终端捕获并上传的IP数据包，对该IP数据包进行处理后通过无线专网传输存储到公安大数据中心。本发明还公开了一种实现上述方法的基于数据感知的安全数据采集系统。本发明采集的数据时效性好，能避免警力资源占用，降低公安大数据采集成本。

CN 110336818 A

权　利　要　求　书

1/1页

1.一种基于数据感知的安全数据采集方法，其特征在于：通过在目标采集系统客户端(1)与目标采集系统服务器(2)之间的私有网络内设置采集安全终端(3)，实时接收所述采集安全终端(3)捕获并上传的IP数据包，对该IP数据包进行处理后通过无线专网链路加密传输存储到公安大数据中心(4)。

2.根据权利要求1所述的一种基于数据感知的安全数据采集方法，其特征在于：具体包括以下步骤，

S1.下发采集策略指令到所述采集安全终端(3)；

S2.实时接收所述采集安全终端(3)捕获并上传的经过安全加密的IP数据包；S3.对所述IP数据包进行解密还原并插入处理队列；

S4.对所述处理队列中已还原的IP数据包进行重组和上层协议还原得到真实的应用数据；

S5.根据所述公安大数据中心(4)配置的标准化映射关系对所述应用数据进行清洗并存储到所述公安大数据中心(4)。

3.根据权利要求2所述的一种基于数据感知的安全数据采集方法，其特征在于：在所述步骤S1和S2中，以TCP流的方式进行下发所述采集策略指令和接收所述IP数据包。

4.根据权利要求2所述的一种基于数据感知的安全数据采集方法，其特征在于：在所述步骤S1和S2中，通过无线专网链路下发所述采集策略指令和接收所述IP数据包。

5.一种基于数据感知的安全数据采集系统，其特征在于：包括采集安全终端(3)、采集综合管理云平台(5)，所述采集安全终端(3)设于目标采集系统客户端(1)与目标采集系统服务器(2)之间的私有网络内，所述采集安全终端(3)通过网络连接所述采集综合管理云平台(5)，所述采集综合管理云平台(5)通过网络连接公安大数据中心(4)。

6.根据权利要求5所述的一种基于数据感知的安全数据采集系统，其特征在于：所述采集综合管理云平台(5)包括依次连接的数据实时接收模块(6)、网络数据解析引擎(7)、数据标准化治理模块(8)、数据实时共享同步模块(9)，所述数据实时接收模块(6)用于网络连接所述采集安全终端(3)，所述数据实时共享同步模块(9)用于网络连接所述公安大数据中心(4)。

7.根据权利要求6所述的一种基于数据感知的安全数据采集系统，其特征在于：所述采集综合管理云平台(5)还包括连接所述数据实时接收模块(6)的设备认证管理模块(10)、采集策略管理模块(11)、大数据一键搜模块(12)。

8.根据权利要求6所述的一种基于数据感知的安全数据采集系统，其特征在于：所述采集综合管理云平台(5)还包括连接所述数据实时共享同步模块(9)的数据目录管理模块(13)、信息实时比对预警模块(14)。

9.根据权利要求5-8任意一项所述的一种基于数据感知的安全数据采集系统，其特征在于：所述采集安全终端(3)包括主板(15)，所述主板(15)上设有控制模块(16)以及分别连接所述控制模块(16)的存储模块(17)、网络模块(18)、加密模块(19)、接口模块(20)，所述网络模块(18)用于网络连接所述私有网络和采集综合管理云平台(5)。

2

CN 110336818 A

说　明　书

一种基于数据感知的安全数据采集方法及系统

1/4页

技术领域

[0001]本发明涉及数据采集技术领域，更具体地说，它涉及一种基于数据感知的安全数据采集方法及系统。

背景技术

[0002]随着大数据产业蓬勃发展，政府提出了要把大数据作为推动公安工作创新发展的大引擎、培育战斗力生成新的增长点，加快推进公安大数据建设应用，努力推动公安机关战斗力实现跨越式发展。现有的公安大数据采集主要有以下方式：[0003]1.人工定时采集，主要由派出所民警、辅警定时上门，手动将要采集的数据导出成excel文件，存储至自带的U盘中，再回到派出所，用公安内网电脑将U盘中的数据上传至公安大数据中心。此方式存在数据时效性差、警力资源占用大等问题。[0004]2.设备离线采集，经公安出面与被采集系统开发商协调得到数据库用户名与密码或支付系统二次对接开发费用后，在被采集点通过放置服务器与被采集系统实现数据对接，再由派出所民警、辅警定时将服务器中的数据导出至U盘中，回派出所后再上传至公安大数据中心。此方式存在数据时效性差、警力资源占用大等问题。发明内容

[0005]本发明要解决的技术问题是针对现有技术的上述不足，本发明的目的一是提供一种时效性好、避免警力资源占用、增加数据安全的基于数据感知的安全数据采集方法。[0006]本发明的目的二是提供一种时效性好、避免警力资源占用的基于数据感知的安全数据采集系统。

[0007]为了实现上述目的一，本发明提供一种基于数据感知的安全数据采集方法，通过在目标采集系统客户端与目标采集系统服务器之间的私有网络内设置采集安全终端，实时接收所述采集安全终端捕获并上传的IP数据包，对该IP数据包进行处理后通过无线专网链路加密传输存储到公安大数据中心。[0008]作为进一步地改进，具体包括以下步骤，[0009]S1.下发采集策略指令到所述采集安全终端；

[0010]S2.实时接收所述采集安全终端捕获并上传的经过安全加密的IP数据包；[0011]S3.对所述IP数据包进行解密还原并插入处理队列；

[0012]S4.对所述处理队列中已还原的IP数据包进行重组和上层协议还原得到真实的应用数据；

[0013]S5.根据所述公安大数据中心配置的标准化映射关系对所述应用数据进行清洗并存储到所述公安大数据中心。[0014]进一步地，在所述步骤S1和S2中，以TCP流的方式进行下发所述采集策略指令和接收所述IP数据包。[0015]进一步地，在所述步骤S1和S2中，通过无线专网链路下发所述采集策略指令和接

3

CN 110336818 A

说　明　书

2/4页

收所述IP数据包。

[0016]为了实现上述目的二，本发明提供一种基于数据感知的安全数据采集系统，包括采集安全终端、采集综合管理云平台，所述采集安全终端设于目标采集系统客户端与目标采集系统服务器之间的私有网络内，所述采集安全终端通过网络连接所述采集综合管理云平台，所述采集综合管理云平台通过网络连接公安大数据中心。[0017]作为进一步地改进，所述采集综合管理云平台包括依次连接的数据实时接收模块、网络数据解析引擎、数据标准化治理模块、数据实时共享同步模块，所述数据实时接收模块用于网络连接所述采集安全终端，所述数据实时共享同步模块用于网络连接所述公安大数据中心。

[0018]进一步地，所述采集综合管理云平台还包括连接所述数据实时接收模块的设备认证管理模块、采集策略管理模块、大数据一键搜模块。[0019]进一步地，所述采集综合管理云平台还包括连接所述数据实时共享同步模块的数据目录管理模块、信息实时比对预警模块。[0020]进一步地，所述采集安全终端包括主板，所述主板上设有控制模块以及分别连接所述控制模块的存储模块、网络模块、加密模块、接口模块，所述网络模块用于网络连接所述私有网络和采集综合管理云平台。[0021]有益效果

[0022]本发明与现有技术相比，具有的优点为：本发明通过在目标采集系统客户端与目标采集系统服务器之间的私有网络内设置采集安全终端，实时接收采集安全终端捕获并上传的IP数据包，对该IP数据包进行处理后存储到公安大数据中心，采集的数据时效性好，能避免警力资源占用，增加数据安全，降低公安大数据采集成本。附图说明

[0023]图1为本发明的流程图；

[0024]图2为本发明中采集综合管理云平台的方框图；[0025]图3为本发明中采集安全终端的方框图。[0026]其中：1-目标采集系统客户端、2-目标采集系统服务器、3-采集安全终端、4-公安大数据中心、5-采集综合管理云平台、6-数据实时接收模块、7-网络数据解析引擎、8-数据标准化治理模块、9-数据实时共享同步模块、10-设备认证管理模块、11-采集策略管理模块、12-大数据一键搜模块、13-数据目录管理模块、14-信息实时比对预警模块、15-主板、16-控制模块、17-存储模块、18-网络模块、19-加密模块、20-接口模块。具体实施方式

[0027]下面结合附图中的具体实施例对本发明做进一步的说明。[0028]参阅图1-3，一种基于数据感知的安全数据采集方法，其特征在于：通过在目标采集系统客户端1与目标采集系统服务器2之间的私有网络内设置采集安全终端3，实时接收采集安全终端3捕获并上传的IP数据包，对该IP数据包进行处理后通过无线专网链路加密传输存储到公安大数据中心4。[0029]在本实施例中，具体包括以下步骤，

4

CN 110336818 A[0030]

说　明　书

3/4页

S1.下发采集策略指令到采集安全终端3，采集策略指令包括IP、端口、具体请求信S2.实时接收采集安全终端3捕获并上传的经过安全加密的IP数据包；S3.对IP数据包进行解密还原并插入处理队列；

S4.对处理队列中已还原的IP数据包进行重组和上层协议还原得到真实的应用数

息；

[0031][0032][0033]

据；

S5.根据公安大数据中心4配置的标准化映射关系对应用数据进行清洗并存储到

公安大数据中心4。

[0035]在本实施例中，在步骤S1和S2中，以TCP流的方式进行下发采集策略指令和接收IP数据包。在步骤S1和S2中，通过无线专网链路下发采集策略指令和接收IP数据包，数据传输快，安全性高。

[0036]一种基于数据感知的安全数据采集系统，包括采集安全终端3、采集综合管理云平台5，采集安全终端3设于目标采集系统客户端1与目标采集系统服务器2之间的私有网络内，目标采集系统客户端1实时采集数据并通过私有网络录入数据到目标采集系统服务器2，采集安全终端3通过网络连接采集综合管理云平台5，采集综合管理云平台5通过网络连接公安大数据中心4。[0037]在本实施例中，采集综合管理云平台5包括依次连接的数据实时接收模块6、网络数据解析引擎7、数据标准化治理模块8、数据实时共享同步模块9，数据实时接收模块6用于网络连接采集安全终端3，数据实时共享同步模块9用于网络连接公安大数据中心4。采集安全终端3根据采集策略指令对录入数据的网络请求实现捕获，并在网络传输层复制该请求的IP数据包，进行安全加密后封装成私有传输协议格式的内容，以TCP流的方式通过无线专网链路上传至私网的采集综合管理云平台5。数据实时接收模块6实时接收IP数据包，对IP数据包进行解密还原并插入网络数据解析引擎7的处理队列。网络数据解析引擎7对处理队列中已还原的IP数据包进行重组和上层协议还原得到真实的应用数据。数据标准化治理模块8根据公安大数据中心4配置的标准化映射关系对应用数据进行清洗，过滤掉无用的数据。数据实时共享同步模块9通过网络将清洗后的应用数据存储到公安大数据中心4。[0038]在本实施例中，采集综合管理云平台5还包括连接数据实时接收模块6的设备认证管理模块10、采集策略管理模块11、大数据一键搜模块12。设备认证管理模块10用于管理各个采集安全终端3工作，如对采集安全终端3进行验证、对采集安全终端3的权限进行管理。采集策略管理模块11用于管理下发到各个采集安全终端3的采集策略指令。大数据一键搜模块12用于对采集的数据进行关键字全文检索查询，提高数据采集的速度和准确性。[0039]在本实施例中，采集综合管理云平台5还包括连接数据实时共享同步模块9的数据目录管理模块13、信息实时比对预警模块14。数据目录管理模块13用于对清洗后的应用数据进行分类管理，如对应用数据分类和划分级别。信息实时比对预警模块14用于将设定的预警信息和预警值与应用数据进行比对，比对结果超过预警值时进行报警，可以大幅度缩短预警时间。

[0040]在本实施例中，采集安全终端3包括主板15，主板15上设有控制模块16以及分别连接控制模块16的存储模块17、网络模块18、加密模块19、接口模块20，网络模块18用于网络连接私有网络和采集综合管理云平台5。控制模块16为CPU和应用于CPU的应用程序。存储模

5

[0034]

CN 110336818 A

说　明　书

4/4页

块17包括高速内存和SSD固态盘。加密模块19用于对IP数据包进行加密，加密模块19可以是加密芯片或加密狗。网络模块18包括网络控制芯片、全网通无线传输模块、连接全网通无线传输模块的高增益天线，全网通无线传输模块内置有4G或5G无线专用APN/VPDN网络安全接入模块，全网通无线传输模块通过高增益天线将加密的IP数据包上传给采集综合管理云平台5。接口模块20包括USB口、用于安装高增益天线的外置天线口、连接网络控制芯片的网络口。

[0041]本发明通过在目标采集系统客户端与目标采集系统服务器之间的私有网络内设置采集安全终端，实时接收采集安全终端捕获并上传的IP数据包，对该IP数据包进行处理后存储到公安大数据中心，采集的数据时效性好，能避免警力资源占用，增加数据安全，降低公安大数据采集成本。

[0042]以上仅是本发明的优选实施方式，应当指出对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些都不会影响本发明实施的效果和专利的实用性。

6

CN 110336818 A

说　明　书　附　图

1/2页

图1

图2

7

CN 110336818 A

说　明　书　附　图

2/2页

图3

8