网络数据采集及安全审计技术研究综述

网络新媒体技术

Vol.9No.1Jau．2020

网络数据采集及安全审计技术研究综述

唐志斌(中国科学院声学研究所

国家网络新媒体工程技术研究中心

北京100190

*

中国科学院大学北京100190)

摘要:网络安全事件的频繁发生，攻击手段越来越复杂，破坏力越来越强，威胁着各类组织、机构和个人的信息、及设备系统安全，给人们日常生产生活带来严重困扰。传统的网络安全防护措施，比如防火墙、入侵检测系统只能从预防、检测及实时响应但是不能对过往的攻击事件进行回溯、分析、反向追踪及追查取证，当需要对过往的网络事件进行回的角度来应对安全问题，

溯分析，并找到一定的规律，从而有效预防下一次的攻击时，传统网络安全手段往往无法胜任。这就使得网络流量数据采集及安全审计变得尤为重要。数据审计是一项重要的网络安全手段，主要用于对网络用户行为进行监控管理，以及违规操作和泄密行为的事后追查取证，对来自系统和组织内部的网络安全威胁起到了重要的监督、防范、和事后应对的作用。关键词:网络安全，数据采集，安全审计，日志

ＲesearchＲeviewonNetworkDataAcquisitionandSecurityAuditTechnology

TANGZhibin

(NationalNetworkNewMediaEngineeringＲesearchCenter，InstituteofAcoustics，ChineseAcademyofSciences，

Beijing，100190，China，UniversityofChineseAcademyofSciences，Beijing，100190，China)

Abstract:Thefrequentoccurrenceofnetworksecurityincidents，theincreasinglycomplexmeansofattackandtheincreasinglydestruc-tivepowerthreatenthesecurityofinformationandequipmentsystemsofvariousorganizations，institutionsandindividuals，andbringsdailyproductionandlife．Traditionalnetworksecurityprotectionmeasures，suchasfirewallsandintrusionserioustroublestopeople’

detectionsystems，canonlydealwithsecurityproblemsfromtheperspectiveofprevention，detectionandreal－timeresponse，butcannotretrospect，analyze，reverse－trackandtraceevidenceforpastattacks．Whenitisnecessarytoretrospectivelyanalyzepastnetworkeventsandfindoutthem．Certainrules，soastoeffectivelypreventthenextattack，thetraditionalmeansofnetworksecurityareoftenincompetent．Thismakesthenetworktrafficdataacquisitionandsecurityauditbecomeparticularlyimportant．Dataauditisanimpor-andfortracingandcollec-tantmeansofnetworksecurity．Itismainlyusedformonitoringandmanagingthebehaviorofnetworkusers，

tingevidenceafterviolationsandleaks．Itplaysanimportantroleinmonitoring，preventinganddealingwithnetworksecuritythreatsfromsystemsandorganizations．

Keywords:networksecurity，dataacquisition，securityaudit，log

0引言

随着信息技术发的不断发展，网络已经深入到人们生活的每一个角落，成为人们日常生活以及企业业务中不可或缺的要素。各行各业对网络信息系统的依赖程度越来越高，享受着网络带来的信息共享的便利，但随之而来的还有网络安全和信息泄漏的事件频频发生，网络安全问题日益突出。常见的威胁网络安

2019－09－15收到修改稿。本文于2019－07－24收到，

*中国科学院先导专项课题:SEANET技术标准化研究与系统研制(课题号:XDC02010801)。

12网络新媒体技术2020年

全的因素主要有病毒、黑客攻击、系统漏洞等，使用防火墙、入侵检测、系统漏洞扫描等手段，可以应对上述

［1，2］

，安全威胁，实现对可疑网络流量及异常网络行为的监测和管控，将非法流量及操作杜绝于系统之外但是无法对网络的内容进行深度解析，无法根据网络内容采取专门的动作，而且对于系统内部已授权的合法

网络业务缺乏监管，内部人员通过授权访问渠道进行违规操作或者恶意信息泄漏的行为难以及时发现，并进行阻止和追责

［3，4］

。针对外部攻击和威胁的防范普遍受到企业和人们的重视，而对于内部人员的泄密、误

操作和恶意破坏行为往往疏于防范，导致实际发生的具有重大破坏性的网络安全威胁和重大信息泄漏事件

［5］

往往都来自于内部，其危害程度和造成的损失远远超过黑客攻击以及病毒破坏。是针对来源于内部的网络安全威胁，对内部网络进行监控和管理的有效手段，可以对网络的内容进行深度解析，从而对用户的网络行为进行实时监控，及时中断非法操作，还可以将过往操作记

网络安全审计

以供事后追查取证。网络安全审计系统通常包括网络数据采集、网络协议解析、日志传输与存储、录存储，

日志分析等环节，随着网络带宽的增长，面对高速的网络数据，网络安全审计系统接收的数据量巨大，对数解析、日志传输等环节的处理能力都提出了很高的要求。据采集、

［6，7］

1网络数据采集系统

网络数据采集分析技术，经历了十几年的发展，至今已经出现了多种数据采集分析系统，根据不同

可以提的审计和分析的应用场景，供各有侧重的网络数据获取及分析

如针对主机信息的审计、针对功能，

网络流量情况的审计分析以及针对数据库的审计等，如图1所示。现有的网络数据采集与审计相关产品众多，国内范围包括绿盟数据库审计系统－NSFOCUS(database

DAS)［8］，auditsystem，能够实时记

监视网络上的数据库活动，对数录、

它能解析数据据库操作进行审计，

库操作的具体SQL(structuredquery

图1

数据采集分析系统的应用场景

langleage)语句，并记录操作结果和状态，方便用户事后分析和责任追查，加强内外部网络的监控管理，保障数据资产安全;比蒙科技的安全审计系统BMSTSessionAuditor，可以实现ＲDP(remotedesktopprotocol)/SSH(secureshell)等加密网络协议进行透明审计;启明星辰的天玥网络安全审计系统，包含业务网审计、运维安全管控、日志审计等功能;天融信的网络、运维、数据库审计系统;联想网域网络审计系统;中软网络信息监控分析取证系统;中科胜安保密检查与网络摄像系统等。

世界范围包括如NetIntercept

［9］

系统，可以对网络流量进行捕获抓包，并按pcap格式存储，然后对单个数

［10］

检测流量中的攻击行为，并根据解析结果生成多种形式的报告。NetWitness据流进行协议识别和解析，系

并将应用层会话进行重组，可以自动生成报警、监控、网络交互分析和审查。Net-统可以捕获所有网络流量，

Detector［11］系统可以捕获入侵，并且集成了基于签名的异常检测，重组应用层会话，对不同的网络应用和协议执行多时间尺度的分析，它有一个直观的管理控制台和完全基于标准的报告工具，可以按照多种格式对数据进行导入和导出。Iris

［12］

系统可以收集网络流量并按照其基于会话的本地格式进行重组，重构出会话

真实的文本内容，而且可以将流量进行回放，用于对可疑活动的审计判定，还提供多种形式的统计测量以及

1期唐志斌:网络数据采集及安全审计技术研究综述13

［13］

可以进行快速数据识别。Infinistream系统利用智能深度包捕获(deeppacketcapture，高级搜索过滤机制，

DPC)技术，支持实时或者过往时间分析，可以高速捕获丰富的数据包细节，并进行基于包或者基于流的统计

分析，可以识别数百种网络应用，还使用了复杂的索引和智能记录数据挖掘(smartrecordinganddatamining，SＲDM)进行优化。SoleraDS5150［14］是一款高速数据采集设备，可以对网络流量进行完整的索引记录、过滤和回放，设备集成的DeepSee取证套件具有3个软件功能，报告、声纳和搜索，可以对所有网络流量进行索

［15］

引、搜索和重组。OmniPeek系统为网络的任何一部分提供实时的可视性，具有很高的数据包捕获能力，还Omnipliance是专门的网络记录设备，有中央控制台，分布式引擎和专家分析功能，配备几个TB的大容量硬

OmniEngine软件用于捕获和存储网络流量数据，OmniPeek接口用来从捕获的数据中搜盘和高速抓包接口，

发现闯入尝试、异常使用、误操作索和挖掘特定信息。SilentＲunner系统用于对网络行为进行可视化分析，

及其他反常现象，他用交互图形的形式来表示一系列的事件，并将其与网络流量关联起来，还可以按照真实顺序对安全事件进行回放和重建。NetworkMiner系统对网络流量进行现场实时捕获，进而执行主机发现、

［18］

对传输文件进行重组、识别恶意主机，并评估攻击者造成的数据泄露程度。Xplico是捕获网络数据包，并然后将数据进行重组和规范化，并将其交给操纵器，操纵器对数据进行编码、在协议层面对数据进行剖析，

［19］

关联和聚合，以便进行分析，以可视化的形式呈现分析结果。PyFlag是一个高级网络取证工具，可以对libcap格式的捕获数据进行分析，支持多种网络协议，能在多个层次上递归地检查数据，非常适合分层网络PyFlag可以解析pcap文件，TCP(transi-协议，提取数据包，并先解析低层网络协议，如IP(internetprotocol)、missioncontrolprotocol)或者UDP(userdatagramprotocol)，再将具有依赖关系的相关数据包按流的方式组织起来，提交给高层协议解析器，进行高层协议解析，如HTTP等。

除了专用的高级网络采集审计系统，还有多种网络安全监控工具，可以辅助取证分析，如TCPDump是Linux系统中最常用的抓包分析工具，可以在系统命令行中运行，能抓取网络接口上的全部流量，也可以使

［20］用多种过滤条件抓取特定的数据流和数据包，并在屏幕显示或者存储成pcap文件。Wireshark是当今最流行的网络抓包及协议分析工具，可以对网络数据进行抓取，并支持数百种网络协议，从链路层到应用层(2

［17］

［16］

层－7层)协议都能进行深入解析，并且支持多种平台，还可以对其他抓包工具生成的不同格式的抓包文件

［21］

进行读取和解析。Snort是开源网络入侵检测防范系统，能够以libcap格式抓取网络流量，对数据包进行记录、嗅探和实时分析，并可以进行协议分析、内容搜索和匹配以及应用层分析。1．1网络数据采集系统模型和结构1．1．1

网络数据采集系统模型

网络数据采集系统的模型通常包含以下环节:数据包获取、实时协议解日志封装、日志传输/存储、日志查询分析、展示结果。如图2所示，采集析、

设备一般由以下几个功能模块组成:

(1)数据包捕获模块。通过交换机端口镜像等方式，将数据包输入到网卡，并在内存中暂存;

(2)数据包分类过滤模块。通过数据包分类算法和指定规则，对输入流将不满足规则的数据包丢弃，对满足规则的数据包进行量进行分类和过滤，

采集并分类到合适的流和协议类型中;

(3)数据流管理模块。通过哈希表等结构维护数据流的信息和状态;(4)TCP/IP协议处理模块。包括IP重组、TCP重组，以及TCP的乱序重排，并维护TCP连接信息及状态;

(5)高层协议解析模块。根据协议的格式和规范，对高层协议的载荷进行解析和提取;

(6)日志封装模块。将采集的数据包及协议解析提取的内容按照一定的

图2

网络数据采集系统各模块工作流程

14网络新媒体技术2020年

格式进行封装，形成格式化的日志;

(7)日志传输模块。将封装好的日志传输到指定的存储与分析设备。1．1．2

网络数据采集系统结构

网络数据采集系统的结构可以分为集中式和分布式两种。集中式结构如图3所示，多个采集设备的日志数据汇聚到同一台中央分析服务器上，适用于小规模局域网，一旦网络规模增大，采集设备增多，日志数所有日志汇聚会超过中央服务器的处理能力。据量激增，

图3集中式网络数据采集系统图4分布式数据采集系统

分布式结构如图4所示，为一定数量的采集设备分配一个中间汇聚分析服务器，负责一个小型局域网或者大型局域网的一部分，再设置一个总的中央管理服务器，对各个中间汇聚服务器进行管理和汇总分析。分布式结构具有较好的扩展性、兼容性和容错性，而且可以将多个不同区域的局域网的采集分析统一整合管理起来。1．2

网络数据获取方式

要实现网络数据的采集，如何将网络流量引入到采集设备是一个需要考虑的问题。通常从网络中获取

［22，23］

:数据包的方式有如下几种

(1)基于集线器(HUB)复制网络流量。HUB将一个接口接收的数据转发到其他全部接口上，是一种广将网卡设置成混杂模式，就可以通过收取该HUB网络上的全部数据流量。但是HUB的工作播的方式工作，效率低，只适用于10Mbit/s/100Mbit/s的网络，不适于高速网络。(2)AＲP协议(addressresolutionprotocol)欺骗技术。通常的网络都是通过交换机连接的，而交换机并不像HUB一样广播包，而是通过AＲP映射，只把数据包转发给其地址指示的主机。而AＲP协议是状态无关一旦主机收到AＲP应答就会更新自己的AＲP映射表，而不关心自己是否发出过AＲP请求。AＲP欺骗的，

就是向目标主机发送伪造的AＲP响应，使其AＲP映射改变，进而将数据包发送给错误的对象。AＲP欺骗难以实现对多主机多地址的全流量网络数据采集。

(3)电磁感应信号复制。对于使用双绞线的网络，可以使用电磁感应线圈来对链路中的信号进行复制，通常用于链路无损检测，但是因为其误码率高，且成本较高，不适合用于数据采集。(4)分光器。对于光纤网络，可以使用分光器，将光钎中的光信号按照一定的比例分解成两路或者多路。分光器分为有源和无源两类，无源分光器对光信号进行分解后存在光强减弱带来的可靠性问题，有源分光器在分解光信号之后可以对光强进行补充，保证可靠性，但是成本较高。(5)交换机端口镜像(switchportanalyzer，SPAN)技术。可以将交换机指定端口的流量进行复制并从其他端口输出，用于网络分析和监控，使用灵活，且对高速网络支持较好，适合用于网络数据采集，是目前使用比较广泛的方法。

1期唐志斌:网络数据采集及安全审计技术研究综述15

2日志分析

网络数据采集系统通常将采集和解析后的网络数据以日志的形式进行存储，对网络数据进行分析和安全审计，都是以日志作为基础。日志的存储方式可以是日志文件，也可以建立专门的日志数据库来存储。网络数据采集产生的日志数量巨大，因此对日志的分析，意味着从大量的日志文件或者庞大的日志数据库中挖掘和提取用户关心的或者威胁较大的关键信息。

日志分析的方法有很多种，包括基于规则库分析、基于数据挖掘、大数据流式计算分析、以及基于各种生物学仿生算法的分析。2．1

基于规则库的分析方法

基于规则库的分析方法，通过协议特征

［24］

［25］

、正则表达式等方法，将日志中的内容与规则库中的规则

进行比对和匹配，将满足一定规则或者超过一定阈值的日志内容判定为安全威胁或者敏感操作。基于规则

库的分析方法检测准确率高，但是其能检测的行为类型完全依赖于规则库的建立，规则库通常是人工建立的，规则库的丰富程度和更新快慢直接影响着该方法的检测效果和扩展性，自适应性差，而且检测的速度与规则的复杂程度相关，规则越复杂，匹配速度越慢。2．2

基于数据挖掘的分析方法

基于数据挖掘的分析方法，可以分为归纳、分类、聚类分析、关联规则挖掘、演化、模式匹配等，其中聚类聚类分析

［26］

分析和关联规则挖掘在日志分析中的应用较为广泛。2．2．1

聚类分析主要是研究根据样本之间不同程度的相似度，将相似度高的对象划分到相同的类别或者簇，相似度低的对象划分到不同的簇中

。在聚类分析中，需要根据分析对象的属性和各个拟分类别的特征，

［27］

选择合适的衡量数据对象间相似度的统计量作为类别划分的依据。利用聚类的思想，可以将日志中具有

相似特征的数据类型、操作行为与其他数据区分开，形成专门的类别，如将日志内容区分为有威胁的内容、

［28］

敏感内容、正常内容等。按照聚类的尺度，聚类算法大致可以分为三类，基于距离聚类、基于密度聚类、基于互联性的聚类

［29］

。

(1)基于距离的聚类算法，使用各种距离来衡量数据对象之间的相似度，代表算法如K－Means(K－

K均值聚类)算法［30］;meansClustering，

［31］

(2)基于密度的聚类算法，依据各种密度函数进行聚类，如DBSCAN算法(Density－BasedSpatial

ClusteringofApplicationwithNoise);

(3)基于互联性的聚类算法通常利用图或者超图模型，将高度连通的对象聚为一类，代表算法有图群落

［32］

检测(GraphCommunityDetection)算法。2．2．2出

［33］

关联规则挖掘

KDD)，关联规则主要用于知识发现(KnowledgeDiscoveryinDatabase，由Agrawal于1993年首次提，“购物车”用于解决问题，对顾客购买的商品情况进行分析，找出交易数据库中商品之间的统计学的

［34］

联系，并对顾客的购买行为模式进行刻画。

关联规则中支持度和置信度是衡量一条规则的重要指标，分别代表了发现规则的有用性和确定性

。

在对一个给定的事务数据库进行关联规则挖掘分析过程中，最重要的是最小支持度以及最小置信度的选取，如果选取较大的最小支持度和最小置信度，能得到相关性更好的关联规则，但是关联规则的普适性可能会过高，将一些正常偶发事件误认为是异常，出现过多误报。所以在日志分析审计的应用中，应根据应用环

［35］

综合考虑这两个参数的选定。境的特点，

FP－Growth算法、TreeProjection算法、OP算法等，常用的关联规则算法有Apriori算法、其中Apriori算法

和FP－Growth算法在性能改进方面比较突出，且优劣相对互补。

16网络新媒体技术2020年

3网络数据处理平台和架构

网络设备需要处理网络通信过程中的各种处理任务，具体而言就是对每个网络数据包，按照各层次的

其处理协议层次也不同，如网络主机终端设备，需要向网络协议进行处理。不同网络设备的主要功能不同，

所以必须具备完整的二层到七层(从链路层到应用层)网络协议的处主机上运行的网络应用提供数据服务，

理功能;而网络中间转发设备，如二层交换机，只需要处理到第二层，即链路层，三层交换机和路由器只需要

处理到第三层，即网络层。不同层次及功能的网络设备，其数据处理平台也有所区别，如通用处理器平台、网络处理器平台。下面对各种平台的架构及特性进行简要介绍分析。3．1

通用处理器平台

互联网高度发展普及的今天，大部分的个人电脑及通用服务器都是联网的，具备基础的网络数据处理能力，可以完整处理二层到七层网络协议。个人电脑和通用服务器的处理器平台大多为通用处理器(general

GPP)平台，Linux、Windows等通用操作系统，puerposeprocessor，并运行Unix、通过网卡及系统内部集成的TCP/IP协议栈实现与外界的网络通信及各种网络协议的处理。通用处理器和通用操作系统平台从外部总线/接口协议支持、硬件设备支持、开发工具及软件开发及运行环境等各方面形成了标准的工作模式，极大

方便了各厂商的硬件配套兼容和软件设计开发，建立了完整的生态体系。通用处理器的发展，经历了从单核向多核，由串行到并行的发展和演化过程。通用处理器发展之初，主要是通过提升处理器主频来提升计算能力，然而，受处理器设计和制造工艺等因素的限制，单核集成度已经进一步提升集成度及主频，会使处理器功耗急剧增加接近极限，

［35，36］

，带来发热和散热问题，而且制造成本

［37］

也会急剧提升，因此处理器的发展转而向多核演进。多核处理器将多个处理核心集成在一个CPU中，通过多个硬件线程并行来扩展CPU的处理能力，而且结构简洁，整体功耗低

。目前，多核处理器已经被各大

IBM公司的Power架处理器厂商采用，且有各自的产品线，主要分为四大类:英特尔公司的x86架构处理器、

AＲM公司的AＲM架构处理器以及Imagination公司的MIPS处理器。其中x86架构及Power架构构处理器、

AＲM架构处理器主要用于手机等智能移动设备，MIPS架构处处理器多用于主机及高性能服务器、大型机，理器在许多网络设备、以及嵌入式设备中广泛使用。3．1．1

通用处理器网络处理软件架构

(1)系统内核TCP/IP协议栈。

通用操作系统内核态TCP/IP协议栈的工作机制为

［38］

数据接收时，网卡将从网络链路到达的数据包暂

存在其内部存储中，并产生一个硬件中断通知处理器有数据包到达，通过中断处理程序调用网卡驱动的接

将网卡中的数据包拷贝到系统内核空间的内存中，随后通过软中断处理，对数据包进行IP层、传输收函数，

层的协议处理，并放入接收队列，网络应用通过系统调用进入内核态的socket接收函数，并将数据从内核态

空间拷贝到用户态空间，完成数据接收;数据发送时，网络应用通过系统调用进入内核态的socket发送函数，将数据从用户态空间拷贝至内核态空间，内核态协议栈对数据进行各层协议处理，然后由网卡驱动将数据拷贝到网卡发送队列，并由网卡将数据发送到网络链路。，个人主机和通用服务器上的软件和功能多种多样，因为其“通用”故而网络数据处理只是众多功能之一，并不是其主要功能，基于通用操作系统的内核TCP/IP协议栈并不是专门针对网络数据处理而设计的。在高速网络环境中，网络数据处理中频繁的系统中断、数据包在内核态与用户态之间的多次切换及多次内存拷贝，都会产生巨大的CPU开销，限制了处理器对网络数据的处理效率，处理性能不足

［39］

。研究表明，基

于通用处理器的操作系统内核态TCP/IP协议栈，每处理1bit/s的TCP数据，需要1Hz的处理器资源，经测

“至强”Xeon8核处理器的通用服务器上，10Gbit/s以太网环境下的TCP数据处理能力只能试，在使用Intel达到6．7Gbit/s

［40］

。

1期

(2)DPDK技术。

唐志斌:网络数据采集及安全审计技术研究综述17

为了提升通用处理器上的网络数据处理效率，英特尔公司推出了基于通用处理器架构的网络数据处理

［41］

。DPDK技技术DPDK(dataplanedevelopmentkit)

并提供一术应用程序运行在操作系统的用户态空间，

通过拦截系统硬系列数据平面的库进行收发包处理，

中断，再由轮询主动调用中断，直接将网卡收到的数据

包拷贝到用户空态间，而不经过Linux内核态协议栈，实现零拷贝、无系统调用，同步处理减少上下文切换带来的缓存未命中，提升网包处理效率。DPDK技术目前支持x86、AＲM和PowerPC(PPC)的处理器体系架构，其原理如图5所示。DPDK技术的

图5

DPDK技术原理图

主要包括如下几个组件:

(1)PMD(poolmodedriver)轮询模式驱动，通过Linux提供的UIO(userspaceI/O)拦截硬件中断，并在用户态采用PMD主动轮询调用，绕过内核获取数据包;(2)ＲingQueue无锁环形队列，以无锁的方式实现针对单个数据包或者多个数据包生产者、单个数据包的消费者出入队列;

(3)Mempool内存池管理，避免频繁的动态内存分配及释放，提高内存管理效率;(4)Mbuf缓冲区管理，为数据包进行缓冲管理;

［42］(5)EAL(environmentabstractlayer)环境抽象适配层，负责对PMD进行初始化，通过CPU亲和性设

置将处理器内核和DPDK线程绑定，设置大页内存等系统初始化。

通过PMD可以避免系统中断开销以及数据包进出内核带来的内存拷贝开销;而ＲingQueese可以减小互斥访问的竞争开销;Mempool和Mbuf实现高效的内存管理和共享内存零拷贝;CPU亲和性设置，可以将线程与单独的物理核心绑定，减少线程调度和切换开销，同时每个线程的队列为独立无锁的，降低了资源竞争1GB的内存页，开销;采用大页内存(hugepage)，支持2MB、与Linux下默认4KB的内存页相比，可以几何级

从而减少TLB(translationlookasidebuffer)即快表的未命中，提升数据包处理过程中的地降低页表项的大小，访存效率。

经过以上诸多优化，使得DPDK技术能够在通用处理器、通用操作系统下实现网络数据处理性能的飞

DPDK技术已经形成了完善的社区和生态，在通用服务器上的编程和开发也更跃。而且经过十几年的发展，

加方便快捷，可移植性好，使得DPDK技术越来越成为通用处理器平台下网络数据处理的理想选择。尤其在如今公有云、云化网络的发展中，网络功能虚拟化

［43］

应用广泛，需要灵活而且高性能的网络处理功能，在这

DPDK技术为实现虚拟交换机等虚拟网络功能提供了些场景下，基础设施往往是基于高性能通用处理器的，

有力的解决方案。

DPDK技术的使用也存在一些问题需要解决，如由于DPDK技术运行在PMD模式的处理核心是轮询状态，始终被用户态占用，其用户态CPU的使用率始终保持为100%，即使在网络空闲时，也会长期空转，带来处理器的利用效率和能耗问题3．2

专用网络处理芯片

ASIC)，专用网络处理芯片使用专用集成电路芯片(applicationspecificintegratedcircuit，将具体的业务逻形成特定功能的集成电路芯片。不同于通用处理器可以通过编程实现多种不辑通过专门的硬件电路设计，

ASIC的逻辑指令是以硬件的形式固化的，只能实现特定的网络功能，如数据交换、转发、路由、网包同功能，

分流等。专用处理芯片也可以采用多核技术，将多个具有特定功能的ASIC核心以同构多核(symmetrical

［44］

。

18网络新媒体技术2020年

multi－processor，SMP)或者异构多核(asymmetricalmulti－processor，AMP)的方式集成在同一个处理器［45，46］

，以提升整体的处理性能或者扩展整体的功能，也可以通过多核动态重构(multicorereconfiguration，上

［47－49］

MＲ)技术将多个核心进行整合，。ASIC芯片具有处理性能高，提升使用效率体积小，功耗低，可靠性高等优点，但是不具备编程性，一旦设计完成并生产，其功能将无法改变，缺乏灵活性，而且芯片设计开发、测

试、定型的周期长，难度大，前期投入大，需要对使用场景及未来一段时间的发展趋势有一定的预判，使得设计好的ASIC芯片可以在业务单一且环境相对稳定的条件下服役更长的时间。ASIC芯片的特性使得它不适用于复杂多变、灵活性要求高的场合，网络数据采集系统功能复杂，且随时都可能添加新的功能及特性，需

因此不能使用ASIC芯片。要平台具有很高的可编程性，3．3

多核网络处理器平台

网络的飞速发展以及应用类型的不断丰富，对网络处理的性能和灵活性提出了越来越高的要求，网络

VoIP(voiceoverIP)、P2P(peertopeer)、DPI)等网络安全、网络多媒体、深度包检测(deeppacketinspection，服务要求网络设备能够执行更多、更复杂的网络任务，并能快速支持不断更新的复杂网络协议，这就要求网

使得基于通用处理器和ASIC专用电路解决方案难络设备同时具备高性能的处理能力和灵活的可编程性，

以很好的满足需求。多核网络处理器，是专门针对网络处理进行设计的可编程专用指令集处理器(applica-ASIP)，tionspecificinstructionprocessor，其硬件架构和指令集系统专门为网络数据处理进行了优化，提高系并且每个处理核心可以独立编程，实现灵活的功能开发，同时具备通用处理器的灵活统网络数据处理效率，

与专用电路高效的优点，可以更好的满足复杂的网络处理需求。主流的多核网络处理器产品有Intel的IXPSun的Niagara3处理器、Cavium的OCTEON网络处理器等。系列处理器、

4原型系统架构

由国家网络新媒体工程技术研究中心主持研发设计的网络数据采集系统，是基于CaviumOCTEONCN6645多核网络处理器研制的高性能网络数据采集设备，集网络流量实时抓取、过滤、协议分析与会话还原等功能于一身，以透明方式运行，可以识别多种网络协议，并将网络数据按照会话进行重组和还原，生成会话日志和操作日志，可以为网络安全审计、数据库审计、运维安全审计、应用性能管理、业务安全审计、安全态势感知提供有力的技术支持。

设备配置1枚CaviumOCTEONCN6645多核网络处理器，16G

2个SFP+万兆以太网DDＲ3内存，

16个SFP千兆以太网接口，8接口，

个ＲJ45千兆以太网接口(支持4组bypass)，以及一个ＲJ45千兆管理接口。

网络数据采集系统的整体架构如图6所示。采集器的主要功能模块有:

数据捕获模块:负责从网络获取数据包。

数据包过滤模块:根据采集规

只采则对数据包进行分类和过滤，集关心的数据流，并交给适当的高

层解析模块，将不关心的数据包

图6

网络数据采集系统的整体架构

1期唐志斌:网络数据采集及安全审计技术研究综述19

丢弃。

IP重组模块:负责对数据包进行初步的IP校验和检验，并对分片的IP包进行重组，还原成原始的完整IP包。

PPTP、L2TP二层隧道协议。隧道检测模块:负责检查GＲE、

TCP重组模块:负责对数据包进行TCP重组，保证提交给高层协议解析的数据包严格有序。Flow管理模块:维护和管理TCP会话，将交互双方两个方向的流视为一个会话。SSH、ＲDP等。加解密模块:负责对加密协议进行加解密，支持SSL、高层协议解析模块:负责高层协议解析，还原网络应用的交互内容，生成解析日志。会话及数据发送模块:将封装好的日志传输到指定的存储与分析设备。用户识别模块:负责识别用户主账号，需要与单点登录系统接口。

5结束语

网络安全审计是针对来源于内部的网络安全威胁，对内部网络进行监控和管理的有效手段，可以对网

从而对用户的网络行为进行实时监控，及时中断非法操作。网络数据采集通过将络的内容进行深度解析，

过往网络流量数据采集并对流量内容进行解析，生成详细的日志，使得网络用户可以按照需求对网络流量

进行分析，发现网络流量的关键特性。网络数据采集的日志和数据内容可以长期保存，并用于事后快速分析，当系统发生问题时，可以通过历史记录追查问题原因，定位误操作或者恶意行为，并为追查和追究提供依据。网络采集系统可与防火墙、入侵检测系统协同使用，通过回放攻击流量，对攻击的动作和模式进行分析，帮助日后更好的对该种攻击方式进行识别和防御，在未来的网络安全中将会扮演越来越重要的角色。

参

考

文

献

［1］黄媛．基于局域网的安全审计组件的设计与实现［D］．西安:西安电子科技大学，2014．［2］李勋章．网络日志监控及安全审计系统的设计与实现［D］．成都:电子科技大学，2012．

［3］陈君．高性能网络数据采集与分析，J］．网络新媒体技术，2018，7(1):65．助力安全审计，保障企业内控与合规性［［4］吴京洪，J］．网络新媒体技术，2016，5(6):12－16．倪宏，曾学文，叶晓舟．面向网络数据审计的SSH请求复原方法［［5］周晶．基于Web日志分析的安全审计系统的研究与设计［D］．北京:北京邮电大学，2018．［6］樊皓，J］．网络新媒体技术，2018，7(1):16－21．邓浩江，叶晓舟．基于中间人的ＲDP数据采集［［7］陈泉清．基于协议解析的网络安全审计系统的设计与实现［D］．成都:电子科技大学，2014．

［8］绿盟数据库审计系统产品白皮书［EB/OL］．http://www．nsfocus．com．cn/upload/contents/2015/04/2015_04021455110．

pdf．2019．07．

［9］NetIntercept［EB/OL］．https://www．sandstorm．net．2019．07．［10］NetWitness［EB/OL］．http://www．netwitness．com．2019．07．［11］NetDetector［EB/OL］．https://www．niksun．com．2019．07．［12］Iris［EB/OL］．http://www．eeye．com/Iris．2019．07．

［13］Infinistream［EB/OL］．http://www．netscout．com/Products/infinistream．asp．2019．07．［14］SoleraDS5150，DeepSee［EB/OL］．http://www．soleranetworks．com．2019．07．［15］OmniPeek［EB/OL］．http://www．wildpackets．com．2019．07．

［16］SilentＲunner［EB/OL］．http://www．accessdata．com/silentrunner．html．2019．07．［17］NetworkMiner［EB/OL］．http://networkminer．sourceforge．net．2019．07．［18］Xplico［EB/OL］．http://www．xplico．org．2019．07．［19］PyFlag［EB/OL］．http://www．pyflag．net．2019．07．［20］Wireshark［EB/OL］．http://www．wireshark．org．2019．07．［21］Snort［EB/OL］．http://www．snort．org．2019．07．

［22］陈小文．网络安全审计系统中数据采集的研究与实现［D］．哈尔滨:哈尔滨工程大学，2009．

20网络新媒体技术2020年

［23］刘奖．基于网络处理器的数据采集分类系统的研究与实现［D］．北京:清华大学，2004．

［24］DeriL，MartinelliM，BujlowT，etal．ndpi:Open－sourcehigh－speeddeeppacketinspection［C］//2014InternationalWire-2014:617－622．lessCommunicationsandMobileComputingConference(IWCMC)．IEEE，

［25］ThompsonK．Programmingtechniques:Ｒegularexpressionsearchalgorithm［J］．CommunicationsoftheACM，1968，11(6):

419－422．

［26］朱国红．基于特征点选择的聚类算法研究与应用［D］．济南:山东大学，2010．［27］白雪．聚类分析中的相似性度量及其应用研究［D］．北京:北京交通大学，2012．

［28］徐安林．基于海量WEB日志的网络恶意行为分析系统设计与实现［D］．北京:中国科学院大学(工程管理与信息技术学

2015．院)，

［29］蒋君妍．面向高维数据的聚类算法改进研究［D］．南京:南京邮电大学，2018．

［30］HartiganJA，WongMA．AlgorithmAS136:Ak－meansclusteringalgorithm［J］．JournaloftheＲoyalStatisticalSociety．Se-1979，28(1):100－108．riesC(AppliedStatistics)，

［31］BiFM，WangWK，ChenL．DBSCAN:density－basedspatialclusteringofapplicationswithnoise［J］．J．NanjingUniv，

2012，48(4):491－498．

［32］FortunatoS．Communitydetectioningraphs［J］．Physicsreports，2010，486(3－5):75－174．

［33］赵春晔，J］．现代电子技术，2017，40(2):1－5+11．涂山山，陈昊宇，黄永峰．云安全审计中基于日志的用户行为分析［［34］林振民．分治策略在关联规则挖掘中的应用［D］．厦门:厦门大学，2002．

［35］查奇文．基于多核网络处理器的网络协议加速处理关键技术研究［D］．北京:中国科学院大学，2013．

［36］GuenterB，JainN，WilliamsC．Managingcost，performance，andreliabilitytradeoffsforenergy－awareserverprovisioning

［C］//2011ProceedingsIEEEINFOCOM．IEEE，2011:1332－1340．［37］周伟明．多核计算与程序设计［M］．武汉:华中科技大学出版社，2009．

［38］査奇文，J］．网络新媒体技术，2013，2(1):58－64．张武，曾学文，宋毅．基于多核处理器的TCP/IP协议栈加速技术［［39］夏高，．清华大学学报(自然科学版)，2011，51(7):942刘斌．用于高速网络入侵检测系统的并行TCP/IP协议栈［J］

－948．

［40］JinHW，YunYJ，JangHC．TCP/IPperformancenearI/Obusbandwidthonmulti－coresystems:10－GigabitEthernetvs．

C］//2008InternationalConferenceonParallelProcessing－Workshops．IEEE，2008:87－94．multi－portGigabitEthernet［

［41］DPDK．DataPlaneDevelopmentKit:Programmer’sGuide［EB/OL］．［2018－3－21］．http://dpdk．org/doc/guides/prog_

guide/．

［42］JangHC，JinHW．MiAMI:Multi－coreawareprocessoraffinityforTCP/IPovermultiplenetworkinterfaces［C］//200917th

IEEESymposiumonHighPerformanceInterconnects．IEEE，2009:73－82．

［43］HanB，GopalakrishnanV，JiL，etal．Networkfunctionvirtualization:Challengesandopportunitiesforinnovations［J］．IEEE

2015，53(2):90－97．CommunicationsMagazine，

［44］李明哲．基于网络处理器的流媒体网关关键技术研究［D］．北京:中国科学院大学，2015．

［45］尚秋里．基于多核处理器的高速网络存储系统实现关键技术研究［D］．北京:中国科学院大学，2016．［46］郭秀岩．面向多核的多层次实时网络数据流调度技术研究［D］．合肥:中国科学技术大学，2011．

［47］IpekE，KirmanM，KirmanN，etal．Corefusion:accommodatingsoftwarediversityinchipmultiprocessors［J］．ACMSI-GAＲCHcomputerarchitecturenews．ACM，2007，35(2):186－197．

［48］ColletJH，ZajacP，PsarakisM，etal．Chipself－organizationandfaulttoleranceinmassivelydefectivemulticorearrays［J］．

2011，8(2):207－217．IEEETransactionsonDependableandSecureComputing，

［49］YangC，OrailogluA．Fullyadaptivemulticorearchitecturesthroughstatically－directeddynamicexecutionreconfigurations

［C］//201018thIEEE/IFIPInternationalConferenceonVLSIandSystem－on－Chip．IEEE，2010:396－401．

作者简介

(1991－)，唐志斌，男，博士研究生，研究方向:计算机网络、高性能网络数据处理。