应的16个赌值，并按照要求格式输出。
[0057] 进一步地，还包括对离线数据流中的异常时间片进行二次检测，所述检测具体包 括如下步骤：
[005引获取赌值异常时间片集中点，将获取的集中点新的元素传递给MapReduce;
[00别 Map阶段：
[0060] 在Map函数中提取流记录文件中每条流记录中的结束时间、源As号、目的As号、目 的Ip地址、源端口号、目的端口号、协议号、TCP协议控制位内容；
[0061] 按照结束时间将流记录划分到具体的时间片，时间片序号为:取整结束时间/时间 间隔；
[0062] 根据源As号和目的As号将网络流量划分为4个方向的流量:外部流量、外部流入流 量、内部流出流量、内部流量；
[0063] 针对每条流记录，得到格式分别为："流量方向时间片序号源Ip地址协议号TCP控 制位"、"流量方向时间片序号源端口地址协议号TCP控制位"、"流量方向时间片序号目的Ip 地址协议号TCP控制位"、"流量方向时间片序号目的端口地址协议号TCP控制位"的新的字 符串，并与传递进来的元素作比较；
[0064] 若由当前流记录提取出来的新的元素与传递进来的某个元素一致，则针对每条流 记录，输出4个〈key, Vlue)对，格式分别为：〈"流量方向时间片源Ip地址协议号TCP控制位"， "源Ip地址"〉、〈"流量方向时间片源Ip地址协议号TCP控制位"，"源端口地址"〉、〈"流量方向 时间片源Ip地址协议号TCP控制位"，"目的Ip地址"〉、〈"流量方向时间片源Ip地址协议号 TCP控制位"，"目的端口地址"〉。
[00化]Reduce 阶段：
[0066] 建立4个格式为<Shing,Integer〉的二维表，分别对应源Ip地址、源端口号、目的 Ip地址、目的端口号，其中String类型部分存储value对应的不重复的字符串（Ip地址转换 成整型值），Integer用来存储该字符串在运个k巧对应的value迭代器中出现的次数，处理 key对应的所有value值，形成最终的4个二维表；
[0067] 依次遍历每个二维表，得到K巧的个数后求得不重复元素出现概率=1/K巧的个 数，若此值大于某个阔值(如1/10)，则判断元素分布"集中"；若小于此阔值，则将所有的Key 看作二维空间上的点，横坐标为二维表中K巧的序号，纵坐标为K巧的值，形成一条折线图， 最后判断运条折线是否具有"人为特征"，如折线上的某一段占据了整个折线的很大比例算 做此折线具有"人为特征"，或者具有相同斜率的折线段占据了整个折线的很大比例算做此 折线具有"人为特征"；
[006引除了集中点外，而且此集中点对应的其它域出现"集中"或者"人为特征"的分布， 则判断发生了与此集中点相关的异常，若不能判断的集中点，则输出到指定文件。
[0069]进一步地，离线检测结果显示包括离线数据流检测结果显示和在线数据流检测结 果显示，其中
[0070]离线数据流检测结果显示具体包括：
[0071 ]按照时间顺序查询数据库中记录的正常和异常信息；
[0072] 将查询到的正常和异常时间片对应的信息，对应所发生的时间有区别的显示在离 线检测显示界面上；
[0073] 在线数据流检测结果显示具体包括：
[0074] 定时查询数据库更新；
[0075] 将查询到的更新信息，按照时间顺序将正常时间片和异常时间片区别显示。
[0076] 为达到上述目的，本发明基于化doop的网络流量异常检测系统，所述系统包括:流 量采集存储模块、训练模块、离线检测模块、在线检测模块、检测结果显示模块，其中，
[0077] 所述流量采集存储模块，用于接收AS边界路由器输出的在线流数据流；
[0078] 训练模块，用于对训练数据流进行训练，得到异常数据流的检测阔值；
[0079] 离线检测模块、在线检测模块分别用于基于所述检测阔值分别判断在线流数据和 离线流数据的异常时间片是否超过阔值；
[0080] 检测结果显示模块，用于记录并显示检测结果。
[0081] 进一步地，还包括微观分析模块，用于对离线数据流中的异常时间片进行二次检 测。
[0082] 本发明提出并实现了一种基于化doop的边缘网出口网络流量异常检测方法及系 统，本具有架构独立，部署方便，只需接收边界路由器的流记录数据即可在系统中完成异常 检测任务，不需关屯、自治域内部网络拓扑；另外，在异常检测方面，采取了宏观和微观分析 相结合的方式进行，在宏观上采用了 Tsallis赌值作为异常检测的依据，在微观上采用了对 异常时间片的集中点进行统计的方式，并且提出了针对上述集中点半自动判断发生异常的 标准，使得最终检测的结果更加准确和有效;最后，通过在化doop集群上运行，拥有对海量 网络流记录数据进行异常检测的能力。
【附图说明】
[0083] 图1是本发明一种基于化doop的网络流量异常检测系统结构示意图；
[0084] 图2是基于化doop的网络流量异常检测系统的系统模块组成及其交互图；
[0085] 图3是基于化doop的网络流量异常检测系统的流量采集存储模块的工作流程图；
[0086] 图4是基于化doop的网络流量异常检测系统的训练模块工作流程图；
[0087] 图5是基于化doop的网络流量异常检测系统的离线检测模块工作流程图；
[0088] 图6是训练模块和离线检测模块中的离线赌值计算流程图；
[0089] 图7是基于化doop的网络流量异常检测系统的在线检测模块工作流程图；
[0090] 图8是基于Hadoop的网络流量异常检测系统的在线检测模块的在线赌值计算流程 图；
[0091] 图9是基于化doop的网络流量异常检测系统的微观分析部分的工作流程图；
[0092] 图10是基于化doop的网络流量异常检测系统的离线检测结果显示模块的工作流 程图。
[0093] 图11是基于化doop的网络流量异常检测系统的在线检测结果显示模块的工作流 程图。
【具体实施方式】
[0094] 下面结合说明书附图对本发明做进一步的描述。
[0095] 如图1所示，本发明一种基于化doop的网络流量异常检测系统优先采用一个 化doop集群内加一台独立在线检测主机的模式进行部署，系统中接收流记录数据的主机通 过网络与As的边界路由器进行连接，被动接收流记录数据。
[0096] 如图2所示，本发明一种基于化doop的网络流量异常检测系统，由流量采集存储模 块、训练模块、离线检测模块、在线监测模块、微观分析模块、检测结果显示模块等6个模块 组成。在线采集存储模块为训练模块、离线检测模块、微观分析模块提供流记录数据；训练 模块为离线检测和在线检测模块提供异常检测阔值;微观分析模块可对离线检测模块的运 行结果进行进一步的验证;检测结果显示模块负责显示离线检测、在线检测及微观分析等 模块的运行结果。
[0097] 1、数据采集存储模块
[0098] 流量采集存储模块完成IPFIX网络流量的采集存储工作，数据采集存储模块的工 作流程如图3所示，具体实施步骤如下：
[0099] 步骤1:化doop集群中数据采集存储模块所在的节点从网络中抓取由As边界路由 器主动发送来的IPFIX流记录数据；
[0100] 步骤2:根据IPFIX模版进行解码，并转换成对应的文本格式；
[0101] 步骤3:将转换后的文本文件保存到化doop集群HD!^文件系统下指定的目录。
[0102] 2、训练模块
[0103] 训练模块完成检测阔值的获取工作，训练模块的工作流程图如图4所示，具体实施 步骤如下：
[0104] 步骤1:在MapReduce框架下，对所有参与训练的流记录数据按照图6离线赌值计算 流程图所述步骤计算所有时间片的赌值；
[0105] 步骤2:对经过MapReduce得到的赌值文件进行处理，将4种不同方向的流量分别写 入4个不同的文件；
[0106] 步骤3: W得到的赌值文件为输入，利用FCM聚类算法进行聚类，得到4种不同流量 分别对应的正常类和异常类的中屯、点C和半径r，并将正常类对应的c+a卸作为