最新网络流量模型及分析(最终思路)精品课件

1网络流量模型(móxíng)及 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 第一页，共83页。我们(wǒmen)的工作网络流量相关(xiāngguān)概念网络流量的采集(cǎijí)网络流量模型实例分析1234第二页，共83页。网络流量概念分类测量网络流量的特点(tèdiǎn)自相似性长相关性周期性、突发性、混沌性………网络流量相关(xiāngguān)概念第三页，共83页。网络流量-概念(gàiniàn)网络(wǎngluò)流量就是网络(wǎngluò)上传输的数据量单位时间内通过网络(wǎngluò)设备或者传输介质的信息量报文数数据包数字节数第四页，共83页。网络流量-分类(fēnlèi)上述(shàngshù)三种分类方法，流量的粒度由小到大递增。广泛(guǎngfàn)使用参考文献：Internet流量模型分析与评述_张宾，杨家海，吴建平第五页，共83页。Packet-level的流量分类关注数据包（packet）的特征及其到达过程Flow-level的流量分类由源IP地址、源端口、目的IP地址、目的端口、应用协议组成的五元组Stream-level的流量分类由源IP地址、目的IP地址、应用协议组成的三元组网络流量-测量(cèliáng)主动测量会额外注入流量，被动测量涉及安全性与私密性问题主动测量确定网络整体性能，被动测量故障定位！第六页，共83页。主动向目标链路或目标节点发送探测包测量延迟、带宽、丢包率被动接入网络的测量探针监测、记录网络上的数据情况理想的网络(wǎngluò)测量不影响(yǐngxiǎng)数据包转发的速度完整的流量(liúliàng)监控占用资源少不会泄露用户的隐私速度完整资源安全第七页，共83页。网络(wǎngluò)测量的意义Internet流量工程和网络行为学的研究的依据开发高性能网络设备和 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 网络协议的理论基础开展Qos敏感应用提供Qos保证的前提条件诊断(zhěnduàn)网络的运行状况，进行更好的管理保障网络安全，防范网络攻击运营商针对网络流量进行业务上的收费第八页，共83页。网络流量的特点(tèdiǎn)自相似性长相关性周期性突发性混沌(hùndùn)性采集自台湾地区的台中教育大学网络主节点(jiédiǎn)服务器Incmingartides共计71天的每小时网络流量数据图第九页，共83页。自相似性局部结构与总体结构相比具有某种程度的一致性种类确定(quèdìng)自相似性随机自相似性（网络流量）赫斯特指数（Hurst）确定(quèdìng)自相似性示例第十页，共83页。自相似性-从分布(fēnbù)的角度定义令t代 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 时间，对于所有a>0，一个随机过程(guòchéng){Z(t)}，如果Z{at}与{Z(t)}具有相同的有限维分布，即那么Z(t)是自相似随机过程(guòchéng)。n是正整数，代表n维分布参数H称为Hurst参数参考文献：基于(jīyú)时间相关的网络流量建模与预测研究_高波第十一页，共83页。自相似性-赫斯特指数(zhǐshù)（Hurst）表征自相似特性的一个重要参数当0<H<0.5时，表示负相关，即不具备自相似性高低值交替的趋势持续一段时间（粗糙曲线）当H=0.5时，随机过程呈现为某种“随机游走(yóuzǒu)”状态，即不同时间的状态转换是互不相关的当0.5<H<1时，表示正相关，即具有自相似性维持高值的趋势会持续一段时间（平滑曲线）第十二页，共83页。不同(bùtónɡ)H的分形布朗运动轨迹第十三页，共83页。长相关性与自相似性长相关：反映了自相似过程中的持续现象，即突发(tūfā)特性在所有的时间尺度上都存在的现象两者联系：H≠1/2的稳定自相似随机过程是长相关的，但长相关过程不一定就是自相似的。自相似性偏重于数学表述上的，长相关时侧重于业务量的统计特性。第十四页，共83页。周期性、混沌(hùndùn)性、突发性周期性反映了网络流量时间序列表现出随时间的规律变化混沌性在确定性系统中出现(chūxiàn)的一种类似随机的现象突发性业务量在某一时刻或者一段时间内变化悬殊第十五页，共83页。网络流量的采集(cǎijí)方法[6]NetFlowsFlowRMON端口镜像参考文献：网络流量分析(fēnxī)关键技术研究__任春梅第十六页，共83页。NetFlow将数据报文聚类，汇聚成流，置于缓存中转发的时候对于属于同一个流的连续包，后续报文不做三层处理同步实现对高速转发的IP数据流的测量(cèliáng)和统计集成在路由器中第十七页，共83页。NetFlowAnalyzer第十八页，共83页。sFlow采用数据流随机采样技术，详细、实时地分析网络流的性能、趋势以及存在问题收集到的数据通过sFlow代理进行编码，转交给(jiāoɡěi)中心采集器（已植入设备中）不仅可以对数据包进行IP层分析还可以进行二层分析处理第十九页，共83页。RMONRemoteNetworkMonitoringSNMPMIB两种方法收集数据通过RMON探测器，网管工作站直接获取全部(quánbù)MIB信息，并控制资源将RMON代理植入网络设备，网管工作站用SNMP交换数据第二十页，共83页。SNMP&MIBSNMP（简单网络管理协议）体系结构被管理的设备(shèbèi)SNMP管理器SNMP代理第二十一页，共83页。SNMP与MIBMIB（管理信息(xìnxī)数据库）树形结构包含了管理代理中的有关配合和性能的数据对管理信息(xìnxī)进行读写操作就可以完成管理第二十二页，共83页。端口镜像无损复制(fùzhì)、镜像采集配置交换机或路由器把一个或者多个端口的数据转发到某一个端口来实现对网络监听要监听所有流量，难度巨大，性能要求高第二十三页，共83页。四种流量采集(cǎijí)技术的比较NetFlow：对主机间流量描述精确性接近100%，但是无法做深度检测基于软件架构，配置方便、安装简单利用汇集方式监测，适用于广域网间sFlow：速度快，实时性好分析过程对性能有一定(yīdìng)要求利用随机采样方式监测，适用于局域网间RMON/SNMP：信息准确，读取方便对每个数据帧都会进行分析，增加负载端口镜像 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 简单，无传输延迟处理时性能要求高第二十四页，共83页。网络流量建模原则(yuánzé)以流量的重要特性为出发点设计流量模型以刻画实际流量的突出(tūchū)特性进行数学上的研究参考文献：Internet流量模型(móxíng)分析与评述_张宾，杨家海，吴建平第二十五页，共83页。流量模型(móxíng)的发展历程传统模型（短相关）自相似模型（长相关）流量模型的新发展泊松模型马尔科夫模型回归模型重尾分布的ON/OFF模型M/G/∞排队模型FBM/FGN模型基于神经网络的模型多分形模型20时期(shíqī)70年代-1994年1994年-2004年2004年泊松回归(huíguī)引发的争论至今第二十六页，共83页。传统（短相关(xiāngguān)）模型泊松(Poisson)模型(móxíng)马尔可夫(Markov)模型(móxíng)回归(regression)模型(móxíng)第二十七页，共83页。泊松(Poisson)模型(móxíng)时间序列t内，包到达的数量(shùliàng)n（t）符合参数为λt的泊松分布：时间间隔序列T呈负指数分布：λ(泊松过程的强度)：单位时间间隔内出现包的数量(shùliàng)的期望,即包到达的平均速率第二十八页，共83页。泊松(Poisson)模型(móxíng)第二十九页，共83页。泊松(Poisson)模型(móxíng)前提：假设网络事件(shìjiàn)(如数据包到达)是独立分布的只与一个单一的速率参数λ有关.第三十页，共83页。泊松(Poisson)模型(móxíng)第三十一页，共83页。优点较好地满足了早期网络的建模需求在网络设计、维护、管理和性能分析等方面发挥了很大的作用。缺点根据泊松流量模型,从不同的数据源汇聚的网络流量将随着数据源的增加而日益平滑,这与实际测试的流量是不符合的。马尔科夫(Markov)模型(móxíng)对于一个给定的状态空间(kōngjiān),表示在n时刻状态的随机变量,如果的概率只依赖于当前的状态，就形成了一个Markov链只有当前的状态用来预测将来，过去(guòqù)对于预测将来是无关的第三十二页，共83页。马尔可夫过程(guòchéng)-实例33贪吃蛇的两种 规则 编码规则下载淘宝规则下载天猫规则下载麻将竞赛规则pdf麻将竞赛规则pdf (guīzé)青蛙(qīngwā)跳荷叶第三十三页，共83页。马尔科夫(Markov)模型(móxíng)第三十四页，共83页。优点在随机过程中引入了相关性，可以在一定程度上捕获业务的突发性马尔科夫方法是一种具有无后效性的随机过程，用途十分广泛缺点只能预测网络的近期流量，而且无法描述网络的长相关性传统模型(móxíng)的缺点实际的数据包和大部分连接的到达是相关联的,并不严格服从泊松分布流量自相似性反映业务在较大时间尺度具有突发性,对缓存的占用较大,导致更大的延时当业务源数目(shùmù)增加时,突发性会被吸收,聚合业务会变得越来越平滑,但却忽略了流量的突发性第三十五页，共83页。流量模型(móxíng)的发展历程传统模型（短相关）自相似模型（长相关）流量模型的新发展泊松模型马尔科夫模型回归模型重尾分布的ON/OFF模型M/G/∞排队模型FBM/FGN模型基于神经网络的模型多分形模型20时期(shíqī)70年代-1994年1994年-2004年2004年泊松回归(huíguī)引发的争论至今第三十六页，共83页。自相似（长相关(xiāngguān)）模型构造建模（物理模型），利用已知的传输知识解释所观察到的数据特征：（重尾分布的）ON/OFF模型M/G/∞排队模型行为(xíngwéi)建模（统计模型），用数据拟合方法模拟所测真实数据的变化趋势：FBM/FGN模型FARIMA模型基于小波的模型第三十七页，共83页。M/G/∞排队模型M：顾客到达(dàodá)时间间隔，呈指数分布（改进后为泊松分布）G：顾客的服务时间，服从帕累托Pareto分布(重尾分布)∞：服务器数量，无限大适用于视频流量模型第三十八页，共83页。M/G/∞排队模型第三十九页，共83页。优点排队系统的角度解释网络流量产生自相似的原因适合于分析自相似网络流量输入时的排队性能缺点假设服务器一直处于忙碌中，对网络流量的突发性描述方面存在不足最早由B.Mandelbrot和J.M.Berger两人于上世纪六十年代在有酬更新过程（rewardrenewalprocess）的基础之上构造出来，随后(suíhòu)Taqqu和Levy扩展了该模型的构造方法。实质：将大量的ON/OFF数据源生成的流量叠加在一起ON/OFF模型(móxíng)参考文献：基于时间(shíjiān)相关的网络流量建模与预测研究_高波第四十页，共83页。ON/OFF模型(móxíng)第四十一页，共83页。ON/OFF模型(móxíng)ON/OFF模型：每个发送源都有两个(liǎnɡɡè)周期交替的ON和OFF状态，即发送数据状态和不发送数据状态：发送数据包的速率第四十二页，共83页。重尾分布(fēnbù)重尾分布：一种比正态分布还要广泛的的随机变量分布，体现在少量个体做出大量(dàliàng)贡献Pareto法则（80/20法则）：最重要的通常只占其中一小部分直观特征：大头短+小尾长。第四十三页，共83页。帕累托分布(fēnbù)（Pareto）在重尾分布(fēnbù)当中，Pareto分布(fēnbù)是相对简单的一种分布(fēnbù)，令参数a>0，k>0，则Pareto分布(fēnbù)概率密度函数f(x)是如下描述的分段函数第四十四页，共83页。结论：当多个独立同分布的ON/OFF数据源流量叠加时，如果ON状态或者OFF状态的持续时间服从(fúcóng)重尾分布，那么叠加流量将具有自相似性[39]帕累托分布(fēnbù)（Pareto）第四十五页，共83页。重尾分布(fēnbù)的ON/OFF模型第四十六页，共83页。优点可以解释产生自相似的部分原因，有助于深入地了解自相似的本质缺点各个源端必须是独立同分布的,且输出速率为常数与实际网络业务不符，适用范围受限C，即Convergence，表示趋同性网络趋同性说明：以往的ON/OFF模型中对于各个ON/OFF源之间独立同分布的假设变得不切实际，导致ON/OFF模型生成流量的合成流量的自相关(xiāngguān)函数并不满足实际网络流量的长相关(xiāngguān)特性C-ON/OFF模型(móxíng)第四十七页，共83页。1、根据Internet中广泛存在的趋同性改进现有的ON/OFF模型，使各源之间具有一定的相关性，讨论各源之间相关性与合成流量(liúliàng)长相关性的关系2、建立基于ON/OFF模型的具有趋同性的新网络流量(liúliàng)模型。3、使用归一化子协方差函数和Hurst参数验证实验(shíyàn)步骤第四十八页，共83页。假设ON/OFF模型中有N个ON/OFF源，每个ON/OFF源产生的流量分别是X1(m)、X2(m)、……、XN(m)，其中m为整数离散时间，m0。这N个源生成(shēnɡchénɡ)流量的合成流量X(m)为：设n为时间间隔，n为大于等于零的整数，那么，X(m)的自相关函数为：理论(lǐlùn)验证第四十九页，共83页。N个独立同分布ON/OFF源的合成流量(liúliàng)的自协方差函数与每个源流量(liúliàng)自协方差函数的关系：其中c(n)是合成流量(liúliàng)的自协方差函数，ci(n)是每个源流量(liúliàng)的自协方差一系列数学(shùxué)推导第五十页，共83页。V.Paxson等人[34]指出，ON周期(zhōuqī)或OFF周期(zhōuqī)的持续时间具有轻尾分布的ON/OFF模型在独立同分布条件下产生的合成流量是短相关流量结论1：当ON/OFF结构模型满足独立同分布、ON周期(zhōuqī)或OFF周期(zhōuqī)持续时间呈轻尾分布时，源产生的流量具有短相关性质结论(jiélùn)1第五十一页，共83页。各个源产生流量的自协方差函数与互协方差函数说明：由于(yóuyú)各个源之间不独立，因此第二项必不为零结论2：单个流量之间的互协方差是否可加将直接决定聚合流量自协方差函数是否可加，即各源生成流量之间的互相关性的强弱决定了合成流量自协方差的可加性当On或者(huòzhě)Off持续周期不独立第五十二页，共83页。当ON/OFF结构模型满足独立同分布、ON周期或OFF周期持续时间呈轻尾分布时，源产生的流量具有短相关(xiāngguān)性质只要满足独立同重尾分布这个条件，无论单个流量还是合成流量都是长相关(xiāngguān)流量如果各源之间不独立，具有一定相关(xiāngguān)性，那么，对于重尾分布来说，合成流量必然长相关(xiāngguān)理论(lǐlùn)论证之结论第五十三页，共83页。归一化自协方差函数(hánshù)，又称自相关系数Hurst参数估值两种验证(yànzhèng)方法第五十四页，共83页。实验(shíyàn)条件控制轻尾分布重尾分布数据源独立独立，轻尾独立，重尾数据源不独立不独立，轻尾不独立，重尾第五十五页，共83页。第一组：ON/OFF模型各源的ON、OFF状态周期均呈轻尾分布，且各源之间相互独立。第二组：ON/OFF模型各源的ON、OFF状态周期均呈轻尾分布（指数分布），但各源之间不独立，具有一定(yīdìng)相关性第三组：ON/OFF模型各源的ON、OFF状态周期均呈重尾分布（选取Pareto分布作为重尾分布的代表），且各源之间相互独立第四组：ON/OFF模型各源的ON、OFF状态周期均呈重尾分布（Pareto分布），各源之间不独立，具有一定(yīdìng)相关性实验条件(tiáojiàn)设置第五十六页，共83页。归一自协方差验证(yànzhèng)结论第五十七页，共83页。Hurst参数估值验证(yànzhèng)结论第五十八页，共83页。构造(gòuzào)新模型C-On/off第五十九页，共83页。条件设置1）固定n，观察C-ON/OFF模型生成(shēnɡchénɡ)流量的归一化自协方差随N值的变化情况；2）固定N，观察C-ON/OFF模型生成(shēnɡchénɡ)流量的归一化自协方差随n值的变化情况。使用(shǐyòng)C-on/off模型测试第六十页，共83页。实验(shíyàn)结果（n固定）第六十一页，共83页。实验(shíyàn)结果（N固定）第六十二页，共83页。Hurst验证(yànzhèng)新模型第六十三页，共83页。Hurst验证(yànzhèng)新模型第六十四页，共83页。首先通过理论分析证明了如下结论：在经典ON/OFF模型的基础上加入各ON/OFF源之间的相关性，可以在ON周期和OFF周期持续时间分布为轻尾分布的条件下产生长相关性质的流量然后对上述结论进行了仿真验证，仿真结果表明：在ON/OFF模型各源之间增加相关性之后，即使ON/OFF模型的ON周期和OFF周期持续时间呈轻尾分布，合成流量依然具有长相关性；若ON周期和OFF周期持续时间呈重尾分布，那么各源之间的相关性将加剧(jiājù)合成流量的自相似程度，表现为Hurst参数值的增加C-on/off结论(jiélùn)第六十五页，共83页。流量模型(móxíng)的发展历程传统模型（短相关）自相似模型（长相关）流量模型的新发展泊松模型马尔科夫模型回归模型重尾分布的ON/OFF模型M/G/∞排队模型FBM/FGN模型基于神经网络的模型多分形模型20时期(shíqī)70年代-1994年1994年-2004年2004年泊松回归引发(yǐnfā)的争论至今第六十六页，共83页。2004年,Karagiannis等人通过分析Tier1ISP的骨干链路流量发现,目前高带宽和高聚合的链路流量在极小尺度下近似泊松过程,从而引发了人们对网络流量特征及建模的新思索和争论之所以这样划分,并不表示近时期的流量模型不具有自相似的特征,主要是为了更清晰(qīngxī)地了解近些年网络流量模型的发展情况流量(liúliàng)建模新发展第六十七页，共83页。近年其他(qítā)模型的发展流量预测模型基于神经网络的模型混沌理论模型模糊理论模型混合(hùnhé)模型多分形模型第六十八页，共83页。展望流量模型(móxíng)的发展目前的网络模型基本都基于流量时间序列的自相似特性，未来(wèilái)是否还会有别的特性发现？目前的流量均基于时间特性，是否将来会考虑空间特性？网络流量的小尺度行为的研究新的物理模型的发展模型的简单和精确性发展第六十九页，共83页。（1）节点1：为整个校区的网络出口处，是整个校区的流量总和(zǒnghé)，具有最高汇聚度（2）节点2：为汇聚层中一个子网络结构的总流量，该子网络节点的总流量是3个子网络中流量最小的（3）节点3：为汇聚层中一个子网络结构的总流量，该子网络节点的流量是3个子网络中流量最大的（4）节点4：为最下层路由器连接的交换机的流量总和(zǒnghé)实例(shílì)分析：校园网[7]第七十页，共83页。采用被动测量技术，并对采集的报文抽样统计。运用Solarwinds软件对校园网流量信息进行抽样测量。根据每30min的时间间隔来完成(wánchéng)对校园网流量数据信息的采集。校园网流量(liúliàng)测量参考文献：校园网络流量分析与预测(yùcè)研究_张昕第七十一页，共83页。基于(jīyú)BP神经网络的流量预测BP神经网络算法的训练步骤如下：（1）样本分类。把样本分为训练样本和测试样本，训练样本用于训练网络，测试样本用于测试网络预测性能。（2）网络初始化。随机初始化BP神经网络的权值和阈值，设置网络学习速率α。（3）预测输出。把训练样本输入网络，计算网络预测输出并计算网络预测输出和期望输出的误差e。（4）权值修正(xiūzhèng)。根据误差e修正(xiūzhèng)网络权值和阈值，从而使网络预测值逼近期望值。（5）判断算法是否结束，如没有结束，返回步骤3，继续运行。sigmoid第七十二页，共83页。基于BP神经网络的流量(liúliàng)预测学习(xuéxí)速率α取0.1第七十三页，共83页。基于BP神经网络的流量(liúliàng)预测在网络训练达到50次时训练的均方误差为0.108142，在训练达到500次时均方误差为0.106294，实际上，当训练达到220次时均方误差基本没有变化(biànhuà)，说明此时训练次数的增加并不能改善网络流量的预测性能。第七十四页，共83页。基于小波神经网络的流量预测(yùcè)模型将小波分析和神经网络直接结合，把神经网络隐含层的传输函数用小波函数代替，大多数前向多层神经网络都是基于Sigmoid函数的基函数网络，用这种网络作函数逼近时，由于Sigmoid函数自身(zìshēn)的局限性使得其是一种次优网络。把神经网络隐含层的传输函数用小波函数代替，这样的结合从本质上改变了预测模型的结构，在不影响预测精度的前提下，缩短了模型的训练时间，提高了训练的速度,克服了神经网络容易陷入局部次优的缺点，且算法易实现、易应用和易推广。Morlet母小波基函数(hánshù)：第七十五页，共83页。基于小波神经网络的流量(liúliàng)预测模型第七十六页，共83页。基于小波神经网络的流量(liúliàng)预测模型第七十七页，共83页。基于小波神经网络的流量预测(yùcè)模型本节实验采用松散型小波神经网络模型进行流量预测。首先运用(yùnyòng)小波对采集的数据流量序列进行小波分解，此处选择haar小波对流量进行3层小波分解第七十八页，共83页。基于小波神经网络的流量(liúliàng)预测模型在本实验中采用的小波神经网络结构为4-9-1。网络权值的初值是在参数初始化时随机(suíjī)得到。本实验对小波神经网络反复进行500次训练第七十九页，共83页。校园网网络流量分析(fēnxī)流量分析步骤(bùzhòu)：选择一种方法采集流量选择一种或多种流量分析模型对采集到的流量的预处理划分训练集、测试集对元数据做必须的映射处理分解元数据，分面处理训练模型，分析并预测第八十页，共83页。参考文献（1）基于时间相关的网络流量建模与预测研究——高波Internet流量模型分析与评述——张宾,杨家海,吴建平自相似网络流量模型研究——王晖，季振洲，朱素霞网络流量模型与流量预测技术(jìshù)研究——张久坤校园网络流量分析与预测研究——张昕网络流量分析关键技术(jìshù)研究——任春梅校园网络流量自相似性分析与研究——张浩第八十一页，共83页。参考文献（2）WideAreaTraffic:TheFailureofPoissonModeling——PaxsonV,FloydS.ANewModelforErrorClusteringinTelephoneCircuits——BergerJM,MandelbrotBRenewalRewardProcesseswithHeavy-TailedInter-RenewalTimesandHeavy-TailedRewards——LevyJB,TaqquMS.第八十二页，共83页。Thankyou！第八十三页，共83页。