第三章基于数据驱动的故障诊断方法

控制系统的故障诊断与容错控制自动化专业本科生选修课主讲教师：邓方副教授复杂系统智能控制与决策国家重点实验室北京理工大学自动化学院模式识别与智能系统研究所第三章基于数据驱动的故障诊断 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 作业检查1、数学模型的故障诊断方法的主要步骤是什么？2、主要方法有哪些？控制系统的故障诊断与容错控制‹#›第三章基于数据驱动的故障诊断方法一、基本原理及主要步骤二、基于神经网络的故障诊断四、基于小波分析的故障诊断三、基于支持向量机的故障诊断控制系统的故障诊断与容错控制‹#›几个问题：1、当我们不知道对象的数学模型时，如何进行故障诊断？2、即使知道模型，但无法精确描述时，又怎么办？3、我们手里只有大量的监测数据或传感器数据时，怎么办？基于数据驱动的故障诊断！！一、基于数据驱动的故障诊断控制系统的故障诊断与容错控制‹#›基于数据驱动故障诊断的基本原理是利用机器学习、统计分析、信号分析等方法直接对大量的离、在线过程运行数据进行分析处理，找出故障特征、确定故障发生原因、发生位置及发生时间的方法。一、基于数据驱动的故障诊断—主要原理控制系统的故障诊断与容错控制‹#›一、基于数据驱动的故障诊断—主要方法统计分析方法主元分析（PrincipalComponentAnalysis,PCA）、偏最小二乘（PartialLeastSquares,PLS）、Fisher判别分析等统计学习方法支持向量机（SVM）、Kernel学习等数字信号处理方法谱分析、小波分析等人工智能方法神经网络、粗糙集、模糊推理、专家系统等控制系统的故障诊断与容错控制‹#›无需知道系统精确的解析模型，它所处理也可以说它所面对的对象只有一个——数据。不需要对诊断对象进行定性描述。数据容易得到，但模型和定性知识不易获得。非常适合现有的工业生产和设备控制的结构、形式，软件和硬件系统。满足大数据时代到来的需要。一、基于数据驱动的故障诊断—主要特点控制系统的故障诊断与容错控制‹#›一、基于数据驱动的故障诊断—主要步骤数据采集离线在线预处理数据特点数据的简单处理数据处理统计特性特征分类数据模型故障诊断阈值分析故障分类残差分析控制系统的故障诊断与容错控制‹#›第三章基于数据驱动的故障诊断方法一、基本原理及主要步骤二、基于神经网络的故障诊断四、基于小波分析的故障诊断三、基于支持向量机的故障诊断控制系统的故障诊断与容错控制‹#›通过对控制系统故障问题建立相应的神经网络诊断系统，根据系统输入的数据（即系统故障）可以直接得到输出数据（即故障产生的原因），从而实现故障的诊断。二、基于神经网络的故障诊断—主要概念主要过程控制系统的故障诊断与容错控制‹#›神经网络对故障情况具有记忆、联想和推测的能力，能够进行自学习，并且拥有非线性处理能力，因此在非线性系统故障诊断中得到越来越多的重视。神经网络技术的出现，为故障诊断问题提供了一种新的解决途径。特别是对复杂系统，由于基于解析模型的故障诊断方法面临难以建立系统模型的实际困难，基于知识的故障诊断方法成了重要的、也是实际可行的方法。故障诊断神经网络实现的功能实质用系统辨识、函数逼近、模式识别和回归分析等理论解释都是一致的。二、基于神经网络的故障诊断—主要特点控制系统的故障诊断与容错控制‹#›(1)神经网络诊断系统对于特定问题建立的神经网络故障诊断系统，可以从其输入数据（代 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 故障症状）直接推出输出数据（代表故障原因）。(2)采用神经网络残差的方法利用系统的输入重构某些待定 参数 转速和进给参数表a氧化沟运行参数高温蒸汽处理医疗废物pid参数自整定算法口腔医院集中消毒供应 ，并与系统的实际值作比较，得到残差。(3)采用神经网络评价残差的方法这种方法是利用神经网络对残差进行聚类分析。(4)采用神经网络作进一步诊断直接用神经网络来拟合系统性能参数与执行器饱和故障之间的非线性关系，神经网络的输出即对应执行器的故障情况。二、基于神经网络的故障诊断—主要方法控制系统的故障诊断与容错控制‹#›(5)采用神经网络做自适应误差补偿的方法其中的非线性补偿项由神经网络实现。(6)采用模糊神经网络的故障诊断在普通的神经网络的输入层加入模糊化层，在输出层加入反模糊化层。较一般神经网络有更高的诊断率。(7)采用小波神经网络的故障诊断一是小波变换与常规神经网络相结合，比较典型的是利用小波分析对信号进行预处理，然后用神经网络进行学习与判断；另一种途径是小波分析与前馈神经网络融合的小波网络，即把小波分析的运算融入到神经网络中去。二、基于神经网络的故障诊断—主要方法控制系统的故障诊断与容错控制‹#›1986，Rumelhart和McCelland领导的科学家小组在《ParallelDistributedProcessing》一书中提出的BP(BackPropagation)算法又称为反向或向后传播算法。使用BP算法进行学习的多级非循环网络称为BP网络。BP算法利用输出层的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此下去，就获得了所有其他各层的误差估计。2.1.1BP神经网络模型的基本思想二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›BP算法是非循环多级网络的训练算法。BP算法的收敛速度非常慢，在高维曲面上局部极小点逃离。BP算法的出现结束了多级神经网络没有训练算法的历史，对神经网络的第二次高潮的到来起到很大的作用。BP算法具有广泛的适用性。2.1.2BP神经网络模型—基本特征和意义二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›X=(x1,x2,…,xn)W=(w1,w2,…,wn)net=xiwinet=XW神经元网络输入：x1x2xnnet=XWw1w2wn2.1.3BP神经网络模型—构成神经元二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›按照算法要求，神经元的激励函数必须是处处可导的通常取S型函数：x1x2xnnet=XWw1w2wno=f(net)1o=f(net)=1+e-netf’(net)=o(1-o)neto(0,0.5)(0,0)2.1.4BP神经网络模型—激励函数二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›BP算法适用于非循环多级网络的训练x1x2xno1o2om...但在说明BP算法的具体原理时，只需一个二级网络x1x2xno1o2om2.1.5BP神经网络模型—网络的拓扑结构二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›设网络有n层，第h(1<=h<=n)层神经元的个数为Lh,该层神经元的激活函数用Fn表示，联结矩阵用W(h)表示。输入向量和输出向量的维数由问题直接决定，而层数和各层神经元的个数则与问题相关。目前还很难确定它们与问题类型和规模的关系。隐藏层数及其神经元个数的增加不一定能够提高网络精度和表达能力。BP网一般都选二级网络。2.1.6BP神经网络模型—网络的拓扑结构二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›1、样本集（输入向量，理想输出向量）--实际系统采集2、向前传播阶段(1)从样本集中取一个样本(Xp，Yp)，将Xp输入网络；(2)计算相应的实际输出Op；3、向后传播阶段(1)计算实际输出Op与理想输出Yp的差；(2)根据这个误差，按极小化误差方式调整权矩阵；2.1.7BP神经网络模型—BP网络训练过程二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›2.2基于BP网络的齿轮箱故障诊断下面以某齿轮箱为 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 背景，利用MATLAB的神经网络工具箱，基于BP网络进行齿轮箱故障诊断。很多故障出现于变速箱中齿轮即传动轴等机械系统中。传统的齿轮箱故障诊断手段往往依赖于专家的经验判断。但是，由于齿轮箱是一个非常复杂的传动机构，它的故障模式和特征向量之间是一种非常复杂的非线性关系，仅仅依靠专家经验并不能解决所有的诊断问题。而神经网络的自适应、自学习和对非线性系统超强的分析能力，使得它可以适用于齿轮箱的故障诊断。二、基于神经网络的故障诊断—诊断实例2.2.1对象描述控制系统的故障诊断与容错控制‹#›2.2.2输入和目标向量 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 神经网络输入的确定实际上就是特征向量的提取。对于特征向量的选取，主要考虑它是否与故障有比较确定的因果关系，如果输入/输出征兆参数和故障没有任何关系，就不能建立它们之间的联系。统计表明，齿轮箱故障中有60%左右都是由齿轮故障导致的，所以在这里只讨论齿轮故障的诊断。二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›对于齿轮的故障这里选取了频域中的几个特征量。频域中齿轮故障比较明显的是在啮合频率处的边缘带上。所以，在频域特征信号的提取中选取了在2、4、6档时，在1、2、3轴的边频带族fs±nfz处的幅值Ai,j1、Ai,j2和Ai,j3，其中fs表示齿轮的啮合频率，fz是轴的转频，n=1,2,3，i=2,4,6表示档位，j=1,2,3表示轴的序号，由于在2轴和3轴上有两对齿轮啮合，所以用1、2分别表示两个啮合频率。这样，网络的输入就是一个15维的向量。由于这些数据具有不同的单位和量级，所以在输入神经网络之前应该首先进行归一化处理。下表给出了输入向量的9组数据，它们都是已经归一化后的样本数据。二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›数据序号特征样本齿轮状态10.22860.12920.0720.15920.13350.07330.11590.0940.05220.13450.0090.1260.36190.0690.1828无故障20.2090.09470.13930.13870.25580.090.07710.08820.03930.1430.01260.1670.2450.05080.1328无故障30.04420.0880.11470.05630.33470.1150.14530.04290.18180.03780.00920.22510.15160.08580.067无故障40.26030.17150.07020.27110.14910.1330.09680.19110.25450.08710.0060.17930.10020.07890.0909齿根裂纹50.3690.22220.05620.51570.18720.16140.14250.15060.1310.050.00780.03480.04510.07070.088齿根裂纹60.03590.11490.1230.5460.19770.12480.06240.08320.1640.10020.00590.15030.18370.12950.07齿根裂纹70.17590.23470.18290.18110.29220.06550.07740.22730.20560.09250.00780.18520.35010.1680.2668断齿80.07240.19090.1340.24090.28420.0450.08240.10640.19090.15860.01160.16980.36440.27180.2494断齿90.26340.22580.11650.11540.10740.06570.0610.26230.25880.11550.0050.09780.15110.22730.322断齿表1齿轮箱状态样本数据二、基于神经网络的故障诊断—诊断实例接下来确定网络的输出模式，由于齿轮包括3种故障模式，因此可以采用如下的形式来表示输出：无故障：（1，0，0）；齿根裂纹：（0，1，0）；断齿：（0，0，1）。二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›2.2.3、BP网络设计（1）网络创建BP网络模型结构的确定有两条比较重要的指导原则：1）对于一般的模式识别问题，三层网络可以很好地解决。2）三层网络中，隐含层神经元个数n2和输入层神经元个数n1之间有以下近似关系：n2＝2n1+1由此，可按照如下的方式设计网络：网络的输入层神经元个数为15个，输出层神经元个数为3个，隐含层的神经元个数近似为31个。隐含层的神经元个数并不是固定的，需要经过实际训练的检验来不断调整。二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›（2）网络的训练和测试网络输入向量范围为[0,1]，隐含层神经元的传递函数采用S型正切函数tansig，输出层神经元传递函数采用S型对数函数logsig。网络训练过程是一个不断修正权值和阈值的过程，通过调整，使网络的输出误差达到最小，满足实际应用的要求。采用训练函数trainlm，它是利用Levenberg-Marquardt算法对网络进行训练的。二、基于神经网络的故障诊断—诊断实例2.2.3、BP网络设计控制系统的故障诊断与容错控制‹#›BP网络建立和训练的相关程序：P=[0.22860.12920.0720.15920.13350.07330.11590.0940.05220.13450.0090.1260.36190.0690.1828;0.2090.09470.13930.13870.25580.090.07710.08820.03930.1430.01260.1670.2450.05080.1328;0.04420.0880.11470.05630.33470.1150.14530.04290.18180.03780.00920.22510.15160.08580.067;0.26030.17150.07020.27110.14910.1330.09680.19110.25450.08710.0060.17930.10020.07890.0909;0.3690.22220.05620.51570.18720.16140.14250.15060.1310.050.00780.03480.04510.07070.088;0.03590.11490.1230.5460.19770.12480.06240.08320.1640.10020.00590.15030.18370.12950.07;0.17590.23470.18290.18110.29220.06550.07740.22730.20560.09250.00780.18520.35010.1680.2668;0.07240.19090.1340.24090.28420.0450.08240.10640.19090.15860.01160.16980.36440.27180.2494;0.26340.22580.11650.11540.10740.06570.0610.26230.25880.11550.0050.09780.15110.22730.322]‘;输入向量二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›T=[100;100;100;010;010;010;001;001;001]‘;目标向量threshold=[01;01;01;01;01;01;01;01;01;01;01;01;01;01;01];定义输入向量的最大最小值net=newff(threshold,[31,3],{‘tansig’,’logsig’},’trainlm’);创建一个BP网络net.trainParam.epochs=1000;net.trainParam.goal=0.01;LP.lr=0.1;学习速率为0.1net=train(net,P,T);二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›网络训练后如果网络性能达到要求，即可对训练好的网络进行测试。抽取3组新的数据作为网络的测试输入数据，如下表2所示数据序号特征样本齿轮状态100.21010.0950.12980.13590.26010.10010.07530.0890.03890.14510.01280.1590.24520.05120.1319无故障110.25930.180.07110.28010.15010.12980.10010.18910.25310.08750.00580.18030.09920.08020.1002齿根裂纹120.25990.22350.12010.11710.11020.06830.06210.25970.26020.11670.00480.10020.15210.22810.3205断齿表2测试数据二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›测试程序：P_test=[0.21010.0950.12980.13590.26010.10010.07530.0890.03890.14510.01280.1590.24520.05120.1319;0.25930.180.07110.28010.15010.12980.10010.18910.25310.08750.00580.18030.09920.08020.1002;0.25990.22350.12010.11710.11020.06830.06210.25970.26020.11670.00480.10020.15210.22810.3205]';Y=sim(net,P_test)测试结果：经过训练后的网络，可以满足齿轮箱故障诊断的要求。二、基于神经网络的故障诊断—诊断实例控制系统的故障诊断与容错控制‹#›第三章基于数据驱动的故障诊断方法一、基本原理及主要步骤二、基于神经网络的故障诊断四、基于小波分析的故障诊断三、基于支持向量机的故障诊断控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—理论基础3.1传统机器学习（以神经网络为代表）理论缺陷小样本问题高维问题结构选择问题局部极值问题针对传统机器学习方法的种种问题，Vapnik提出了统计学理论，专门研究小样本情况下机器学习规律。支持向量机正是基于此理论提出的。控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—理论基础 置信范围是关于学习机器的VC维h及训练样本数n的函数，关系如右图：3.2支持向量机的主要思想控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—理论基础对一个指标函数集，如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H。VC维反映了函数集的学习能力，VC维越大则学习机器越复杂（容量越大），目前尚没有通用的关于任意函数集VC维计算的理论，只对一些特殊的函数集知道其VC维。例如在N维空间中线形分类器和线形实函数的VC维是N+1，二维平面中3个点可以所有可能23=8种形式分开。VC维（Vapnik-Chervonenkistheory）控制系统的故障诊断与容错控制‹#›3个样本被线性分类器打散的情况三、基于支持向量机的故障诊断—理论基础为使真实风险的上界尽可能小：方法一先确定学习机器的结构，使VC维h固定，样本数n确定情况下，保证置信范围固定，然后再最小化经验风险。方法二保持经验风险值固定，然后再最小化置信范围。神经网络支持向量机3.2支持向量机的主要思想控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—理论基础支持向量机（supportvectormachine，SVM）是由Vapnik于1995年在统计学习理论基础上提出的一种新的机器学习方法。通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。有效地克服了“维数灾难”，避免了局部最优解，在解决小样本、非线性及高维模式识别问题中表现出了许多特有的优势，并能应用推广到函数拟合等其他机器学习中，目前已经成为机器学习领域研究的一个热点。3.2支持向量机的主要思想控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—理论基础设向量属于半径R的球中，Δ为超平面分类间隔，根据定理，VC维的上界为：可以通过最大化分类超平面的分类间隔Δ来间接最小化VC维h的上界，支持向量机正是基于这种思想。 3.2支持向量机的主要思想控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—支持向量分类3.3线性支持向量机（1）线性可分原始的支持向量机解决两类分类问题，其理论基础的核心是VC维理论和结构风险最小化原则，其算法的主要思想是建立一个超平面作为决策面，使得离它最近的两类样本隔离边缘被最大化，如图：控制系统的故障诊断与容错控制‹#›什么是分类超平面？定义了一个超平面Hw是超平面H的法向量,决定超平面的方向；b决定超平面的位置在两类分类问题中，通常用g(x)表示分类平面。对样本x来说：g(x)>0表示一类；g(x)<0表示另一类。三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›什么是分类超平面？X表示成xp：x在H上的投影向量r：是x到H的垂直距离w/||w||：是w方向上的单位向量即：三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#› 三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›许多决策平面都可以将两类样本分开我们应该选择哪一个呢？Class1Class2三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›假定划分直线的法方向已经给定，如图所示。直线H1是一条以w’为法向量且能正确划分两类样本的直线。显然这样的直线并不唯一，如果平行地向右上方或左下方推移直线H1，直到碰到某类训练点。这样就得到了两条极端直线H2和H3，在直线H2和H3之间的平行直线都能正确划分两类。显然在H2和H3中间的那条直线H为最好。Class1Class2H2H3W’H1H三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›以上给出了在已知法向量w’的情况下构造划分直线的方法。这样就把问题归结为寻求法向量w的问题。假如此时H表示为，因为其在中间，显然H2可以表示为:H3表示为Class1Class2H2H3W’H1H三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›两边同除以k,令则H为H2为H3为那么此时两条直线H2和H3之间的间隔为：2/||w||。这个过程称为划分直线的规范化过程。如前所述，对于适当的法向量，会有两条极端的直线，这两条直线之间有间隔，最优分类直线就应该是间隔最大的那个法向量所表示的直线。Class1Class2H3W’H1HH2三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›分类平面应该使两类之间的间隔应该最大。Class1Class2mwTxi+b≥1ifyi=1wTxi+b≤-1ifyi=-1三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#› 三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#› 三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#› 三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›原始问题与对偶问题解的关系：原始问题对偶问题三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›KKT(Karush-Kuhn-Tucker)条件与支持向量对于这样的样本，我们称为支持向量（SupportVectors），它将使得对于取值不为零的KKT条件对偶问题的解是最优解的前提条件是：三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›最优超平面是支持向量的线性组合SVM的解的表达式可以重写为：支持向量机的判别函数：三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›几点说明分类平面由支持向量确定。也就是说只需少量样本就可构成最优分类面。最优分类面只用到内积运算。Vapnik证明线性分类器的VC维满足下式r为包络训练数据的最小球半径。这说明我们在使分类面正确划分训练样本同时，又最小化了分类面的vc维！体现了结构风险最小化的思想，所以具有较好的泛化能力。三、基于支持向量机的故障诊断—线性可分控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—主要优点解决小样本学习问题——它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值。实现的是结构风险最小化，在对给定的数据逼近的精度（经验风险）和逼近函数的复杂性（置信区间）之间寻求折中，以期获得最好的推广能力。解决局部极值问题——算法最终将转化成为一个二次型寻优问题，从理论上说，得到的结果是全局最优点，解决了在神经网络方法中无法避免的局部极值问题。3.4支持向量机的主要优点控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—主要优点解决高维问题——算法将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数。支持向量机通过具有特殊性质的核函数巧妙地避免了直接在高维空间中处理问题，从而使计算的复杂性基本不增加。解决结构选择难题——支持向量机的结构非常简单，从表面上看，它类似于三层前馈神经网络。但实际上它与神经网络有着根本性的不同。简单地说，支持向量机的隐层是随着所要解决的问题和规模而自动调节的，从而使学习机器的复杂度总是与实际问题相一致，因而可以自适应地解决各种不同的问题。3.4支持向量机的主要优点控制系统的故障诊断与容错控制‹#› 三、基于支持向量机的故障诊断—广义线性可分控制系统的故障诊断与容错控制‹#›Class1Class2三、基于支持向量机的故障诊断—广义线性可分控制系统的故障诊断与容错控制‹#› C越大，ξ被压制，经验风险小三、基于支持向量机的故障诊断—广义线性可分控制系统的故障诊断与容错控制‹#›xi=0如果xi没有错分xi是优化理论中的松弛变量最小化C:在分类误差和最大间隔之间的折衷参数即为下列问题wTxi+b1-iyi=1wTxi+b-1+iyi=-1i0iMinimizeSubjecttoyi(wTxi+b)1-ii0三、基于支持向量机的故障诊断—广义线性可分控制系统的故障诊断与容错控制‹#›max最终的解方程三、基于支持向量机的故障诊断—广义线性可分控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—广义线性可分控制系统的故障诊断与容错控制‹#›x1=(0,0),y1=+1x2=(1,0),y2=+1x3=(2,0),y3=-1x4=(0,2),y4=-1可调用Matlab中的二次规划程序，求得1,2,3,4的值，进而求得w和b的值。三、基于支持向量机的故障诊断—广义线性可分控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—广义线性可分x1=(0,0),y1=+1x2=(1,0),y2=+1x3=(2,0),y3=-1x4=(0,2),y4=-1控制系统的故障诊断与容错控制‹#›C不同带来的影响三、基于支持向量机的故障诊断—广义线性可分控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—非线性可分 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—非线性可分控制系统的故障诊断与容错控制‹#›为什么向高维空间变换？变换后的线性变换相应于原空间的非线性变化变换后分类问题可轻松解决。三、基于支持向量机的故障诊断—非线性可分控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—非线性可分 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—非线性可分 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—非线性可分控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—非线性可分 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—非线性可分控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—非线性可分SVM有多种核函数，所以在设计支持向量机时，其中的一个重要步骤就是核函数的选择及其参数的设置。Vapnik等人在研究中发现，不同的核函数对支持向量机性能的影响不大，反而核函数的参数和规则化参数（也有称之为误差惩罚因子）C是影响SVM性能的关键因素。核函数参数与惩罚因子C对所建立SVM网络模型的学习性能和泛化能力等起着关键性的作用。核函数的特点控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—非线性可分控制系统的故障诊断与容错控制‹#›假设有5个一维的数据点x1=1,x2=2,x3=4,x4=5,x5=6,其中1,2,6为分类1，4,5为分类2y1=1,y2=1,y3=-1,y4=-1,y5=1使用2维的多项式核函数K(xi,xj)=(xixj+1)2首先由下列条件求αi(i=1,…,5)Subjectto:i>0三、基于支持向量机的故障诊断—非线性可分控制系统的故障诊断与容错控制‹#›采用二次规划求解器求解得a1=0,a2=2.5,a3=0,a4=7.333,a5=4.833所以可以得出支持向量为{x2=2,x4=5,x5=6}判别函数为b由f(2)=1或f(5)=-1或f(6)=1,及x2,x4,x5在yi(wT(z)+b)=1上，解出得b=9f(z)=(2.5)(1)(2z+1)2+7.333(-1)(5z+1)2+4.833(1)(6z+1)2+b=0.663z2–5.334z+bf(x)=0.663x2-5.334x+9三、基于支持向量机的故障诊断—非线性可分控制系统的故障诊断与容错控制‹#›分类函数12456class2class1class1{x=2,x=5,x=6是支持向量}三、基于支持向量机的故障诊断—非线性可分控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—支持向量分类用多个两类分类器实现多类分类直接设计多类分类器一对一支持向量机多类分类算法一对多支持向量机多类分类算法二叉树支持向量机多类分类算法3.8支持向量机多类分类控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—支持向量回归支持向量机最初是作为一个分类机器提出来的，但很快就被推广到用于实函数的拟合问题上，用于函数估计的支持向量机，有人称作支持向量回归（supportvectorregression，SVR），相应的把用于分类的支持向量机称作支持向量分类（supportvectorclassification，SVM）。下面通过介绍最小二乘支持向量机回归原理来了解回归型支持向量机。3.8支持向量回归控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—支持向量回归最小二乘支持向量机(LS_SVM)是由Suyken等人提出，是对支持向量机算法的一种改进。SVM是针对小样本的机器学习算法，在解决大样本问题时，SVM可能要面临一些问题。与标准的支持向量机相比LS_SVM的训练过程也遵循结构风险最小化原则，并且将SVM算法过程中的不等式约束改为等式约束，将经验风险由偏差的一次方改为二次方，将求解二次规划问题转化为求解线性方程组，避免了不敏感损失函数，大大降低了计算复杂度，且运算速度高于一般的支持向量机。控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—支持向量回归 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—支持向量回归 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—诊断应用3.9基于SVR的系统辨识传统的系统辨识方法不足与局限：大都以经典统计学为基础，假设训练样本趋于无穷大时其性能才能达到理论上的最优。因而传统方法在解决小样本问题中表现差强人意。多是基于经验风险最小化，存在“过学习”的问题，即对有限样本进行学习，对数据的拟合精度越高，其推广能力反而越差。控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—诊断应用 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—诊断应用 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—诊断应用训练集的选取核函数类型及其参数的选取规则化参数C的选取损失函数及其参数的选取控制系统的故障诊断与容错控制‹#›系统故障诊断某种程度上可以理解为模式识别过程。设被测对象全部可能发生的状态（正常和故障状态）组成状态空间S,它的可测量特征的取值范围的全体构成特征空间Y。当系统处于某一状态s时，系统具有确定的特征y,即存在映射g:S→Y；反之，一定的特征也对应确定的状态，即存在映射f:Y→S。状态空间与特征空间的关系可用下图表示：Y特征空间S状态空间fg三、基于支持向量机的故障诊断—诊断应用控制系统的故障诊断与容错控制‹#›故障诊断的目的在于根据可测量的特征向量来判断系统处于何种状态，也就是找出映射f。若系统可能发生的状态是有限的，例如可能发生n故障，这里假设系统正常状态为s0,各个故障状态为s1,s2,…sn。当系统处于状态si时，对应的可测量特征向量为Yi=(yi1,…,yim)。故障诊断过程就是由特征向量y=(y1,…,ym),求出它所对应的状态s的过程。这样，故障诊断过程就变成了按特征向量对被测系统进行状态分类的模式识别问题。故障诊断通常不具备大量的故障样本，是个典型的小样本问题，给svm提供了用武之地。三、基于支持向量机的故障诊断—诊断应用控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—诊断应用3.10基于SVR的故障诊断*基于在线稀疏最小二乘支持向量机的传感器故障检测在一个采用周期内，用传感器输出的前m个数据作为在线稀疏最小二乘支持向量机的输入，预测第m+1个输出数据。在下一个采样周期，采用滑动时间窗的方法更新数据，再用m个传感器输出数据预测第m+2个输出数据，以此类推。在线学习方法可以实时更新传感器输出样本，从而能够更准确的检测传感器故障。控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—诊断应用图为滑动时间窗原理示意图。设当前状态为k+l时刻，建模数据为从k时刻到k+l时刻区间的历史数据，用该区间内的数据建立动态模型，对k+l时刻数据进行预测。k+l+1时刻时，丢掉k时刻的数据，加入k+1时刻的数据，模型由k+1时刻到k+l+1时刻区间内的数据建立。该方法能够保持数据长度不变并不断更新数据，从而使模型也可以由新数据不断更新，使模型更准确的反应当前系统的状态。控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—诊断应用 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—诊断应用 控制系统的故障诊断与容错控制‹#›三、基于支持向量机的故障诊断—诊断应用 控制系统的故障诊断与容错控制‹#›第三章基于数据驱动的故障诊断方法一、基本原理及主要步骤二、基于神经网络的故障诊断四、基于小波分析的故障诊断三、基于支持向量机的故障诊断控制系统的故障诊断与容错控制‹#›四、基于小波变换的故障诊断1.傅里叶变换2.连续小波3.离散小波与小波包4.故障诊断中的应用控制系统的故障诊断与容错控制‹#›傅里叶变换的基本思想：将信号分解成一系列不同频率的连续正弦波的叠加或者说，将信号从时间域转换到频率域，在频谱分析中,傅氏变换x(f)又称为x(t)的频谱函数.4.1.1傅里叶变换的本质待处理的信号基底，“滤波镜片”四、基于小波变换的故障诊断—傅里叶变换控制系统的故障诊断与容错控制‹#›5Hz原始信号（时域）4.1.1傅里叶变换的本质四、基于小波变换的故障诊断—傅里叶变换控制系统的故障诊断与容错控制‹#›2Hzx(t).*cos(2ft)=-5.7e-151Hzx(t).*cos(2ft)=-8.8e-155Hz5Hz4.1.1傅里叶变换的本质四、基于小波变换的故障诊断—傅里叶变换控制系统的故障诊断与容错控制‹#›4Hzx(t).*cos(2ft)=-2.2e-143Hzx(t).*cos(2ft)=-4.6e-145Hz5Hz4.1.1傅里叶变换的本质四、基于小波变换的故障诊断—傅里叶变换控制系统的故障诊断与容错控制‹#›4.8Hzx(t).*cos(2ft)=74.55Hzx(t).*cos(2ft)=1005Hz5Hz4.1.1傅里叶变换的本质四、基于小波变换的故障诊断—傅里叶变换控制系统的故障诊断与容错控制‹#›5.2Hzx(t).*cos(2ft)=77.56Hzx(t).*cos(2ft)=1.0e-145Hz5Hz结论：只有当检测频率与信号频率完全匹配时，值达到最大4.1.1傅里叶变换的本质四、基于小波变换的故障诊断—傅里叶变换控制系统的故障诊断与容错控制‹#›20Hz80Hz120Hz叠加后得到20Hz80Hz120Hz20Hz80Hz120Hz四、基于小波变换的故障诊断—傅里叶变换控制系统的故障诊断与容错控制‹#›丢掉了时间信息，无法根据傅立叶变换的结果判断一个特定信号在什么时候发生单一的频率分辨率傅里叶变换的频率分辨率=fs/N傅里叶变换的频率分辨率在信号的低频段和高频段是不变的，无法兼顾低频和高频的特征信息譬如：低频段：要区分10Hz和11Hz，频率分辨率必须<1Hz高频段：100,000Hz和100,001Hz本质上没有区别，频率分辨率取1000Hz也可缺乏时频分析能力、多分辨率分析能力，难以分析非平稳信号4.1.2傅里叶变换存在的问题四、基于小波变换的故障诊断—傅里叶变换控制系统的故障诊断与容错控制‹#›FTSTFT高斯窗矩形窗三角窗4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›STFT4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换短时傅里叶变换的基本思想是：通过给信号加一个小窗，将信号划分为许多小的时间间隔，用傅里叶变换来对每一个时间间隔内的信号进行分析，以便确定该时间间隔内的频率信息。它假定非平稳信号在分析窗函数g(t)的这个短时间间隔内是平稳的（伪平稳），并移动分析窗函数，使f(t)g(t-τ)在不同的有限时间宽度内是平稳信号，从而计算出各个不同时刻的功率谱。控制系统的故障诊断与容错控制‹#›利用高斯窗STFT对非平稳信号进行分析非平稳信号其中a为窗宽4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›FTX短时傅里叶也存在问题：窗宽固定4.1.3短时傅里叶变换四、基于小波变换的故障诊断—短时傅里叶变换控制系统的故障诊断与容错控制‹#›解决办法FFT存在的问题：缺乏时频分析能力单一的频率分辨率FFT+移动窗STFT问题的解决改变窗宽+小波四、基于小波变换的故障诊断控制系统的故障诊断与容错控制‹#›四、基于小波变换的故障诊断1.傅里叶变换2.连续小波3.离散小波与小波包4.故障诊断中的应用控制系统的故障诊断与容错控制‹#›定义1：称满足的函数f(x)为平方可积函数，并把这类函数的集合记为L2(R)。其中，R表示实数集合。若f(x)，g(x)∈L2(R)，α，β为常数，则αf(x)＋βg(x)∈L2(R)。因此，L2(R)构成了一个线性空间。我们称其为平方可积函数空间。4.2.1预备知识控制系统的故障诊断与容错控制‹#›定义2：在L2(R)空间中的内积<f，g>定义为：其中，表示g(x)的共轭。定义3：在L2(R)空间，函数f(x)的范数‖f(x)‖定义为：4.2.1预备知识控制系统的故障诊断与容错控制‹#›定义4：在L2(R)空间，若：内积<f，g>＝0，则称函数f与函数g正交。定义5：在L2(R)空间，两个函数f(x)与g(x)的卷积定义为：定义6：函数f(x)的傅里叶变换定义为：4.2.1预备知识控制系统的故障诊断与容错控制‹#›定义7：对任意函数f(x)，其扩张函数fs(x)定义为：其中，s为尺度因子（scalefactor），或简称为尺度。4.2.1预备知识控制系统的故障诊断与容错控制‹#›定义8：把希尔伯特空间（Hilbertspace）中的可测的、平方可积的两维函数构成的子空间记作：L2(R2)。函数f(x，y)∈L2(R2)的经典范数‖f(x，y)‖定义为：定义9：f(x，y)∈L2(R2)的傅里叶变换‖f(x，y)‖定义为：定义10：4.2.1预备知识控制系统的故障诊断与容错控制‹#›定义11：设f(t)为在R上定义的函数，我们称集合为函数f(t)的支集（即f(t)≠0的点所构成的集合的闭包）。具有紧支集的函数就是在有限区间外恒等于零的函数。4.2.1预备知识控制系统的故障诊断与容错控制‹#›4.2.2小波我们称满足条件定义12： 四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›4.2.3连续小波基函数小波，即小区域的波，是一种特殊的长度有限、平均值为零的波形。小波的可容许条件：四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›4.2.4小波特点（一）“小”。即在时域都具有紧支集或近似紧支集。（二）正负交替的“波动性”。即直流分量为零。信号可分解为一系列由同一个母小波函数经平移与尺度伸缩得到的小波函数的叠加。四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›1.Haar小波。4.2.5常用的小波四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›2.Daubechies（dbN）小波四、基于小波变换的故障诊断—小波变换4.2.5常用的小波控制系统的故障诊断与容错控制‹#›2.Daubechies小波（dbN小波）Db4尺度函数与小波Db6尺度函数与小波四、基于小波变换的故障诊断—小波变换4.2.5常用的小波控制系统的故障诊断与容错控制‹#›3.MexicanHat(mexh)小波又叫墨西哥草帽小波，其函数为Gauss函数的二阶导数：四、基于小波变换的故障诊断—小波变换4.2.5常用的小波控制系统的故障诊断与容错控制‹#›4.Morlet小波它是高斯包络下的单频率复正弦函数四、基于小波变换的故障诊断—小波变换4.2.5常用的小波控制系统的故障诊断与容错控制‹#›函数的连续小波变换定义为:待分析序列基函数4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换a:尺度因子b:平移因子控制系统的故障诊断与容错控制‹#›由连续小波变换的定义可知，小波变换是尺度a与空间位置x的函数。小波变换通过ψ(x)在尺度上的伸缩和空间域（时域）上的平移来分析信号。尺度因子a的倒数在一定意义上对应于频率。尺度a增大时，ψs在空间域（时域）上伸展，小波变换的空间域分辨率降低；ψs(ω)在频域上收缩，其中心频率降低，变换的频域分辨率升高。反之，尺度a减小时，ψs在空间域（时域）上收缩，小波变换的空间域分辨率升高；ψs(ω)在频域上伸展，其中心频率升高，变换的频域分辨率降低。四、基于小波变换的故障诊断—小波变换4.2.6连续小波变换控制系统的故障诊断与容错控制‹#›四、基于小波变换的故障诊断—小波变换4.2.6连续小波变换在任何尺度因子a和平移因子b上，小波基函数的时—频窗面积是不变的，即时间、尺度分辨率是相互制约的，不可能同时提得很高。小尺度因子高频持续时间短窄的时间窗口，宽的频率窗口大尺度因子低频持续时间长宽的时间窗口，窄的频率窗口控制系统的故障诊断与容错控制‹#›例：图联合时频分析小波变换可以对信号做联合时-频域分析得到其特征。最下面的图是信号在时域的波形，右上图为该信号的频谱，左上的大图为联合时频分析一种算法的结果，前后两个400Hz的频率成分通过联合时频分析可以清楚地看到，而传统傅立叶变换则只能分辨出含有400Hz的信号，不能从时域上分辨出包括两个400Hz频率信号。四、基于小波变换的故障诊断—小波变换4.2.6连续小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct0运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct0运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›X(s,t)x(t)×Innerproduct运算过程示意图4.2.6连续小波变换四、基于小波变换的故障诊断—小波变换控制系统的故障诊断与容错控制‹#›Magnitude20Hz80Hz120Hz4.2.6运算过程示意图四、基于小波变换的故障诊断—小波变换控制系统的故障诊断