改善遗传神经网络收敛性的研究

改善遗传神经网络收敛性的研究 改善遗传神经网络收敛性的研究 第25卷第12期 2005年12月 计算机应用 ComputerApplications Vo1.25No.12 Dec.2005 文章编号:1001—9081(2005)12—2789—03 改善遗传神经网络收敛性的研究 李享梅,赵天昀 (1.成都信息工程学院网络工程系,四川成都610225;2.郑州大学信息管理系,河南郑州450001) (1ixiangmei@cult.edu.cn) 摘要:针对BP神经网络中采用的梯度下降法局部搜索能力强,全局搜索能力差和遗传神经网 络中采用的遗传算法全局搜索能力强,局部搜索能力差的特点,提出了一种集梯度下降法和遗传算法 优点为一体的混合智能学习法(HybridIntelligencelearningalgorithm),简称HI算法,并将其应用到优 化多层前馈型神经网络连接权问题.对该算法进行了设计和实现,从理论和实际两方面 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 混合智 能学习法神经网络与BP神经网络和基于遗传算法的神经网络相比有更好的运算性能,更快的收敛 速度和更高的精度. 关键词:遗传算法;遗传神经网络;人工神经网络;BP神经网络;梯度下降法;混合智能学习法 中图分类号:TP183文献标识码:A Studyonimprovingtheconvergenceofgeneticneuralnetworks LIXiang.mei,ZHAOTian.yun (1.DepartmentofNetworkEngineering,ChengduUniversityofInformationTechnology,ChengduSichnan610225,China; 2.DepartmentofInformationManagement,ZhengzhouUniversity,ZhengzhouHenan450001,China) Abstract:Todescribetheadvantageandshortcomingofgradientdescentalgorithmandgeneticalgorithmfortraining connectionweightsofneuralnetworks,anewalgorithmcombinedgeneticalgorithmwithgradientdescentalgorithmwas proposed,referredastoHybridIntelligencelearningalgorithm(HI).Appliedtotheproblemofoptimizingtheconnectionweight ofthefeedforwardneuralnetworks,thealgorithmWasfeasible.ThedesignandrealizationofH1wasintroduced.AnditWas provedthathybridintelligencelearningalgorithmisbetter,fasterandmoreaccuratethangradientdescentalgorithmandgenetic algorithmintheoryandpractice. Keywords:GeneticAlgorithms(GA);GAneuralnetworks;artificialneuralnetworks;BPneuralnetwork;gradient descentalgorithm;HIalgorithms(HybridIntelligencelearningalgorithm) 0引言 人工神经网络…中的BP神经网络结构简单.可塑性 强,具有良好的自适应,自学习,极强的非线性逼近J,大规 模并行处理】,容错能力和收敛速度快等特点,但是它存在 着固有的缺陷,具体描述如下: 1)BP神经网络是基于误差函数梯度下降…的方向,从 输出层到隐含层,然后从隐含层到输出层逐层修正网络的各 个连接权和阈值.该算法实质上是单点搜索算法】.不具有 全局搜索能力. 2)BP神经网络学习训练开始时网络的结构参数是随机 给定的,因此结果存在一定的随机性.若初始权值给定得不 合适,利用误差函数的梯度下降法训练神经网络容易陷入局 部极小. 为了克服BP神经网络的自身缺陷,把遗传算法(Genetic Algorithms,GA)应用到了神经网络领域中,即遗传神经网 络.遗传神经网络的训练方法采用的是GA,而GA是一种 全局优化算法【7.,它的目标函数既不要求连续也不要求可 微.这种算法实质上不同于单点搜索方法.它是采用同时处 理搜索空间中多个个体的方法,有很好的全局搜索能力.有效 减少了陷入局部最优解的可能.但是,在实际运用过程中,将 GA与函数的梯度下降法相比.前者收敛性并不明显高于后 者,有时还低于后者,分析原因有j: 1)GA局部搜索能力差,虽然通过变异操作可以加强局 部收敛能力.但效果并不十分明显.即使搜索时间加长,也无 法得到全局最优解. 2)收敛的速度与群体大小,遗传操作有关.若种群大 小,遗传操作给定设计不当,则会产生早熟,进化后期缓慢等 现象. 为了克服上述缺点.我们认为可以采取一种集GA和函 数梯度下降法的优点为一体的混合智能学习法(简称HI算 法)来加以克服,从而改善遗传神经网络的收敛性. 1HI算法 混合智能学习法(HybridIntelligencelearningalgorithm.HI 算法)主要由两部分构成,一部分是GA;另一部分是函数的 梯度下降法.因此,对于HI算法的设计也要包括两个方面: 一 . 是GA设计;二是函数梯度下降法,即BP算子 1.1HI算法描述 HI算法利用GA中的杂交,变异和选择算子[9在全变量 空间搜索全局解的特点,以及函数的梯度下降法能在解点附 近快速,精确地收敛的特点,提出了如下的HI算法: 收稿日期:2o05一O6—23 作者简介:李享梅(1976一),女,重庆北碚区人,助教,硕士,主要研究方向:信号与信息 处理,智能计算;赵天昀(1978一),女,河南焦作 人,助教,硕士,主要研究方向:图像处理与研究,智能运算. 2790计算机应用2005血 Ben 随机产生初始群体【"1; 进行神经网络的前向计算; 计算适应度; Repeat 选择群体中两个个体以概率Pc进行杂交运算,将新生成的 子代加入到子代群体中 对子代群体中每个个体的每一位以概率P进行变异运算, 将新生成的子代加入到子代群体中 对子代群体中每个个体以概率P进行BP算子搜索,将子 代取代父代; 进行神经网络的前向计算; 对每个个体计算适应度; Until满足终止条件; End 综上所述,H1算法是将函数的梯度下降法作为一个算子 嵌人在GA内部.在每个循环过程中,某个个体是否进行BP 算子搜索,主要以运行当时产生的随机数q(o<Q<I)来决 定.如果Q<PBp,则该个体要进行BP算子运算;否则,不进 行. 1.2GA设计 1.2.1编码 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 用GA来确定神经网络的结构,主要是对网络中各神经 元之问的连接权的值进行确定.因此解决此问题主要是对其 连接权进行编码.常用的编码方法有二进制编码和实数编 码.网络的连接权是实数,将它们用二进制编码表示实际上 是用离散值来尽量逼近连接权,就有可能导致因某些实数权 不能精确表达而使网络的训练失败.如果每个连接权直接用 一 实数表示,这种编码比采用二进制表示要直观得多,也不存 在精度不够的情况,编码长度比采用二进制编码时要小得多, 并且实数表示时不用像二进制表示时需要预先定义解的精 度,另外在加入一些启发式知识时不需要在译码与编码之间 来回转换.故本算法采用的实数编码方案. 1.2.2适应度函数的确定 神经网络模型的一个重要性能就是网络的输出值与期望 的输出值之间的误差平方和?,该值较小则表示该网络性能 较好.则目标函数为: minf()= 因此,要解决的问题是目标函数的最小化问题,因为 为误差平方和,所以非负,故直接设定个体的适应度函数 J:'()就等于相应的目标函数本身,即: F()=,() 1.2.3遗传操作 遗传操作主要包括三部分:选择算子,交叉算子,和变异 算子. 1)选择算子 由于编码方案采用的是实数编码,故选择算子选用最优 保存策略和随机联赛选择相结合的混合型的选择法.该 选择法的设计思想是:当前种群中适应度最高的个体不参与 交叉运算和变异运算,而是用它来替换掉本代种群中经过交 叉,变异等遗传操作后所产生的适应度最低的个体,其余被选 择的个体是通过随机联赛选择来选取,即每次选取几个个体 之中适应度最高的一个个体遗传到下一代种群中.该选择方 法与传统方法相比,其好处在于:可保证迄今为止得到的最优 个体不会被交叉,变异等遗传运算所破坏,从而提高了收敛速 度,并且当运算到达预先设定的迭代次数而停止运算时,系统 得到的是运算过程中的最优解. 2)交叉算子 遗传操作中所涉及的交叉算子就是把两个父个体的部分 结构加以替换重组而生成新个体的操作.重组的目的是为了 能够在新一代产生新的个体.基因重组即交叉是GA获取新 优良个体的最重要的手段.由于本设计的编码方案选用的是 实数编码,所以交叉算子采用的是实值型的中间重组交 叉[9],它是专为实数编码设计的交叉方式. 子个体的产生按下列公式: 子个体=父个体1+a(父个体1一父个体2) 这里是一个比例因子,可由[一d,1+d]上的均匀分布 随机数产生.对于中间重组d=0;一般选择d=0.25.子代的 每个变量值按上面的表达式计算,对每个变量要选择一个新 的值. 3)变异算子 变异操作的目的就是为了改变GA的局部搜索能力,对 于实数编码的变异设计,本算法采用的是高斯变异法. 高斯变异是改进GA对重点搜索区域的局部搜索性能的 另一种变异方法.所谓高斯变异是指进行变异操作时,用符合 均值为方差为的正态分布的一个随机数去扰动该变异 位基因值. 高斯变异的操作过程: 1)依次指定个体编码串中的每个基因座的变异点; 2)对每一个变异点,以变异概率P从对应基因的取值 范围内取一随机数来替代原有基因值. 具体实现高斯变异时,设计中获取符合正态分布的随机 数Q的方法是:由一些符合均匀分布的随机数利用公式来近 似产生.公式为: Q=+'(?一号) 其中,为均值,为方差,n为选取的随机数个数,rI为 选择的随机数,其取值范围为[0,1].本设计选用n=12,= 0,=t的高斯变异法. 1.2.4参数的选取 GA的参数中交叉概率和变异概率P的选取是影响 GA行为和性能的关键所在,直接影响算法的收敛性.针对 不同的优化问题,需要反复实验来确定P和P,这是一件繁 琐的工作,而且很难找到适用于每个问题的最佳值.SfinAvas 等提出了一种自适应遗传算法,和尸埘能够随适应度自动 改变.当种群各个体适应度趋于一致或者趋于局部最优时,使 P和P增加,而当群体适应度逼近分散时,使P和P减少. 同时,对于适应值高于群体平均适应值的个体,对应于较低的 P和P,使该解得以保护进入下一代;而低于平均适应值的 个体,相对应于较高的P和P,使该解被淘汰掉.因此,自适 应的尸c和尸m能够提供相对某个解的最佳和P.自适应遗 传算法在保持群体多样性的同时,保证GA的收敛性.故HI算 法采用自适应因子来选取GA中的尸c和P,其值按如下公式 进行自适应调整J: P:.f一 ,Pdf<f'm…?' P:』一f~f=s尸mIf<I…"… 第12期李享梅等:改善遗传神经网络收敛性的研究2791 式中,,m为群体中最大的适应度函数值;/为每代群 体的平均适应度函数值;f为要交叉的两个个体中较大的适 应度函数值;f为要变异个体的适应度函数值; 上式中Pl=0.9,P=0.6,Pl=0.1,PI,I2=0.001. 1.3BP算子 HI算法的另一部分就是BP算子的引入,BP算子在此的 作用就是提高GA在多层前馈型神经网络?连接权的修正 过程中的收敛程度,发挥函数梯度下降法的局部收敛性以及 收敛速度快的优势.HI算法和常规的GA与函数梯度下降 法相结合的方式不一样,它是在GA中嵌入一个BP算子,该 算子主要进行经典的函数的梯度负方向搜索运算,在每次繁 殖时,对群体中的个体都要以概率P判定是否要进行BP算 法运算.BP算子的运算过程如下: Begin 对群体中每个个体产生[0,1]问的随机数,若该随机数小于 BP算子的概率P口P,则进行下述运算 Repeat 前向计算: 隐含层神经元的输出:=,()=,(?tOXi)l 输出层神经元t的输出:C=,()=?) 』 反向计算6: 对输出神经元t:6(n)=一e(n)(1(n)) 对隐含层神经元,:(n)=一?(n)(々(n)) 修正连接权: 对隐含层到输出层间的连接权:Avq(n)="q8(n)6,(n) 对输入层到隐含层问的连接权: ?t(n)=,7国(n)((n))f(n) Until样本全部训练完毕; End 1.4HI算法的神经网络的学习过程 采用HI算法的神 经网络学习过程示意图 如图1所示.由图1可 以看出,该神经网络中 嵌人了一个BP算子, 从而把GA和BP算法 有机的结合在了一起. 2实验结果分析 用BP神经网络, 遗传神经网络和HI算 法的神经网络分别来解 决异或问题.神经网络 均采用三层前馈型网 络,其隐含层结点数选 为6,遗传神经网络和 HI算法的神经网络的 种群大小均为20,则BP图1HI算法的神经网络学习流程 神经网络,遗传神经网络和HI算法的神经网络的误差变化示 意图如图2所示.图中,Plotl表示HI算法的神经网络的误 差变化曲线;Plot2表示遗传神经网络的误差变化曲线;Plot3 表示BP神经网络的误差变化曲线. 为了示意图有好的效果,图2中BP曲线上的数据均减 小了10倍.从图2中很容易得到: 1)无论实验结果的精度要求多高,HI算法的神经网络的 性能明显优于遗传神经网络和BP神经网络. 2)从实验结果来看,HI算法的神经网络的收敛速度是相 当理想的,而且其精度能达到1.00E+20,比遗传神经网络和 BP神经网络要高. 巅 精度要求 图2BP算法,遗传算法和HI算法神经网络误差变化 可见,HI算法的神经网络,BP神经网络和遗传神经网络 三者相比较,HI算法的神经网络无论是收敛速度还是收敛程 度都远远好于BP神经网络和遗传神经网络,这与我们的理 论分析是完全吻合的.实践证明,本文提出的HI算法使遗传 神经网络的收敛性得到了改善. 参考文献: 【1】阎平凡,张长水.人工神经网络与模拟进化计算【M】.北京:清华 大学出版社,2000. 【2】闰河.基于遗传算法和人工神经网络相结合的冲击地压预测的 研究【D】.重庆:重庆大学硕士论文,2002. 【3】FOGELDB.Aninformationcfite~onforoptimalneuralnetworkse- lection【J/OL】.IEEETransactionsOnNeuralNetworks,1991,2: 490—497. 【4】刘勇,康立山.非数值并行计算(2册)——遗传算法【M】.北京: 科学出版社,1995. 【5】YA0X.Evolutionaryartificialneuralnetworks【J/OL】.International JournalofNeuralSystems,1993,4(3):203—222. 【6】高铁红.基于遗传算法和神经网络的钻井参数估计和岩性识别 的研究【D】.天津:河北工业大学硕士论文,2000. 【7】KITANOH.Designingneuralnetworksusinggeneticalgorithmswith graphgenerationsystem【J/OL】.ComplexSystems,1990,4:461— 476. 【81王梦兰.混合式遗传算法及其在指派问题与排序问题中的应用 【D】.成都:西南交通大学硕士论文,2002. 【9】王小平,曹立明.遗传算法——理论,应用与软件实现【M1.西 安:西安交通大学出版社,2002. 【10】WHITLEYD,STARKWEATHERT,BOGARTC.Geneticalgo- rithmsandneuralnetworks:optimizingconnectionsandconnectivi- ty【J/OL】.ParaallelComputin,1990,14:347-361. 【11】YAOX.Theevolutionofconnectionistnetworks【J/OL】.InT. Dartnall,editor,ArtificialIntelligenceandCreativity,KluwerAca— demicPublishers,Dordrecht,1994:233—243. 【12】周明,孙树栋.遗传算法原理及应用【M】.北京:国防工业出版 社.1999. 【13】HORNIKK,STINCHICOMBEM,WHITEH.Muhilayerfeedfor- wardnetworksareuniversalapproximators【J/OL】.NeuralNet— works.1998.2:359—366.