思维进化算法在BP神经网络拟合非线性函数中的应用研究

第34卷第2期2015年2月绵阳师范学院学报JournalofMianyangNormalUniversityVol．34No．2Feb．，2015收稿日期:2014－11－09作者简介:刘俊(1986－)，男，山西大同人，硕士，助教，研究方向:计算机测控系统．思维进化算法在BP神经网络拟合非线性函数中的应用研究刘俊(商洛学院电子信息与电气工程学院，陕西商洛726000)摘要:直接使用BP神经网络拟合非线性函数，具有预测精度差、收敛速度慢等缺点.该文提出利用极强全局搜索能力的思维进化算法来优化BP神经网络.首先根据BP神经网络拓扑结构构建思维进化算法模型，然后用思维进化算法得到的最优解作为BP神经网络的初始权值和阈值，最后利用MATLAB软件对多个非线性函数进行拟合仿真实验，比较思维进化算法优化BP神经网络和单纯使用BP神经网络的预测结果.数据表明，优化后的BP神经网络具有更高的拟合精度和更短的网络训练时间.关键词:思维进化算法BP神经网络函数拟合中图分类号:TP183文献标志码:A文章编号:1672-612x(2015)02-0079-05在工程应用领域中，经常需要对大量采集的历史数据进行函数拟合.然而这些数据常常是复杂、多元的非线性关系，传统的最小二乘、多项式回归等拟合方法无法满足拟合精度要求.人工神经网络具有良好的非线性并行处理能力，强大的学习和泛化能力，为非线性函数拟合提供了有效途径.张宝堃等［1］利用非线性映射能力较强的BP神经网络拟合了一组单输入单输出非线性函数，但该方法存在局部最优问题等缺点［2，3］.徐富强等［4］采用遗传算法优化BP神经网络的初始权值和阈值，并用于非线性函数拟合，该方法全局搜索能力较强，但误差依然较大.沈学利等［5］将粒子群优化算法应用于BP神经网络的参数训练，对非线性函数拟合有一定的效果，但存在精度较差，容易陷入局部最优等［6］缺点.本文提出了思维进化算法与BP神经网络结合的算法，利用思维进化算法优化BP神经网络的初始权值和阈值，通过多个非线性函数拟合实验验证了该算法的强拟合能力和有效性.1思维进化算法1．1思维进化算法概述思维进化算法(MindEvolutionaryAlgorithm，简称MEA)由孙承意等［7］研究者于1998年提出，该算法是针对遗传算法的缺陷［8］而提出的一种新型进化算法，其思想来源于模仿人类思维进化过程.思维进化算法继承了遗传算法的“群体”和“进化”的思想，提出了新的操作算子———“趋同”和“异化”，这两种操作相互协调，其中任一操作改进都可以提高算法的整体搜索效率.由于思维进化算法具有良好的扩充性、移植性和极强的全局优化能力，已经成功应用于图像处理、自动控制、经济预测等领域［9－13］.1．2思维进化算法基本思想思维进化算法是一种通过趋同、异化等操作，不断迭代进行优化学习的方法，基本的进化过程如下:(1)群体生成.在解空间中随机生成P个个体，所有个体组成一个群体.根据适应度函数计算出每个个体的得分.DOI:10.16276/j.cnki.cn51-1670/g.2015.02.014(2)子群体生成.得分最高的前M个个体作为优胜个体，前第M+1到第M+N共N个个体作为临时个体.以所选优胜个体和临时个体为中心，生成M个优胜子群体和N个临时子群体，每个子群体的个体数目为P/(N+M).(3)趋同操作.各子群体内部个体为成为胜者而进行局部竞争，此过程为趋同过程.若一个子群体不在产生新的胜者(即子群体成熟)，则竞争结束，该子群体的得分就是子群体中最优个体的得分，并把得分张贴在全局公告板上.直到所有子群体全部成熟，趋同过程结束.(4)异化操作.成熟后的子群体之间为成为胜者而进行全局竞争，不断探索新的解空间，此过程为异化操作.从全局公告板上，比较优胜子群体和临时子群体的得分高低，完成子群体间的替换、废弃、个体释放的过程，最后得到全局最优个体及其得分.(5)迭代操作.异化结束后，被释放的个体重新被新的临时子群体补充，重复(3)－(4)过程，直到最优个体的得分不再提高或迭代结束，则认为运算收敛，输出最优个体.思维进化算法框图如图1所示:图1思维进化算法框图Fig．1Blockdiagramofmindevolutionaryalgorithm2BP神经网络BP(BackPropagation)神经网络一种误差反向传播的多层前馈神经网络，由Ｒumelhart和McCelland等学者在1986年提出.BP神经网络由三层网络－－输入层、隐含层和输出层组成，隐含层可以有一层或多层.输入信号经输入层逐层传输到各隐含层，最后传向输出层.隐含层和输出层根据相应神经元的权值和阈值完成数据计算工作.若输出结果不满足期望值，误差信号反向逐层传到各隐含层和输入层，利用梯度最速下降法，调整各神经元的权值和阈值.输入正向传播和误差反向传播反复迭代，直到输出误差最小或输出达到期望值，计算结束.利用BP神经网络拟合非线性函数的一般过程如下:(1)构建BP神经网络.根据需要拟合的非线性函数特征，确定隐含层层数，选择各层网络节点数目和隐含层、输出层传输函数等.(2)训练BP神经网络.初始化连接权值和阈值，设定学习速率和训练目标;依次计算隐含层输出、输出层输出和输出误差;根据误差信号，依次更新各层神经元间的权值和阈值;反复迭代，直到输出误差最小或满足期望值，训练结束.(3)BP神经网络预测.用训练好的BP网络预测非线性函数输出，然后 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 预测结果.BP神经网络具有较强的非线性映射能力，拟合函数具有一定的效果，但拟合精度较低，且容易陷入局部极值点.为了提高精度，实现全局优化，本文采用思维进化算法来优化BP神经网络，实现非线性函数的高精度拟合.3MEA－BP神经网络拟合非线性函数的算法实现思维进化算法在BP神经网络拟合非线性函数的算法实现，首先根据拟合函数的输入输出参数确定BP神经网络拓扑结构，进而得到思维进化算法个体的编码长度，并构建优化算法模型.然后，用思维进化算法对BP神经网络的初始权值和阈值进行优化，选取训练数据的均方误差的倒数作为各个种群和个体的得分函数，经过不断趋同、异化、迭代，输出最优个体.最后解析最优个体，得到BP神经网络的初始权值和·08·第34卷绵阳师范学院学报(自然科学版)阈值，再利用训练数据样本训练BP神经网络，利用测试数据样本预测网络性能.优化算法实现流程图如图2所示.图2算法流程图Fig．2Flowchartofmindevolutionaryalgorithm4仿真实验为了验证思维进化算法优化BP神经网络后的预测精度，选择非线性函数式(1)进行拟合.采用MATLAB软件编程实现BP神经网络拟合算法和思维进化算法优化BP神经网络拟合算法，并对这两种算法的预测精度进行比较.拟合的非线性函数如下:y1=1．5x22ex1sinx1+5(1)4．1参数设置拟合函数为两个输入，一个输出，设定BP网络拓扑结构为2－10－1，即输入层、隐含层和输出层的节点数分别为2个、10个和1个.网络学习速率为0．1，训练次数1000次，训练目标10－6.隐含层和输出层的传输函数都选择S型正切函数‘tansig’;网络训练函数选择L－M算法函数‘trainlm’;权值学习函数选择梯度下降动量学习函数‘learngdm’.思维进化算法种群大小设定为400，优胜子种群和临时子种群个数全部为5，子种群大小为40，个体编码长度为21，迭代次数20，适应度函数为均方误差的倒数.根据式(1)随机产生2000组数据，任取1950组用于训练网络，其余50组用于预测网络.4．2结果分析为了清晰观察网络优化后的预测结果，首先利用1950组数据分别训练BP神经网络和思维进化算法优化后的BP神经网络，然后利用训练后的两个网络预测其余50组数据，最后分析比较这两种算法的预测误差和误差百分比参数.预测误差及误差百分比如图3和图4所示.图3BP神经网络与MEA－BP神经网络预测误差比较Fig．3PredictionerrorsbetweenBPneuralnetworkandMEA－BPneuralnetwork图4BP神经网络与MEA－BP神经网络预测误差百分比Fig．4PercentageofpredictionerrorsbetweenBPneuralnetworkandMEA－BPneuralnetwork从图3和图4可以清楚看到，对于非线性函数，BP神经网络具有一定的拟合能力，但预测精度仍然较差，但是，经过思维进化算法优化后的BP神经网络预测误差明显减小，且误差相对稳定.其他预测参数比较如表1所示.·18·刘俊:思维进化算法在BP神经网络拟合非线性函数中的应用研究第2期表1BP神经网络与MEA－BP神经网络预测结果比较Tab．1PredictionresultsofBPneuralnetworkandMEA－BPneuralnetwork均方误差相对误差百分比/%网络训练时间/sMEA－BP神经网络1．1970×10－40．044511．7349BP神经网络0．00120．208915．2963从表1可以看到，MEA－BP神经网络预测误差远小于BP神经网络的预测误差，且网络训练时间也较短，可见MEA－BP神经网络具有更高的拟合性能.4．3其他函数的拟合按照同样的参数设定和拟合方法，对其他非线性函数进行拟合实验，实验函数如式(2)、(3)和(4).通过网络训练和预测，得到两种算法的实验结果，如表2所示.y2=2x1ex2+12(2)y3=5sinx1sinx2cosx21(3)y4=8(x0．51+0．5x2)sin2(x1+x2)+2(4)表2实验结果比较Tab．2Comparisonofexperimentalconsequences函数MEA－BP神经网络均方误差相对误差百分比/%网络训练时间/sBP神经网络均方误差相对误差百分比/%网络训练时间/sy20．00250．01651．99600．00280．05342．1854y37．317×10－41．01616．08900．01242．340317．3785y40．00150．013312．95220．00310．022824．1216从表2中可以看出，对非线性函数拟合，经过思维进化算法优化后的BP神经网络的预测精度高于直接使用BP神经网络，且网络训练时间相对较短，也可以看出优化后的BP神经网络泛化性能得到进一步提高.5结语本文采用全局搜索能力极强的思维进化算法对BP神经网络进行优化.该算法的基本思想是在训练BP神经网络前，利用思维进化算法对BP神经网络的初始权值和阈值进行优化，以提高网络的准确性.从多个非线性函数拟合实验结果分析比较得到，思维进化算法优化BP神经网络的性能明显优于BP神经网络，非线性函数拟合精度更高.本文研究方法在工程和实验的数据拟合方面具有重要意义，也为研究和改进神经网络提供了一种新的思路，为解决其他实际问题提供了新的手段.参考文献:［1］张宝堃，张宝一．基于BP神经网络的非线性函数拟合［J］．电脑知识与技术，2012，8(27):6579－6583．［2］LiSong，LiuLijun，HuoMan．Predictionforshort－termtrafficflowbasedonmodifiedPSOoptimizedBPneuralnetwork［J］．SystemsEngineering－Theory＆Practice，2012，32(9):2045－2049．［3］XuYishan，ZengBi，YinXiuwen，etal．BPneuralnetworkanditsapplicationsbasedonimprovedPSO［J］．ComputerEngineer-ingandApplications，2009，45(35):233－235．·28·第34卷绵阳师范学院学报(自然科学版)［4］徐富强，钱云，刘相国．GA－BP神经网络的非线性函数拟合［J］．微计算机信息，2012，28(7):148－150．［5］沈学利，张红岩，张纪锁．改进粒子群算法对BP神经网络的优化［J］．计算机系统应用，2012，19(2):57－61．［6］乔冰琴，常晓明．改进粒子群算法在BP神经网络拟合非线性函数方面的应用［J］．太原理工大学学报，2012，43(5):558－559．［7］ChengyiSun．Mind－Evolution－BasedMachineLearning:FrameworkandtheImplementationofOptimization［A］．In:Pro-ceedingsofIEEEInternationalConferenceonIntelligentEngineeringSystems［C］．1998，355－359．［8］谢刚．免疫思维进化算法及其工程应用［D］．太原:太原理工大学，2006，27－28．［9］SunYan，SunYu，SunChengyi．ClusteringandＲeconstructionofColorimagesUsingMEBML［A］．In:ProceedingsofInterna-tionalConferenceonNeuralNetworks＆Brain［C］．Beijing，China，1998，361－365．［10］ChengMingqi．GrayimagesegmentationonMEBMLframe［J］．IntelligentControlandAutomation，2000，1:135－137．［11］ChengyiSun，YanSun，YuSun．Economicpredictionsystemusingdoublemodels［J］．Systems，Man，andCyberntics，2000，3:1978－1983．［12］韩晓霞，谢克明．基于思维进化算法的模糊自寻优控制［J］．太原理工大学学报，2004，35(5):523－525．［13］KemingXie，ChanghuaMou，GangXie．Themulti－parametercombinationmind－evolutionary－basedmachinelearninganditsapplication［J］．Systems，Man，andCybernetics，2000，1:183－187．OnApplicationofMindEvolutionaryAlgorithminBPNeuralNetworkFittingNonlinearFunctionLIUJun(SchoolofElectronicInformationandElectricalEngineering，ShangluoUniversity，Shangluo，Shaanxi726000)Abstract:Owingtothepooraccuracy，slowconvergencespeedandothershortcomingsafterthedirectappli-cationofBPneuralnetworkinthefittingofnonlinearfunctions，thispaperproposedthatBPneuralnetworkcanbeoptimizedbymindevolutionaryalgorithm，whichenjoysstrongglobalsearchability．Firstly，themindevolu-tionaryalgorithmmodelisconstructedbasedonneuralnetworktopology;then，itisusedtogettheoptimalsolu-tions，whichisservedasinitialweightsandthethresholdvalueofBPneuralnetwork;lastly，theMATLABsoft-wareisusedtosimulatemultiplenonlinearfunctionfitting，comparingthedifferentresultsbetweenoptimizedBPneuralnetworkandsimplyapplicationoftheBPneuralnetwork．StatisticsindicatethattheoptimizedBPneuralnetworkenjoyshigheraccuracyandshortertrainingtime．Keywords:mindevolutionaryalgorithm;BPneuralnetwork;functionfitting(责任编辑:陈英)·38·刘俊:思维进化算法在BP神经网络拟合非线性函数中的应用研究第2期