基于输入扰动的分层混合模糊-神经网络敏感性分析

基于输入扰动的分层混合模糊-神经网络敏感性分析 国际传媒品牌 软件年第卷第期 基于输入扰动的分层混合模糊一神经网络敏感性分析 邢海花,陈焕东,林红燕 .海南师范大学信息科学与技术学院,海口;.北京师范大学信息科学与技术学院,北京 摘 要:分层混合模糊一神经网络能较好地处理离散和连续变量并存的高维数据,为了提高其解释能力和在数据 挖掘应用中的说服力。本文针对输入中离散和连续数据并存的特点,提出一种基于输入扰动的分层混合模糊一神经网络敏感性分析 方法,首先优化模型,然后依次给测试数据集的各个输入变量添加高斯白噪声,计算模型加入噪声前后的均方误差。 差值越大说明相应的输入对模型输出影响越大,其重要性程度越高。为了验证本文提出方法的有效性,选用人工模拟数据集 和?数据集进行实验,结果表明本文所提方法能够筛选出模型重要性程度高的属性,有效地约简了模型。 关键词:敏感性分析;输入扰动;分层混合模糊一神经网络;变量重要性 中图分类号: 文献标识码: :./..?...?? ., ?, ? . , , .】? . . , , . . . , ..? .? ; ; ; 越大。敏感性分析方法已被广泛应用于许多领域,尤其是在极 引言 其复杂的生态学系统中,敏感性分析方法在筛选起主导作用的 针对实际应用中输入变量往往是高维且离散和连续变量 属性方面的应用非常成功。经典的基于神经网络的敏感性分析 并存的情况,且离散变量可能在建模中起着至关重要的作用, 方法有基于连接权的算法”和方法川,基于 ?提出的分层混合模糊一神经网络模型 偏导的方法恤和方法嘲等。等”提出,。该模型有效避免了 给模型的每个输入变量加白噪声,然后计算该变量变化下输出 因连续变量离散化时的信息丢失,及因离散变量和连续变量在模 变量变化的均值,并将其作为该变量对输出的重要性指标。 型中并存时产生的系统不稳定性和结论不可靠性,较好地解决了 ”提出给输入变量加标准差为仃、期望为的噪声或者给 离散与连续变量并存的高维混合数据建模问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 。然而, 输入变量乘满足上述分布的噪声,考察输入变量改变前后对输出 是黑盒模型,不能让用户了解每一个输入变量对输出变量的作 的影响,将输出变量前后变化差异值的方差作为该输入对输出 用和它们之间的关系,缺乏解释能力。因此,本文提出一种基 的重要性值。本文针对输入中离散和连续数据并存的特点,提出 于输入扰动的分层混合模糊一神经网络敏感性分析方法,以定 一种基于输入扰动的分层混合模糊一神经网络敏感性分析方法 量 评价 LEC评价法下载LEC评价法下载评价量规免费下载学院评价表文档下载学院评价表文档下载 模型输入变量对输出的重要性,提高模型的解? 释能力和在数据挖掘应用中的可信度。敏感性分析 是一种定量描述模型输 ,??。该方法首 入变量对输出变量的重要性程度的方法团。敏感性分析假设模型 先通过训练数据集对模型进行训练,得到一个高精度并且泛化 表示为,,...,为模型的第个属性值,令每个 能力强的模型。然后依次给测试数据集输入变量添加 属性在可能的取值范围内变动,研究和预测这些属性的变动对 高斯白噪声,而其他输入变量保持不变,计算模型加入噪声前 模型输出值的影响程度。我们将影响程度的大小称为该属性的 后测试集输出变量的差值,差值越大的说明相应的输 敏感性系数。敏感性系数越大,说明该属性对模型输出的影响 入变量对模型输出影响越大,此输入变量就越重要。为了验证 基金项目:国家自然科学基金,海南省自然科学基金 作者简介:邢海花一,女汉,副教授,主要研究工作是智能空间信息处理,遥感 影像与地质信息处理与分析. 软件杂志欢迎推荐投稿: 万方数据软件 您的文章得到院士的关注 邢海花等:基于输入扰动的分层混合模糊一神经 网络敏感性分析? 本文提出方法的有效性,选用个人工模拟数据集和个 数据集进行实验,结果表明本文所提方法较好地解 第阶模糊子系统的输出丸由如下式子进行计算: 决离散和连续并存的输入属性重要性评价问题,并能够筛选出 模型重要性程度高的属性,有效地约简模型并提高模型精度。 。 , 。磊』珥蹦工”彬川’ 。 、二, 搠口 型分层混合模糊?神经网络模型简介 ?‖量。~., 口 分层混合模糊一神经网络模型由模糊子系统和一个神经网 .神经网络部分 络系统复合而成,底层的模糊子系统用于处理离散变量,上层的 在上层的神经网络中,采用三层前向反馈网络,输入层神 神经网络系统用于处理原始连续变量和模糊子系统产生的输出, 经元个数为个表示模糊子系统的个数,表示输入中连 较好地解决了离散和连续变量并存的问题,并有效地降低变量 续变量的个数,中间隐层神经元个数为?,输出层只有一个神 的维数。其拓扑结构如图所示。 经元。输入层到隐层的权重矩阵分为两部分,其中连接模糊子 系统输出与隐层神经元的权重用矩阵%加肌表示,连接连 续输入变量与隐层神经元的权重用矩阵%【由矾表示,隐层 神经元偏置值向量记为,,隐层到输出层权重记为向量 神经络 ,,其偏置值记为,网络输出记为。隐层神经元的传 一牟 ? 递函数采用函数一三,输出层神经元采用线性 传递函数以工。则神经网络的输出可写为: 模糊予系统 模糊子系统 ??? 卜?丁下?丁 /六?,,?毋哆,,,.,卅?讳,,讳,??砩,,一,石??工 其中矗为隐层中第,个神 经元的输出,则其计算公式为: \ / / 』?“乃?羔,‰~巧/‘?勘’?缔‘’“ 连续输八耍量 离散输入变量 其中,两:,...,,薯,,...为上层神经网络网络 图分层混合模糊神经网络的结构 的输入向量,薪:儿,...,表示第至第个模糊子系统的输出 .模糊子系统部分 模糊子系统的输出由公式得出,,,:,...如表示个 模糊子系统部分,本文采用三角波隶属函数,模糊规则 连续变量直接做为上层神经网络网络的输入。故分层混合模糊一 后件为模型。假设网络模型中一共有个模 神经网络的输出可表示为: 糊子系统,第,,...,个模糊子系统的输入变量为: 工”工’’?,工肼共?个,其中~?%.【口川,乓。】?,:,,...,胪 。:兰/?‖,?飘圳六』 于是该模糊子系统的输入论域%?三%,,输出论域记为巧 , 基于输入扰动的分层混合模糊一神经网络敏 在每个输入变量而,饷论域上乩;上进行等距模糊划分,设划分数 感性分析方法 为嵋从而每个论域坼.上有%.;个模糊集。 本文所提基于输入扰动的敏感性分析方法 模型模糊规则的后件部分采用的是输入变 ??,首先通过训练数据集对模型进行训练得 量的函数一般使用线性函数,而在模型中模糊规 到一个高精度并且泛化能力强的模型;然后在优化的 则后件采用的是普通的模糊集。研究发现,型 模型上依次给测试数据集的每个输入变量添加高斯白噪声,计算 模糊系统能够充分利用输入变量的特征,使用的模糊规则数通 模型加入噪声前后测试集输出变量的差值。以差值 常少于型模糊系统,同时具有较为简单的模糊化过程 【】 作为各个输入变量的敏感性系数,敏感性系数越大说明相应的 输入重要性程度越高。那么各个输入变量的敏感性系数表示为: 对于第个模糊子系统,采用硒一模型来实现 旦 . 模糊推理过程。推理规则表示为如下形式: ?~,;. ‖, . 瞄:?,?/川??, 一,, ::型???????【 ,口,?,其中,:”?,,,工??,?., 其中 为模型第个输入变量的敏感性系数,‘ 为加到第个输入的扰动量,为测试集输入样本的总数。 在模型中,推理后件中的函数一般采用 基于输入扰动的敏感性分析方法具体步骤如下: 常值函数或线性函数。本文选择齐次线性函数,即: ? 磐?“~, 。。,把输芰萋茎竺凳连续和离散变量两部分,然后将离散 善 软件杂志欢迎推荐投稿::./ 万方数据软件 您的文章得到院士的关注 邢海花等:基于输入扰动的分层混合模糊一神经网络敏感性分析 变量分为组,将第组离散变量作为第个模糊子系统的输入。 中有个输入变量广,。和个输出变量。输入变 如果问题中的几个离散变量之间存在明显的关系,那么就可以 量,、、,和是独立的,,、。与输出变量之间是线性 把相互之间有联系的离散变量分为一组,否则采取随机的方法 关系。、,与输出是阶函数关系,和,和分别是 将离散变量进行分组。 两组具有相互作用的变量组,。、是与输出无关的变量。,、 对训练数据进行归一化处理。设训练数据组为限于. 、,和.。是离散变量在.,.,.,.,五个数中随 其中输入数据霄一对应输出数据于。,,//为训练样本 机取值,其余输入变量为连续输入变量在的范围内随机产 数,为输入变量个数,用以下公式将他们归一到?】,并记为 生。对于每个输入变量广,。随机产生个数据,其中 个为训练数据,个为测试数据。首先应用本文所提方法 即,‘?其 求模型中的连续变量的敏感性系数如图所示。 。画萄 正如预期的那样,输入变量,与输出变量之间的关系是线性的, 且。变量的敏感性重要性最显著。,和。是具有相互作用 帆其忭画‘蕊而 的变量组,其敏感性系数相当。。、是与输出无关的变量, 确定离散输入变量.,的论域%.,%,,‖。,『,并在论 其敏感性系数很小相当于无意义输入变量。 域上进行等距模糊划分为三个模糊集。 参数初始化 网络参数初始化,用一,上的随机数初始化上层神 经网络的各个权重陟,噬,,和各层偏置值,;下层模糊子 系统中参数初始值.,:毕,口。....,,,...,聊, ,,...,。设定目标训练误差限占和最大训练回合数。 模型训练和测试 训练模型。计算第个训练回合中网络的均 二 , 户,~ 方误差值:置二一~二。为期望输出,,为网络实际输出, 图连续输入变量在模型上层神经网络中的敏感性系数 图显示了各个离散变量在模型中的敏感性系数。 为样本总数。若占或者达到最大训练回合数,练 结束。 可以看到具有相互作用的离散输入变量组,和的敏感性系数 相当,与输出变量具有二阶关系的离散变量,的敏感性系数较 模型测试。在优化的模型上, 低,,。的敏感性系数较高,对输出的重要性较为显著。可见在 用测试数据集对模型进行测试,并计算测试数据集的均方误差 。 模型上采用输入扰动方法较好地解决了离散和连续并 存的输入属性重要性定量评价问题,既能筛选出模型重要性程 计算各输入变量的敏感性系数 度较高的连续变量又能筛选出重要的离散变量。图显示了离 依次给测试数据集每个输入变量添加高斯白噪声,而 散和连续变量综合后在模型中的敏感性系数。 其他输入变量保持不变; 根据公式计算测试数据集每个输入变量加入噪 声前后模型输出的差值; 按加入噪声前后的差值大小对相应的输入变量 进行排序, 差值越大,该输入对输出影响越大,该输入属 性越重要。 实验与结果分析 由于实际应用中很难确定模型输入变量对输出的重要性 图离散变量在模型中的敏感性系数 和输入输出变量之间的明确关系,本文设计一个已知其输入输 出之间关系的函数,用于验证??方法所计算出 的敏感性系数是否能识别重要的输入变量和发现的输入和输出 变量之间的关系。最后将??方法应用于 数据集,验证?方法能否筛选出重 要输入属性用以约简模型,并能提高模型的训练精度和测试精 度。 实验一:数值模拟实验 。 ?一;一?.一.十』?.二一一. 。 此函数是多元二次方程,用于模拟非线性回归问题。函数 图离散和连续变量综合后的敏感性系数 . 软件杂志欢迎推荐投稿: 万方数据软件 您的文章得到院士的关注 邢海花等:基于输入扰动的分层混合模糊一神经网络敏感性分析 实验二:应用实例 模型的训练精度跟使用全部输入属性的精度相当,但筛选出重 数据集”?是用于数据挖掘的一组药物数据, 要输入属性有效缩减了特征维 数,精简模型并提高模型精度。 目标是对的抑制药性进行建模。在这个数据集 结论 中用了个特征变量记为:,,,?,来描述 的不同特性,训练目标值是的抑制药 模型较好地解决了离散与连续变量并存的高维混 性数值。整个数据集只有组样本,是一个典型的小样本 合数据建模问题。本文针对输入中离散和连续数据并存的特点, 高维函数逼近问题。本文采用个模糊子系统分别处理组离 提出一种基于输入扰动的分层混合模糊一神经网络敏感性分析 散变量: ,,,,?,【,,,, 方法??,在模型上较好地解决离散 和,,即,连续变量个数。那么上层 和连续并存的输入属性重要性评价问题,让用户了解离散和连 神经网络的输入变量有个个模糊子系统输出和个连续 续混合输入变量对输出变量的作用,增强模型的解释 变量。图显示了在模型上离散和连续变量的敏感 能力和在数据挖掘应用中的可信度。由人工模拟数据集和 性系数。 数据集的实验结果表明??方法能筛 选出模型重要性程度高的离散或连续输入属性,有效地约简了 混合输入模型并达到提高模型精度目的。 参考文献 , , .. ?? ,,:? 蔡毅,邢岩,胡丹..敏感性分析综述,北京师范大学 图离散和连续变量在模型上的敏感性系数 学报自然科学版,:. 我们根据离散和连续变量的敏感性系数大小,以.为 . 】. 阈值筛选出对模型输出重要的属性,然后再进行建模和预测。 . ,: 根据图所示的输入变量的敏感性系数,本文筛选出组离散 变量:, ,,,, 和,,,采用 , .. 个模糊子系统来处理,即。筛选出连续变量、、、。、和,个数。那么上层神经网 络的输入变量 . ,: 有个个模糊子系统输出和个连续变量,有效缩减的】 , , .. 输入变量的维数。筛选出变量后重新建模,上层神经网络隐层神 . 经元个数设置为,学习效率设置为.,筛选重要属性前后,:? 模型在数据集上的逼近精度及误差比较如 , , ..】 图所示。 . ,:一 ,.: ,,: 】. 【 , . 】. ,, :】? , ?. , , 图筛选重要属性前后模型在数据 ,? 集上逼近精度比较 ://....// 筛选出重要输入属性前后训练均方误差分别是.和 .。从图可以看到筛选出重要输入属性后基于 ‘ 软件杂志欢迎推荐投稿:://../ 万方数据