动态K_均值聚类算法在RBF神经网络中心选取中的应用

信息系统工程 │ 2011.6.20 83 TECHNOLOGY 技术应用 引言 径向基函数神经网络 (RBFNN) 以其简单的网络结 构、快速的学习方法、较好的推广能力，已经广泛地应 用于许多领域，特别是模式识别和函数逼近等领域。然 而，如何有效地确定 RBF神经网络的网络结构和参数， 至今没有系统的规律可循。在 RBF神经网络中需要确定 的参数包括隐含层节点数、隐含层基函数的中心值和宽 度、隐含层到输出层的连接权值。目前，隐含层节点数 主要依靠经验来选取。而根据 moody 准则，神经网络的 设计应该在满足精度要求的情况下有最小的结构，以保 证网络的泛化能力 [1] 。 由于隐含层基函数中心值的选取对网络的函数逼 近能力有很大的影响，目前最常用的确定隐含层中心值 的方法是 K-均值聚类法。由于 K- 均值聚类法的聚类过程 一般能够根据输入向量比较准确地确定聚类数和相应的 聚类中心，因此，如果在已知全部输入向量时使用该方 法能够比较精确地确定网络结构。但是，它要求实现确 定全部输入向量和指定聚类中心的数目，这在实际应用 中很难办到。而动态 K- 均值聚类方法能够根据输入来实 时地确定网络的中心。因此，本文提出动态均值聚类方 法，对一般的 K-均值方法进行改进。 一、 BRF神经网络的结构原理 RBF 神经网络最基本的结构形式是一种三层前向网 动态 K- 均值聚类算法 在 RBF神经网络中心选取中的应用 ◆雷升锴　刘红阳　何　嘉　何险峰　薛　勤 摘要： RBF神经网络构造的关键问题是中心的选取，动态 K- 均值聚类算法 采用调整聚类中心的方法，使网络中心的选择更精确。本文先简介了 RBF神经 网络的结构原理，然后将动态 K- 均值算法应用于 BRF神经网络的中心选取，最 后进行了仿真实验。实验结果表明采用动态 K- 均值算法确定中心的 RBF神经网 络逼近性能更好，具有较强的实用性。 关键词： 径向基函数；神经网络；动态均值聚类算法；函数逼近 络。网络的基本构成包括输入层、隐含层和输出层，各 层的节点数目分别为 P，M ，L ，每一层都有着完全不同 的作用。其结构如图 1所示。 第一层是输入层，由一些信号源节点 (感知单元 )组 成，它们将网络与外界环境连接起来。第二层是隐含 层，由若干个隐节点构成。隐含层只有一个隐含层单 元，采用径向基函数作为其输出特性。第三层是输出 层，由若干个线性求和单元的输出节点组成，它对输入 模式的作用产生响应。输入层节点传递输入信号到隐含 层。从输入空间到隐含层空间的变换是非线性的，而从 隐含层空间到输出层空间的变换是线性的。网络输出节 点计算隐节点给出基函数的线性组合。输入层到隐含层 之间的权值固定为 1，只有隐含层到输出层之间的权值 Wkj(k=1 ，2，⋯， L ； j=1 ，2，⋯， M) 可调。 图1 RBF神经网络的组成 信息系统工程 │ 2011.6.2084 　　 TECHNOLOGY 技术应用 在图 1中，输入层由 P个信号源节点组成。设 N为当 前训练的样本总数，对于训练集的每个样本即为输入矢 量： X=(x l， x2，⋯， x p)，其中 x i(i=1 ，⋯， P)为网络的 第 i个输入。隐含层由 M 个隐节点组成。每个隐含层节 点的激活函数是一个径向基函数，它是一种局部分布的 中心点径向对称衰减的非负非线性函数。由于高斯基函 数具备表示形式简单、径向对称、光滑性好、易于进行 理论分析等优点，所以文中隐含层变换函数采用高斯基 函数，其表达形式如下所示： （ j=1，2，⋯，M） （1） 其中， X=(x 1， x 2，⋯， x p )T 为网络输入矢量。 C j为隐含层第 j 个高斯单元的中心矢量，与 X 具有相 同维数的向量， C j=(c j1 ， c j2 ，⋯， cjp )， (j=l ， 2，⋯， M) 。 e j 是第 j 个感知的变量 ( 可以自由选择的参数 ) ， 它决定了该基函数围绕中心点的宽度。 M 是隐节点 的个数。‖ X-C j ‖是向量 X-Cj 的 Euclid 范数，表示 X 和 C j 之间的距离。 Φ j(X) 为隐含层第 j 个节点的输 出，即为第 j个隐节点的活跃值。当前活跃值矢量为 。 由 高 斯 公 式 可 知，从输入层到隐含层之间是一种函数变换，隐含层节 点的输出范围在 0～1之间，且输入样本愈靠近节点的中 心，输出值愈大， Φ j(X) 在Cj 处有一个唯一的最大值。 随着‖ X-C j ‖的增大， Φ j(X) 迅速衰减到零。输出层由 L 个节点组成。设 N为当前训练的样本总数 ,对于每个样 本即为网络的实际输出矢量为： y k=(y 1，y2，⋯， yL) ， k=l ，⋯， L ，为网络的第 k个输出。 RBF 神经网络的输 出为隐含层节点输出的线性组合，输出形式可表示为： (k=1，2，⋯， L) 　　　（ 2） 其中 L 是输出节点个数， Φ j(X) 为高斯函数。 wkj 为 第k(k=1 ，2，⋯， L) 个输出节点与第 j(j=l ，2，⋯， M) 个隐节点的连接权值。 二、 BRF中心调整的动态 K- 均值聚类 算法 2.1 动态 K- 均值的引入 RBF网络中心学习过程分两步：一是根据输入样本 确定隐含层各节点的变换函数的中心 C j和半径 ρ j；二是 采用误差校正学习算法，调节输出层的权 W。其目的就 是把输入数据分配到一定数目的有意义的类别中去，即 根据欧氏空间中的距离来对输入向量进行聚类。本文采 用自适应调整聚类中心的方法——动态均值聚类法。 该方法的基本思想是：首先已知据聚类中心的数 目，然后随着向量的输入，计算输入向量与特定聚类中 心的欧氏距离。如果距离小于门限值，则将该聚类中心 所对应的输入向量的平均值作为新的聚类中心；如果距 离大于门限值，则将刚输入的向量作为新的聚类中心。 再接着输入向量，直到确定所有的聚类中心。 2.2 动态 K- 均值聚类算法在 RBF中的应用 动态 K- 均值聚类算法在 RBF网络中心选取中的作用 是调整聚类中心，使网络中心的选取更精确。它的计算 过程可以简要的描述如下： 首先，令类别数为 0（第一个输入会强迫创建出一 个类别模式以支持该输入）。以后，每遇到每一个新的 输入向量，则计算它与任何一个已分配的类别模式之间 的距离。如果指定第 P个输入向量为 X （ p） 以及第 j个聚类 中心为 Cj ，则欧氏距离 d可以表示为： 　　　（ 3） 其中 M 是输入向量的维数。 设输入向量 X （p）和所有已分配的模式类别之间 的距离已知，且和该输入矢量最近的中心为 C k，应有 d0=‖ X （p） - C k‖<‖X （p） - C j‖， j=1，⋯， T， j ≠ k其 中T是已分配类别的数目。 在确定了与输入矢量最近的中心后， k就已经确定 了，从而 d0也就确定了。先把它和距离门限值 ρ进行比 较，会有如下两种情况： (1) 当d 0<ρ时，输入矢量 X （ p）在允许的误差范围 内，该输入矢量属于第 k个类别。也就是说，如果用 Sk 表示第 K个中心所对应的全部输入矢量的集合，则 X （p ） ∈Sk。这时可以引入 k- 均值聚类方法的思想，通过求得 所有成员矢量的平均值来进行中心更新。即： 　　　　　 （4） 其中 N Sk表示第 K 个聚类中心所对的输入矢量的个 数。 (2) 当d0>ρ时，输入矢量 X （ p） 不在允许的误差范围 内，从而不能分配到该类别中去。此时，应该以 X （p） 为 中心，分配一个新的聚类中心，算法流程图如图 2所示。 信息系统工程 │ 2011.6.20 85 TECHNOLOGY 技术应用 上面的过程用动态聚类的方法实时的找到了网络的 中心，在确定网络中心 Cj 之后，可以令相应的半径 ρ j 等于其与属于该类的训练样本之间的平均距离，即： （5） 最后可以根据误差梯度下降法调节权值 W 以完成 RBF网络学习过程。 三、仿真试验及结果分析 本实验通过 RBF 神经网络函数逼近的方法来比较 K- 均值聚类和动态 K- 均值聚类方法的优劣。实验环境为 PC机一台，所用工具为 MATLAB 。 考虑非线性函数 ， 用RBF神经网络进行函数逼近。 x以 0.1 为间隔在 [0 ， 10] 上均匀取值，可得到 100 个样本作为训练样本。 RBF 神经网络的中心点个数取 m=20 ，基函数用高斯函数。对分别采用 K- 均值算法和 动态 K- 均值算法确定 RBF 神经网络中心进行比较：采 用 K- 均值聚类算法，训练时样本的最小平均相对误差 为0.1014327，图 3为K- 均值聚类法 RBF拟合曲线。采用 动态 K- 均值聚类算法，训练时样本的平均相对误差为 0.0731432 ，图 4为动态 K- 均值聚类法 RBF拟合曲线。可 见采用动态 K- 均值聚类算法可以获得更好的效果。 四、结论 本文在 k- 均值聚类算法的基础上，将动态均值聚类 方法应用到 RBF 神经网络。该方法有效地解决了 k- 均值 聚类的局限性，提高了 RBF的网络学习能力。通过仿真 实验验证了该方法的实用性和精确度，可供进一步的研 究和实际应用。　　　　　　　　　　　　　　　　 H 参考文献 [1] 阎平凡 , 张长水 . 人工神经网络与模拟进化计算 [M]. 北京 : 清华 大学出版社 ,2003. [2] 张海朝 , 黄淼 . 基于 RBF神经网络的 B样条曲面重构 [J] ，微电子 学与计算机 ,2008,7. [3] 兰天鸽 , 方勇华 . 构造 RBF神经网络及其参数优化 [J] ，计算机工 程,2008,33(5). [4]Roy A,Govil S,Miranda R.A Neural Network Learning Theory and aPolynomial Time RBF Algorithm[J].IEEE Trans.on Neural Network,1997,8(6):1301-1313. [5] 潘登 , 郑应平 . 基于 RBF神经网络的网格数据聚类方法 [J]. 计算 机应用 ,2007,26(2). [6] 任江涛 , 孙婧昊 . 一种用于文本聚类的改进的 K均值算法 [J]. 计算 机应用 ,2006,26(6). [7]Mashor M Y.Hybrid training algorithm for RBF network[J]. I n t er n a- t i on al Jour nal of t h e Co m puter, t he I nt er net and Management,2000,8(2):48-65. [ 8 ]B ianc hin i M ,Fr ascono P,C o ri M. L earn ing w i t hou t minima radialbasis function network[J].IEEE Trans on Neural Networks,1995,6(3):749-756. [9]Pedrycz W.Conditional fuzzy clustering in the design of radial ba-sis function neural network[J].IEEE Trans on Neural Networks,1998,9(4):601-612. [ 1 0] Go n zalez J,Poj as I , Po m ar es H. A n ew c l ust eri ng technique for function approximation[J].IEEE Trans on Neural Networks,2002,13(1):132-142. （作者单位：四川省农村经济综合信息中心） 图 2 动态聚类法寻找中心的流程 图3 K-均值聚类法RBF拟合曲线 图4 动态K-均值聚类法 RBF拟合曲线