基于Gabor变换和支持向量机的手写体字符识别算法

文章编号 : 167121742 (2009) 0420370204 基于 Gabor 变换和支持向量机的手写体字符识别算法 任德昊1 ,2 , 　陈　超2 , 　李文藻2 (1. 电子科技大学 ,四川 成都 610054 ;2. 成都信息工程学院 ,四川 成都 610225) 　　摘要 :针对在手写字符识别中由于书写习惯和风格的不同造成字符模式不稳定的问题 ,将支持向量机 SVM 方 法用于手写字符的识别。算法首先采用 Gabor 变换提取手写字符图像的特征参数 ,然后采用提取的特征训练 SVM 分类器 ,再应用 SVM 分类器分类和判别手写字符。实验 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明这种方法具有良好的车牌识别效果 ,较强的鲁棒性 , 较大的应用价值。 关 　键 　词 :支持向量机 ;手写字符识别 ;特征提取 ; Gabor 变换 中图分类号 : TP391. 41 　　　　　　文献标识码 :A 收稿日期 :2008212223 手写数字的分割和识别在许多重要领域中 ,如邮政、财务、税务、金融等都有着广泛的实际应用背景。手写数 字因其书写随意、字符模式不稳定的特点 ,使手写数字的切分一直为极具挑战的难题。 图像的纹理特征描述了图像中反复出现的局部模式和它们的排列规则 ,反映了宏观意义上灰度变化的规律。 图像可以看成是不同纹理区域的组合 ,纹理特征可以用于定量描述图像中的空间信息。在实际工作过程中 ,不同 岩性的岩屑的纹理存在一定的差异 ,因此可以提取岩屑的纹理信息进行岩屑的识别。 近年来 ,出现了一种称为支持向量机 (SVM) 的新型机器学习方法。SVM 方法基于结构风险最小化原理 ,将 低维非线性的输入映射到高维线性的输出 ,与传统的人工神经网络相比 ,模型结构简单 ,能较好地解决小样本、非 线性、高维数和局部极小点等实际问题 ,各项技术性能尤其是泛化能力明显提高。 文中研究了支持向量机在手写数字字符识别的应用 ,将支持向量机与纹理特征结合起来 ,建立起一种基于支 持向量机与纹理的手写数字字符识别算法。通过对 M INST 字库的一系列实验表明该算法字符识别达到较高的 识别率 ,具有令人满意的应用效果。 1 　支持向量机( SVM)的原理[ 1] SVM 算法的基本思想是根据结构风险最小化原理[224 ]的统计学习理论 ,通过最优超平面的构造使泛化误差 的上限最小化。通过选择训练一组成为支持向量 ( Support Vectors) 的特征子集 ,使得对支持向量集的划分等价 于对整个数据集的分割。 111 　两类问题 支持向量机是基于统计学习理论的方法 ,通过构造最优超平面 ,使对未知样本的分类误差最小。首先考虑的 是两类模式的分类问题 ,设模式样本 ( X i , Y i) , 1 Φ i Φ N , X i ∈R n , Y i ∈{ - 1 ,1}表示一个训练样本集 , n 为样本 特征空间的维数 , Y i 为样本 X i 的所属类别。在线性可分的情况下 ,若超平面满足式 (1) 便可以正确的将两类区 域分开 ,即具有相同标号的样本都落在分类超平面的同一侧 ,其中“1”表示向量的点积。 　w·X + b = 0 (1) 在两类模式为线性不可分的情况下 ,超平面无法将两类分开。通过非线性变换将给定的模式样本变换到高 维特征空间 ,然后在高维特征空间中构造分类超平面 ,该分类超平面在原空间中可以表示为 　w <( X) + b = 0 设所有样本 X i ,式| w·<( X) + b| 的最小值为 1 ,则样本与最优分类面的最小距离为 1/ w ,最优分类超平 面满足约束条件 第 24 卷第 4 期 2009 年 8 月 成　都　信　息　工　程　学　院　学　报 JOURNAL OF CHEN GDU UNIVERSITY OF INFORMATION TECHNOLO GY Vol. 24 No. 4 Aug. 2009 　Y i ( w·<( X i) + b) Ε 1 w 和 b 的优化条件是使两类样本到超平面的距离之和 2/ w 最大 ,即 w·w / 2 最小。利用Lagrange 优化方 法可以把上述最优分类面问题转化为其对偶问题 ,即在约束条件式 (2)下对αi 求式 (3)的最大值。 　∑ N i = 1 Y iαi = 0 　αi Ε 0 , i = 1 , ⋯, N (2) 　Q (α) = ∑ N i = 1 αi - 12 ∑ N i = 1 ∑ N j = 1 αiαj Y i Y j<( X i·X j) (3) 　w 3 = ∑N i = 1 α3i Y i<( X i) (4) 若α3i 为最优解则满足式 (4) ,即最优面的权系数向量是训练样本向量的线性组合。αi 为与每一个样本对应 的 Lagrange 乘子。这个问题可用二次规划问题求解。对于多数样本α3i 将为 0 ,取值不为零的α3i 即为支持向 量。解上述问题得到最优分类函数 　f ( X) = sgn ( ∑ N i = 1 α3i Y iθ( X i·X) + b 3 ) 考虑线性不可分的情况 ,在条件中增加了一个松弛因子ζi Ε 0 ,条件变为 　Y i ( w·X i + b) Ε 1 - ζi (5) 于是问题变为在约束式 (5)和ζi Ε 0 条件下最小化 12 w·w + C ∑Ni = 1ζi , C > 0 是一个常数 ,它控制对样本的错分 惩罚程度。此时最优分类面的对偶问题与线性可分情况下几乎相同 ,只是αi Ε 0 变为 0 Φαi Φ C ( i = 1 , ⋯, N ) 。 2 　基于支持向量机的手写字符识别 211 　字符特征的选取 Gabor 变换是基于多通道、多分辨率分析的一种方法 ,符合人类视觉感知系统的特性。由于 Gabor 变换[5 ]的 识别特征能充分反映笔画结构在空间上的局域性 ,笔画的方向性以及在频域上笔画与干扰的可分性等重要的特 性 ,因此在选取特征的时候选用 Gabor 变换提取特征。 选择的 Gabor 核函数为 　G ( x , y , s , g) = G1 ( x , y) [ sin ( R) ] + i G1 ( x , y) [cos( R) - e - π2 2 ] (6) 其中 　 G1 ( x , y) = e - x 2 + y 2 sπ2 R = πg 2 ( ycosθ- x sinθ) 　其中θ= πi a 　i = 0 , ⋯, a 　a 为方向数 　 图 1 　G(x ,y)波形图 根据式 (6) ,得到πg2 是 Gabor 的角频率 w 。再根据角 频率的公式 w = 2πf 得到 : 　g = 4 f = 4λ 212 　识别的基本过程 由于构成训练样本的原始图像尺寸往往有多种 ,因此 首先要把原始图像归一化到一个 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 尺寸 30 ×30 ,则每一 幅归一化以后的图像都由 30 ×30 维特征向量表示。 21211 　训练模块的基本步骤 (1)对训练样本的大小进行归一化处理 ,得到 30 ×30 的标准图像。 (2)对归一化以后的标准图像进行 Gabor 变换得到特 征值 ,再对字符图像求整体结构特征 ,得到选取图像的特征参数。 173第 4 期 　　　　　　　任德昊等 :基于 Gabor 变换和支持向量机的手写体字符识别算法 (3)基于特征参数构造支持向量机 ,在实际应用中采用的是高斯径向基核函数为核函数。 21212 　识别模块的基本步骤 (1)对测试样本进行归一化处理。 (2)通过 Gabor 变换得到特征值 ,再对字符图像求其整体结构特征构成整幅字符图像的特征参数。 (3)根据 SVM 方法进行判别。 图 2 　Gabor 算子的实部和虚部 图 3 　手写字符识别 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图 　 图 4 　部分实验字库样本 213 　识别结果和分析 实验使用 M INST 数据库中的手写数字 字符。从中选取 1800 个训练样本和 450 个测 试样本 ,每个样本都只经过简单的二值化并归 一化为 30 ×30 像素的图像。图 4 所示为该字 库的部分字符的图像 ,可以看出该字库中各字 符笔画的形态、粗细和灰度等级的差别都很明 显。分别对参数 C 和δ取不同的值进行测 试 ,最后发现当取 C = 100 ,δ= 013 或则当δ= 014 效果较好 ,实验结果如表 1 所示。 表 1 　手写体数字识别率 字符 0 字符 1 字符 2 字符 3 字符 4 字符 5 字符 6 字符 7 字符 8 字符 9 训练集 % 100 100 100 100 100 100 100 100 100 100 测试集 % 100 92 98 95 84 91 98 88 90 86 3 　结束语 手写体数字字符在现实生活中的应用极为广泛 ,因此其识别问题一直是图像处理与模式识别领域的热点。 273 成 　都 　信 　息 　工 　程 　学 　院 　学 　报 　　　　　　　　　　　第 24 卷 SVM 区别于以往的分类方法 ,着重最小化训练集的结构误差 ,通过一个二次规划问题 ,来达到在最小化误识率的 基础上给出一个误识率的上界 ,从而得到很好的推广。SVM 训练结果是一组支持向量。SVM 得到的是与支持 向量有关样本所决定的分类结果。把 SVM 引入到手写体数字字符识别中 ,是一种可行的途径 ,尤其是在小样本 学习的情况下 ,应用 SVM 有良好的性能。 参考文献 : [1 ] 　边肇祺 ,张学工. 模式识别 (第二版) [ M ] . 北京 :清华大学出版社 ,2000. [2 ] 　Burges J C. Autorial on support vector machines for pattern recognition [J ] . Data Mining and Knowledge Dis2 covery ,1998 ,2 (2) :1 - 47. [3 ] 　邓乃扬 ,田英杰. 据挖掘中的新方法 ———支持向量机[ M ] . 北京 :科学出版社 ,2004. [4 ] 　王宏漫 ,欧宗瑛. 基于支持向量机的人脸识别方法研究[J ] . 小型微型计算机系统 ,2004 ,25 (1) :139 - 142. [5 ] 　王学文 ,丁晓青 ,刘长松. 基于 Gabor 变换的高鲁棒汉字识别新方法[J ] . 电子学报 ,2002 ,9 :1317 - 1321. [6 ] 　吴炜 ,余艳梅 ,刘大宇 ,何小海. 一种基于 Hausdorff 距离的车牌字符识别算法[J ] . 计算机应用研究 ,2004 ,21 (2) :258 - 260. [7 ] 　Vapnik V. 张学工译. 统计学习理论的本质[ M ] . 北京 :清华大学出版社 ,1999. [8 ] 　Trier I D ,Jain A K , Taxt t . Feature Extraction Methods for Character Recognition2A Survey[J ] . Pattern recog2 nition ,1996 ,29 (4) :641 - 662. An algorithm based on Gabor f ilter and SVM for handwritten numeral recognition REN De2hao1 ,2 , 　CHEN Chao2 , 　L I Wen2zao2 (1. U ESTC , Chengdu 610054 , China ; 2. CU IT , Chengdu 610225 , China) Abstract :An algorithm based on Gabor filter and SVM is proposed for the handwritten character recognition. The features of the characters are detected by using the Gabor filter and global st ructural feature extraction. The features are used to train the support vector machine classifier. The characters are classified by suing trained support vector machines. Using the algorithm a high recognition rate can be reached. The experiment results show that the algo2 rithm is feasible , robust and applicable. Key words :support vector machine ; handwritten character recognition ; feature extraction ; Gabor filter 373第 4 期 　　　　　　　任德昊等 :基于 Gabor 变换和支持向量机的手写体字符识别算法