人脸识别毕业论文

人脸识别 毕业论文 毕业论文答辩ppt模板下载毕业论文ppt模板下载毕业论文ppt下载关于药学专业毕业论文临床本科毕业论文下载 华北科技学院毕业设计( 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 ) 摘 要 生物识别是最能体现计算机智能的特征之一，它在科研工作和日常生活应用方面都引起了巨大的轰动。在所有生物特征里面，人脸特征是最普遍和最容易获取的，所以，人脸识别一直都是模式识别和图像处理领域最热门的课题之一。为了减弱光照、表情、姿态、摄像视角、外貌(例如头发、眼睛)等变化对识别的影响，提高三维人脸识别准确性，本文针对光照、姿态、表情等影响三维人脸识别的因素进行了研究。使用基于球面谐波基图像的光照补偿算法减弱光照对人脸识别的影响，利用三维形变模型和部件技术相结合的人脸识别方法进行多姿态人脸的识别，针对表情变化带来的塑性变形采用基于泊松方程完成非中性人脸网格模型向中性模型的变形，提高带表情模型与同类中性模型之间的相似度。这三种算法在提高三维人脸识别的性能上都有一定的帮助，对于三维人脸识别系统的研究有了一定的理论基础。 关键词:人脸识别;三维人脸识别;光照;姿态;表情 i 华北科技学院毕业设计(论文) Abstract Biometrics is one of the best embodies the characteristics of computer intelligence, its research work and daily life applications have caused a great sensation. In all the biological characteristics of which, facial feature is the most common and most easily accessible, so, face recognition, pattern recognition and image processing has been the hottest topic in the field. In order to weaken illumination, facial expressions, gestures, camera angle, appearance (eg hair, eyes) and so the impact of change on the recognition and improve the accuracy of three-dimensional face recognition, this paper light, gesture, facial expression and other factors affecting the 3D face recognition study. Spherical harmonics basic image-based illumination compensation algorithm reduced the influence of light on face recognition using 3D deformable model and parts is combined with multi-pose face recognition face recognition, for the expression of changes in the plastic deformation Poisson equation based on the completion of non-neutral facial mesh model deformation to the neutral model, increased with the same neutral expression model and the similarity between models. The three dimensional face recognition algorithm to improve the performance of all have some help, for 3D face recognition system for a certain theoretical basis. Key Words:face recognition; 3D face recognition; illumination; attitude ; expression ii 华北科技学院毕业设计(论文) 目 录 摘 要 .............................................................................................................................. i Abstract ............................................................................................................................... ii 第1章 绪 论 ............................................................................................................... 3 1.1本文工作的来源................................................................................................... 3 1.2目的和意义........................................................................................................... 3 1.3国内外进展........................................................................................................... 4 1.3.1国外进展 ................................................................................................... 4 1.3.2国内进展 ................................................................................................... 4 1.4本文工作的主要内容........................................................................................... 5 第2章 光照对三维人脸识别影响算法的研究 ............................................................. 6 2.1基于球面谐波基图像的人脸图像光照估计 ....................................................... 6 2.1.1球面谐波基图像模型 .............................................................................. 6 2.1.2人脸的球面谐波基图像近似 .................................................................. 8 2.1.3光照估计 .................................................................................................. 9 2.2人脸图像光照补偿............................................................................................. 10 2.2.1纹理图像 ................................................................................................ 10 2.2.2差图像 .................................................................................................... 11 第3章 姿态对三维人脸识别影响的算法研究 ............................................................. 13 3.1三维形变模型 .................................................................................................... 13 3.2基于ASM的三维人脸分片 ............................................................................. 15 3.3基于三维部件技术的人脸识别 ........................................................................ 16 第4章 表情对三维人脸识别的影响的研究 ................................................................. 20 4.1算法思想 ............................................................................................................ 21 4.2(Guidance-based constraint deformation) (GCD)模型 ....................................... 23 结 论 ........................................................................................................................... 27 - 1 - 华北科技学院毕业设计(论文) 参 考 文 献 ..................................................................................................................... 28 致 谢 ........................................................................................................................... 29 - 2 - 华北科技学院毕业设计(论文) 第1章 绪 论 人脸识别是当前生物特征识别研究的热点之一，目前的人脸识别方法主要集中在二维图像方面，由于受到光照、姿势、表情变化的影响，识别的准确度受到很大限制。针对人脸识别的难点，一个较好的办法是利用三维信息进行人脸的识别。本文主要研究基于三维数据模型的人脸识别问题，旨在通过提取有效并且鲁棒的三维特征完成识别;同时针对三维数据模型本身的大数据量、高复杂度的特性，探讨如何在保证识别正确率的基础上，提高识别过程的效率。 1.1本文工作的来源 导师指定题目。 1.2目的和意义 自美国发生911恐怖袭击事件以后，世界各国对如何防范恐怖分子、保障民众安全异常关注，不断积极寻找有效的身份鉴定方法。另一方面，全球范围内电子商务已迅速兴起，网络信息安全问题也伴随而来，安全可靠的网上购物和交易是电字商务进一步发展的核心问题。传统的安全方式如密码、个人识别码 (PIN)、磁卡和钥匙经常被非法盗用或者滥用，因此只能提供有限的保障。 为了保障身份鉴定方法更加有效和安全，因此提出了身份鉴别的研究。目前用于身份鉴别的生物特征有脸像、声纹、指纹、虹膜、笔迹、步态、耳型、视网膜、手形、掌纹、足迹、红外温谱图等。其中人脸识别是生物特征鉴别技术的一个重要方向，多年来一直受到许多研究者的关注。和其他生物特征识别相比，人脸识别具有主动性、非侵犯性和用户友好等许多优点。同时鉴于二维识别的局限性，三维信息能更精确地描述人的脸部，提取的某些特征具有刚体变换不变性，并且不易受化妆和光照的影响。 鉴于人脸识别具有主动性、非侵犯性等优势，如果成功地实现三维人脸识别的话，那么安全、金融、法律、人机交互等领域具有广阔的应用前景，将对身份的鉴别作出重大的贡献，同时对世界的安全也有积极地影响。 - 3 - 华北科技学院毕业设计(论文) 1.3国内外进展 三维人脸识别越来越受到研究人员的重视。国内外都兴起了对三维人脸识别技术研究的浪潮。 1.3.1国外进展 在世界，国际生物特征识别领域权威机构IBG的统计数据显示，近年来全球人脸识别的增长趋势非常强劲，年均增长率超过80%，大大超过了全球整体生物特征识别市场30%的年均增长率。人脸识别，作为全球生物特征识别的一个市场热点，越来越受到人们的普遍关注，并展示了其美好的应用前景。 国外研究机构和公司从事自动人脸识别的研究与实践较早，在美国、德国、日本等发达国家已经有相关产品问世。 1996年美国的FERET 研究机构对现有的各种人脸识别算法进行了测试， 结果表明，比较成熟的识别算法对于数千人的图像进行识别检索，识别率可达到90% 以上。现在FERET 研究机构已经成为国际权威的人像检测和识别理论和算法的评估机构。“9. 11 事件”以后，美国更加大了人脸识别技术的研究力度， 正在着手建立国家级的重点犯罪人口和恐怖破坏分子的人脸数据库。 1.3.2国内进展 作为国内企业奋起直追，突破国外技术垄断，推出性能稳定、价格适中产品的代表，汉王科技对于“汉王人脸通”的成功研发，无疑给国内人脸识别大规模商用的产业化注入了一针兴奋剂。 从2007年便开始经历迅速的发展，而且发展的脚步越来越快。由于科技界和社会各个方面都认识到人脸识别技术的重要性，国家政策对人脸识别技术研究给予了很大支持，使得我国人脸识别技术取得了很大进展。2008年，更是我国安防市场迅速扩张的一年。随着政府推动的“平安城市”建设、城市报警与监控系统(“3111” 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 )的深入展开，加之奥运会、世博会等大型活动的带动，全国进入了安防设施建设的高潮期，安防行业持续保持了快速的增长。而且，除了传统的考勤、门禁等应用外，各种新的应用需求的不断涌现，也极大地推动了这一市场的发展。 - 4 - 华北科技学院毕业设计(论文) 1.4本文工作的主要内容 本文针对二维人脸识别技术的局限性，提出了三维人脸识别技术。主要研究了三维人脸模型的识别，以及识别前所需进行的一系列的其他处理。对于光照、姿态、表情这些方面，针对以往的方法中存在的问题，提出了可能的解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。 本文的主要研究内容可概括如下: (1)光照对三维人脸识别影响的算法研究 提出了一种基于球面谐波基图像的光照补偿算法，用以在任意光照条件下进行人脸识别。算法分两步进行:光照估计和光照补偿。根据光照估计的结果，提出了两种光照补偿方法:纹理图像和差图像。纹理图像为输入图像与其光照辐照图之商，与输入图像的光照条件无关。差图像为输入图像与平均人脸在相同光照下的图像之差，通过减去平均人脸在相同光照下的图像，减弱了光照的影响。 (2)姿态对三维人脸识别影响的算法研究 针对多姿态人脸识别问题，提出了一种三维形变模型和部件技术相结合的人脸识别方法。该方法提取人脸三维部件作为识别特征，在一定程度上克服了人脸姿态变化对识别的影响。在识别过程中结合人脸的局部特征和全局特征，根据单个部件的识别率确定其在整体分类中的权值。基于整脸信息进行识别，进一步改善了识别效果。 (3) 表情对三维人脸识别影响的算法研究 针对表情变化带来的塑性变形，Guidance-based constraints deformation(GCD) 模型基于泊松方程完成非中性人脸网格模型向中性模型的变形，有助于提高带表情模型与同类中性模型之间的相似度;同时，将一个刚性约束无缝地融合到变形线性系统中，以保持类间的区别特征。因此，GCD模型有效地提高了表情变化的三维人脸识别的性能。 - 5 - 华北科技学院毕业设计(论文) 第2章 光照对三维人脸识别影响算法的研究 人脸识别经过近40年的发展，对于均匀光照下的中性表情的证明人脸图像起识别率已经很高，然而在一些更加复杂的情况下，现有的多数系统的识别性能还是受到光照变化的影响特别大，这是因为当人脸的光照发生变化时候，人脸图像的外观也会随之发生很大的变化。 本章针对这个问题，提出了基于球面谐波基图像的光照补偿算法，用以在任意光照条件下进行人脸识别。算法份两步进行:光照估计和光照补偿。 2.1基于球面谐波基图像的人脸图像光照估计 球面谐波子空间理论表明，在各向同性远光源假设条件下，朗伯凸表面的任意图像均可表示为该凸表面9个球面谐波基图像的线性组合，这9个线性组合的系数反映了该图像拍摄时的光照情况。而对于任意给定的2D图像，如果能够估计出对象的3D形状和表面反射系数，则可以解析地计算出9个球面谐波基图像，然后就可以通过最小二乘法解出9个光照系数。本节首先简单介绍球面谐波子空间理论，然后给出粗略估计人脸3D形状和表面反射属性进而计算给定人脸球面谐波基图像的策略，最后给出了基于最小二乘的光照系数估计方法。 2.1.1球面谐波基图像模型 [1][2]本章的工作是基于Basri等和Ramamoorthi提 出的球面谐波理论而发展出来的，因此本节首先简单介绍球面谐波基图像模型。 假设物体为朗伯凸表面，光源为各向同性远光源，则其辐照度E为 ''E(,,,),L(,,,)cos,d, iii,,' ,，,'''' , L(R(,,,))cos,d,iii,(2-1) ,' - 6 - 华北科技学院毕业设计(论文) ‘L其中为表面法线方向的球坐标表示，为入射光场，积分区间为物体表面(,,,), '',，,(,,,)法线方向的上半球，为一个旋转操作，将局部坐标转换成全局坐标Rii (,,,)。 ii 式(2-1)实际上是一个旋转卷积，因此很适合在空间频域中分析。球面上的信号处理工具为球面谐波函数，类似2D平面上的傅立叶级数。朗伯表面的反射方程在空域中积分区域很大(上半球)，根据Heisenberg测不准原理，则其在频域中一定局限在低频范围。因此辐照度E在频域中用球面谐波函数展开为 (l,0,1,2) l2mmE,(,,),ALY(,,,) (2-2) ,,lll,,,lml0 m2,,L其中为朗伯反射函数的球面谐波系数，为光照的A(A,,A,,A,),ll01234 [1,2]mY球面谐波系数，为球面谐波函数。式(2-2)的详细推导请参考文献。 l 假设人脸为朗伯凸表面，用表示人脸图像中某点的反射率， ,(x,y)(x,y) 表示该点的法线方向，则其亮度为 (,(x,y),,(x,y)) I(x,y),,(x,y)E(,(x,y),,(x,y)) 21mm,L,(x,y)AY(,(x,y),,(x,y)) ,,ll1l,,m,l0 21mmLb(x,y)= (2-3) ,,ll,,,llm0 mmb(x,y),,(x,y)AY(,(x,y),,(x,y))其中 (2-4) 1ll 为人脸的球面谐波基图像。球面谐波基图像可以看作是人脸在谐波光照下的图像，谐波光照为只含有一个谐波成分的虚拟光照环境。这样，人脸图像可表示为其9个球面 m mbL谐波基图像的线性组合，这9个线性组合的系数为光照系数 。 ll - 7 - 华北科技学院毕业设计(论文) 2.1.2人脸的球面谐波基图像近似 为了利用球面谐波基图像模型进行分析，我们需要知道人脸的球面谐波基图像mb，即需知道人脸的反射率和法线，其中法线又与3D形状相,(x,y)(,(x,y),,(x,y)l [3]关。9D线性子空间方法[7]利用已知的人脸3D结构计算球面谐波基图像，Zhang等假设人脸谐波基图像每点的分布符合高斯分布，再融合输入人脸的信息，用MAP估计得到输入人脸的谐波基图像.在本文中，输入人脸的反射率图和法线图也是通过“人脸类”的先验知识得到。但我们所用的人脸类的先验知识的表示有所不同。 [4,5,6]人脸的形状大致相同，该假设已用于很多视觉算法中。由于表示光照的参数只有9个，相对图像的像素数目很少，因此可以将图像的分辨率降低。而分辨率降低之后,不同人脸的形状差异就更小了。且光照对图像的影响是全局的，因此微小的形状偏差不会对光照估计造成严重影响。但为了尽可能地减小输入人脸形状与平均人脸形状的差别，本文采用基于特征点的变形技术，将平均3D人脸形状变形到输入人脸，以得到尽 [7]可能与输入人脸相似的3D形状。本文中我们用一种改进的AAM模型来定位人脸图像上的关键特征点。在输入人脸图像的特征点与平均3D人脸形状的特征点对齐之后，其它的顶点我们采用Kriging插值，将平均3D人脸形状变形到输入人脸,得到输入人脸的3D形状。 有了输入人脸的形状，其姿态也可以根据特征点的相对位置确定，则我们可以很容易地计算输入人脸的法线。图2.1给出了本文采用的平均人脸形状、输入人脸图像的特征点及其经过对齐后的特定人脸形状和法线图。 - 8 - 华北科技学院毕业设计(论文) 图2.1平均人脸形状及输入人脸的形状 光照变化对特征点的精确定位仍然是一个巨大的挑战。在光照条件很恶劣的情况下，自动定位的特征点不太准确。在本文实验部分我们比较了只用两个眼睛位置对齐平均人脸形状模型和输入人脸图像的结果，以观察系统对配准精度的敏感性。 关于反射率，我们假设人脸表面各点的反射率近似相等。更准确地，我们假设人脸 ?的反射率图中除了直流分量外不包含其它低频分量。虽然人脸表面并不严格(1,l,4) 满足上述假设，我们发现在实际应用中还是取得了很好的效果。人眼观察到的人脸皮肤颜色大致相同也证明了这一点。由于光照参数的维数很少，在实际应用中，为了使输入更符合这一点,我们将图像的分辨率可以降得很低，这样各点的反射率更接近，且反射率与皮肤差别较大的区域，如眉毛、眼睛、鼻子和嘴巴部分不参与光照估计运算。 给定任意输入人脸图像，通过上述方法估计其反射率和法线方向后，即可根据式(2-4)计算其球面谐波基图像。 2.1.3光照估计 I给定一幅人脸图像(维列向量，为图像中的像素个数)，并通过2.1.2节中的nn mL方法计算该人脸的球面谐波基图像B，则式(2-3)中的未知数只有9个光照系数，因l - 9 - 华北科技学院毕业设计(论文) mL(0,l,2)此，光照估计就是估计式(2-3)中的光照环境的9个低频球面谐波系数。l这可以通过解下述最小二乘问题得到 ˆ (2-5) L,argmin||(BL,I)||L B其中为谐波基图像的矩阵形式，是一个9×的矩阵，矩阵的每一列为一个谐波n mb(x,y)基图像。 l mmˆLL需要指出的是，根据式(2-5)估计出的光照系数 与真实的光照系数之间相差ll mmˆLL,,,常数倍，即=，其中为反射率图的直流系数。 ll000000 2.2人脸图像光照补偿 在光照估计的基础上，本节我们讨论人脸图像光照补偿。光照补偿是期望将输入人脸图像经过处理后得到一个与光照无关或至少对光照变化不敏感的表示，从而使得人脸识别变得更容易。这可以用一个统一的计算模型来表达: (2-6) F,T(I) TFI其中表示原始图像，是削弱光照变化影响的变换，是变换后的特征表示，可以是图像或者其它特征。本节我们讨论两种光照补偿方式:纹理图像和差图像。 2.2.1纹理图像 如式(2-3)所示，，其中I(x,y),,(x,y)E(x,y) 21mmE(x,y),LAY(,(x,y),,(x,y))。这种表示形式的一个好处是可以将人脸图像,,1ll,,,0llm 对纹理的依赖与形状和光照的依赖分开，其中图像对形状和光照的依赖关系用辐,(x,y) 照度表示。 E(x,y) 估计出了光照条件并已知人脸的法线方向，我们可以根据式(2-2)计算该人脸的辐照度度。这样,给定输入图像及其对应的辐照度，根据式(2-3)，E(x,y)I(x,y)E(x,y)我们得到输入人脸的纹理图像为原图像与其辐照度之比，即 ,(x,y) - 10 - 华北科技学院毕业设计(论文) I(x,y)(x,y), (2-7) ,E(x,y) 纹理图像只包含纹理信息，与形状无关，也与光照无关。但是由于计算纹理图像时 E涉及除法，当辐照度中的像素亮度值较低时，会引入噪声。为了抑制纹理图像中的噪声，在识别时我们再对式(2-7)做对数变换，得到 (2-8) log,(x,y),logI(x,y),logE(x,y) F作为式(2-6)中对光照变化不敏感的特征。 纹理图像中虽然没有形状信息，但辐照度度E的计算还需要知道输入人脸的形状。与光照估计的全局过程不同，光照补偿是对图像中每个像素单独进行是一个局部过程，因此在计算输入人脸的形状时，对特征点定位精度有一定敏感性。 2.2.2差图像 光照变化对特征点的准确定位至今仍是一个很大的挑战，因此本小节我们考虑另外一种光照补偿方式，既能保留输入人脸的形状和纹理信息，同时又对配准精度不敏感。 根据，辐照度依赖于光照和输入人脸的形状。辐照I(x,y),,(x,y)E(x,y)E(x,y) E度中只包含低频信息，滤去图像中的低频信息就能将光照的影响去掉。进行滤波操作最合适的方法是将中的乘法变成log域中的加法。对式(2-3)两I(x,y),,(x,y)E(x,y) 边进行log运算，也可以得到式(2-8)的纹理图像。由上面的讨论我们知道计算E还需要知道输入人脸的形状，因此对配准有一定要求。 由于输入人脸的精确形状很难得到，所以在下面的差图像光照补偿算法中我们不显式地使用输入人脸的形状，只利用编码在输入图像中的形状信息。另外我们希望在处理之后的图像中不同输入人脸形状的信息还能得到保留。 用平均人脸模型来代替式(2-8)中的输入人脸的形状是一个很好的选择: ' (2-9) log,(x,y),logI(x,y),logE(x,y)avg - 11 - 华北科技学院毕业设计(论文) EE其中是平均人脸在输入光照下的辐照度。由于的低频性质和E类似，上式avgavg 'E中的log,(x,y)受光照的影响也很小。不同的是，上式中是用平均人脸形状计算avg '的，所以最后处理得到的图像log,(x,y)中，不仅包含了输入人脸的纹理信息，同时输入人脸形状同平均人脸形状的差异也得到了保留。上式一个直观的解释是:将输入图像(log域)减去一个只与光照有关的成分(平均人脸在输入光照下的辐照度)，最后得到的结果图像中光照的影响得到了减弱，同时输入人脸的形状和纹理信息没有丢失。 需要指出的是，当粗略配准时(只有两个眼睛位置给定)，式(2-8)与式(2-9)是等价的。 ElogE(x,y)E当输入光照对应的辐照度亮度过低时，式(2-8)的会随变化avgavgavg有较大变化，带来噪声。为了抑制噪声，我们退而求其次，用图像域中的减法来代替式(2-9)中log域的减法，得到 I,I(x,y),E(x,y) (2-10) diffavg E(x,y)I如果将平均人脸的纹理看成为常数1，则可以看成为，为平均人脸在avgavg输入光照下的图像。这样将 I(x,y),I(x,y),I(x,y) (2-11) diffavg 定义为差图像，作为式(2-6)中对光照变化不敏感的特征F。 由于两幅图像在相同光照下，通过对两幅图像做差，减弱了光照变化对人脸图像的影响，从而达到光照补偿的目的，同时又保留了用于识别的输入人脸与平均人脸的差别。该差别既包括由纹理引起的差别，也包括由形状引起的差别。 - 12 - 华北科技学院毕业设计(论文) 第3章 姿态对三维人脸识别影响的算法研究 一种三维形变模型和部件技术相结合的多姿态人脸识别方法。该方法有效地对姿态问题进行了很好地处理。 首先利用ASM对三维形变模型建立过程中的分片进行优化，使原型人脸的对齐是以人脸的特征区域为基础;然后利用形变模型重建三维人脸，依据分片原则将三维人脸划分为各个部件，把部件的几何信息和纹理信息作为识别的特征。在分类中，采用两层分类方法，第1层以每个部件作为弱分类器，统计其识别率;第2层根据每个部件的识别率决定其在整体分类中的权值，基于整脸信息进行识别。作者是在三维上实现人脸识别，增加了深度信息，结合部件对姿态的鲁棒性，在一定程度上克服了姿态变化的影响。在分类识别算法中，把人脸的局部特征和全局特征结合起来，取得了很好的识别效果。 3.1三维形变模型 形变模型使用一类对象中若干典型样本张成该类对象的一个子空间，使用子空间基底的组合近似表示该类对象的特定实例。使用形变模型进行三维人脸重建分为2个过程:1)建立模型，获取人脸数据并建立人脸的对应和组合模型;2)针对特定人脸图像，进行模型匹配，实现三维人脸重建。 TS三维人脸库中的原型人脸可用几何向量和纹理向量统一表示 ii T S,(X,Y,Z,...,X,Y,Z)111iiiiininin TT,(R,G,B,...,R,G,B) (3-1) 111iiiiininin N式中，;表示人脸的数量;表示三维人脸模型中顶点的个数;i,1,2,...,Nn (R,G,B)(X,Y,Z)是和顶点对应的R、G、B颜色值。则形变模型可由线性组合ijijijijijij 给出 - 13 - 华北科技学院毕业设计(论文) NNNN S,aS，T,bT 其中 a,b,1 (3-2) ,,,,niiniiiiiiii 式中，S表示变形生成的几何向量;表示变形生成的纹理向量。对于给定的人Tnn 脸图像，模型匹配是将三维人脸模型变形，使得变形后的模型人脸与给定人脸图像最为匹配。由于三维人脸与二维图像的误差不能直接度量，因此可将三维人脸投影到图像空间进行比较。对于特定的人脸图像及模型人脸的投影图像，用2副图像对应像素点颜色纹理的参差来定义它们之间的误差 2 (3-3) E,[I(x,y),I(x,y)],imxy(,) 式中，I(x,y)表示输入图像上的像素点，I(x,y)表示投影图像上的像素点。可采im 用随机梯度下降法优化式(3-3)的目标函数，得到形变参数。.给定1副或几副人脸照片，进行匹配优化，即可得到三维特定人脸(见图3-1)。 图3.1 不同姿态的人脸重建结果 - 14 - 华北科技学院毕业设计(论文) 3.2基于ASM的三维人脸分片 形变模型的关键是原型人脸间稠密点集的对齐，对齐的准确度直接影响线性组合的结果。针对三维原型人脸的数据特点，Gu Chun-liang等提出了一种基于分片重采样的 [8]三维对应技术，得到的所有三维原型人脸具有统一的拓扑结构。但该方法在分片过程中，需要人工交互定义一些特征点和线，采样点密度有限，分片与特征区域并未达到很好的对应，作者提出的人脸识别方法以三维部件为特征，而三维部件是以分片为基础，分片的准确性将影响到部件提取的质量。 原型人脸包含形状信息与纹理信息2部分数据，利用ASM在纹理图上标定特征点， [9]以所有特征点的连线作为分片边界，将纹理图分割成不同的区域。然后根据纹理映射图，将分片结果映射到三维人脸上，完成对三维人脸的分片(见图3-2)。 图3.2 特征点的标定结果与分片结果 重采样要求分片时尽量保证特征点与特征区域的一致，眼睛、眉毛、鼻子和嘴是人脸的主要特征，作者增加了上述部位的特征点数，更大限度地保证每个分片是以人脸的特征区域为基准，同时由于ASM自动定位特征点的特性，实现了自动化分片。分片完成后，利用重采样方法实现三维原型人脸对齐，建立形变模型。 - 15 - 华北科技学院毕业设计(论文) 3.3基于三维部件技术的人脸识别 在二维多姿态人脸识别中，相对于整脸，基于部件技术的人脸识别方法可以达到较好的识别效果，但该方法需要采集大量样本，当目标人脸照片跟库中样本的姿态差别较大时，识别率较低;在分类中，把部件的整体组合作为识别特征，不能反映各个部件的局部特性。作者采用三维形变模型和部件技术相结合的方法解决多姿态人脸问题纹理数据与几何数据是一一对应的，根据任意姿态照片建的三维人脸，都可以与正面照片重建的三维人脸直接比较，一定程度上能克服姿态对人脸识别的影响。在分类中，采用2层分类方法，把人脸的局部特征和全局特征结合起来进行识别。 3.3.1特征提取 本文的三维形变模型采用了基于分片重采样的三维人脸对齐方法，所有的三维人脸具有统一的拓扑构。分片是以人脸的特征区域为准则，各个部件以分片的区域为基础划分，整个三维人脸定义为所有部的组合，表示人脸的全局特征;每个部件代表着人脸不同的区域特征，表示人脸的局部特征，对于姿态的化具有一定的鲁棒性。图3-3中不同姿态的人脸照片差异较大，提取三维部件后，对主要部件而言，差异对较小(图3d)，识别中可以增加这些部件的权重，降低受姿态影响较大的部件的权重。 - 16 - 华北科技学院毕业设计(论文) 图3.3 不同姿态的人脸对应的主要三维部件 c每个三维部件用几何向量和纹理向量表示 i T3nS,(X,Y,Z,X,...,Y,Z),R， (i,1,2,...,m)ii1i1i1i2inin T3nT,(R,G,B,R,...,G,B),R， (3-4) (i,1,2,...,m)ii1i1i1i2inin X、Y、ZR、G、B式中，为部件的数目;为几何坐标值;为纹理坐标值;为部件mn 的点数。 N训练过程中，给定张二维正面人脸照片，利用形变模型重建每张照片对应的三维cST人脸，提取各个，得到其几何向量和纹理向量 jijiji T3n， (i,1,2,...,m，j,1,2,...,N)S,(X,Y,Z,X,...,Y,Z),Riji1ji1ji1ji2jinjin T3n， (i,1,2,...,m，j,1,2,...,N)T,(R,G,B,R,...,G,B),Riji1ji1ji1ji2jinjin (3-5) - 17 - 华北科技学院毕业设计(论文) [10]TS为了简化计算，作者利用PCA算法，分别对纹理向量和几何向量进行降jiji TT,,(,,,,...,,),,(,,,,...,,)维，得到几何投影矩 和纹理投影矩阵,并121121titttmsisssm ST将、分别在和作投影 ,,jijisiti ,,,，S sjisiji ,,,，S(3-6) tjitiji c每个部件表示为 ji ,,(,,,,...,,) sjisj1sj2sjm1 ,,(,,,,...,,) (3-7) tjitj1tj2tjm2 式中，为相应部件的几何向量维数; 为纹理向量维数。 mm12 C,(C,C,...,C)每个人脸 最终表示为 ksk1sk2skm S,(,,,,...,,) ksk1sk2skm T,(,,,,...,,) (3-8) ktk1tk2tkm 3.3.2分类方法 以部件的整体为分类器，容易忽略人脸的局部特征，仅以某个部件作为分类器，分类效果会很差，作者考虑将2种方法有效地结合起来，采用两层分类方法:第1层分类，将每个三维人脸部件作为一个弱分类器，统计其识别率;第2层把这些弱分类器组合成一个强分类器，根据每个部件的识别率，确定各个部件在强分类器中的权值，改善 c了识别效果。在识别过程中，用多姿态人脸照片重建三维人脸，提取每个部件，得到i ST,,几何向量和纹理向量，根据式(3-3-3)分别向和作投影变换后，得到人脸C最iisiti 终表示 S,(,,,,...,,) s1s2sm T,(,,,,...,,) (3-9) t1t2tm - 18 - 华北科技学院毕业设计(论文) 每个部件的分类判别式为 (3-10) g(c),min(,,,，,,,)kisiskititki Nk式中，=1，2，„，;=1，2，„，。 im 综上所述，可以确定每个部件的识别率，根据该识别率确定每个部件在整体强分类 器中的权值,，后整体分类器的分类公式为 i m g(C),min(d，,) (3-11) ,kkii1 d式中= ,,,，,,,kisiskititki - 19 - 华北科技学院毕业设计(论文) 第4章 表情对三维人脸识别的影响的研究 3D人脸模型具有显式的形状，与2D图像相比较而言，对姿态、光线、化妆、皮肤颜色等因素不敏感，因而3D人脸识别技术在这些方面相比2D人脸识别有天然的优势，这大大拓展了人脸识别的应用空间。然而，正如人脸表情将会影响2D图像的表 [11]观，从而大大降低2D人脸识别算法的性能一样，人脸表情也将改变3D人脸模型的形状，造成人脸局部区域产生塑性变形，如图4.1，塑性变形造成了人脸形状的较大改变。尽管这种改变是表情造成的，而不是个体差异造成的，但是，由于无法区分差异的原因，因而没有理由认为两张表情造成的形状不同的3D人脸来自于同一个人，因而表情也降低3D人脸匹配算法的性能。 因此，如何克服或降低表情的影响是3D人脸识别中一个关键的问题和挑战，在本章中，我们将讨论如何建立一个3D人脸的弱表情模型，在匹配之前对人脸网格应用该模型，从而降低表情对算法的性能损害。 图4.1表情带来的人脸塑性扭曲 - 20 - 华北科技学院毕业设计(论文) 4.1算法思想 本节我们首先定义3D人脸识别中的表情问题，以将求解的问题明确化，然后分析可行的解决方案。 3D人脸识别问题和确认问题都包含一个库，每人至少在库中登记了一个模gallery 型，正如我们上一节所述，一个人登记多个模型会造成运算规模变大而缺乏实用，我们规定中每个人都只有一个模型，且是中性表情模型。问题定义为:中登gallerygallery记了多个身份人每人一个的中性表情模型，对输入的一个带表情的模型，如何实现正确的分类。 (sim)定义两个相似度，类间相似度，是指不同人对应的模型之间的相似度，类内b (sim)相似度 ，是指同一个人不同模型之间的相似度。表情的引入自然降低了类内相w 似度，使得同类模型从匹配结果上看如同异类一样。如图4.2，A类的由于表情probe改变了3D形状，使得它距离A类较远，而距离非A类较近，造成匹配错误。考虑对 进行变换，图4.2中有9条变换方向，分别编号为1-9，图中1、2、9三条变换方probe 向有助于拉近与A类之间的距离，其它变换方向都不利于正确分类，因为它们使probe 得与A类更不相似。在1、2、9这条变换方向中，2号变换方向同时拉进probeprobe与A类和非A类的距离，依然不利于分类。l号变换方向是最佳的，拉进与A类距离的同时保持着与非A类的差别。这正是我们的解决表情问题的方向，即，对3D人脸识别中的表情问题，由于我们是面向识别性能这个目标，我们并不需要建立一个统一的表情生成和转变模型，只需建立一个变换，该变换能提高类内相似度，而保持类间的差别度，如式4-1。 elmod(Sim，Sim，probe，gallery),,,,Sim,Sim (4-1) wbwb - 21 - 华北科技学院毕业设计(论文) 图4.2表情引起的类内相似度变化示意图 假设我们有一种自由变形技术，可以将给定的带表情的在其自身拓扑条件约probe 束下尽可能地向另外一个模型进行变形，利用中模型的信息，假设中存gallerygallery MM在一个模型与来自于同一个人，总能变形成与非常相似。但probeprobeprobe会向每一个中的模型变形，这就造成了与其它非同类的模型也变得相galleryprobe 似，这是图4.2中2号变换线的变换方向。改进的想法是，我们不对的全部区域probe进行变形，假设可以分为两部分P和P，前者是表情相对不变的区域，后者是probeAB 表情影响大的区域，我们只对P部分向中的模型变形，此时，由于P部分与galleryBAMMP的对应部分依然很相似，经部分的变化，仍有机会变成总体与很相似。probeB P这就拉近了类内模型的相似度，同时，当向其它非同类模型变形时，由于部分probeA保留使得probe不会拉近与其它模型的相似度，这就实现了保持类间模型仍然具足够差 - 22 - 华北科技学院毕业设计(论文) M别的目的。现在去掉中存在的假设，由于缺少正确的变形向导，无法galleryprobe变形成它自身中性模型的模式，但它依然保持了与中其它模型的区别度，即保gallery 持了类间差别度。按以上的思路，我们提出了一个基于变形的弱表情模型，GCD模型(Guidance-based constraint deformation)。 4.2(Guidance-based constraint deformation) (GCD)模型 GCD模型基于网格变形技术，其目的是为了减小输入模型的曲面塑性扭probe 曲，GCD模型是3D人脸识别匹配前对输入模型的中间处理步骤。本节我们首先描述GCD模型的框架和相关的理论背景，然后对该模型的核心步骤，基于向导的变形和变形刚性约束进行详细描述。 4.3 GCD模型的框架 4.2.1模型框架 正如前所述，GCD模型要完成两项关键操作，一是将probe在自身拓扑结构的约束下向gallery中每一个模型进行变形操作，其次操作是给定两个人脸网格M和M，将pgM向M变形，我们称之为基于向导的变形技术(Guidance-based deformation);二是保证pg - 23 - 华北科技学院毕业设计(论文) 只变形M中的刚性部分，这一步操作我们通过一个刚性约束完成，称之Rigid p Constraint。图4.3描述了GCD模型的主要框架。 4.2.2理论背景 按网格流形的严格定义，3D人脸曲面可以表示为一个2D流形网格，M,(V，K)图4.4显示了一个1环的网格;在3D人脸网格上，我们定义以下概念: 图4.4 一环网格 (l)离散标量场(Discrete Scalar Fields)和离散矢量场(Discrete Vector Fields) M,网格上定义的离散标量场，可以表示为: ,(,),,(,), (4-2) ,iii M,v其中是一个分段线性基函数，在上点值为1，其它顶点位置值为0，因此，ii M,x，y，z,,标量场在处的值为。网格上点的坐标的三个分量都满足标量场的定ii 义，可以看作是定义在网格上的三个标量场。 M上离散矢量场的定义类似于标量场，如下: , - 24 - 华北科技学院毕业设计(论文) (4-3) ,(v),,(v), ,kkT,NT(v)k 其中是分段常基函数(piecewise-constant basis function)，在三角形片内部为,Tkk 1，T外部为0;表示与顶点邻接的所有三角面片集。标量场的梯度场是网格上NT(v)vk 的一个矢量场。 (2)离散梯度运算子(Discrete Gradient Operator) ,网格上离散标量场的梯度运算子定义如下: (4-4) ,,(v),,,,(v),iii,Tv Tv，v，v其中是顶点依附的三角形，它的三个顶点为，按逆时针排序。 vv012 1, (4-5) ,,(v),(v,v)i(i2)%3(i1)%3，，2At ? TT其中表示三角形的面积，%是求模运算符，(?)表示将向量沿的法向逆时AvvT T针旋转90度。标量场经梯度运算，可以得到一个梯度向量场，在内部，梯度是一个v常量。 (3)离散散度运算子(Discrete Divergence Operator) [12]M给定网格上的向量场，散度运算子定义为: , (4-6) Div,()(v),,,,，,,A ,iik,()TNikT 其中表示向量点乘运算。 ,?，?, (4)离散拉普拉斯运算子(Discrete Lapace-Beltrami Operator) ,标量场上的拉普拉斯算子在1环网格上可以表示为下式，参考图4.4中角度的符 号。 1,,(v),(cot,，cot,)(,,,) (4-7) ,iiiij2j,N(i) v其中表示顶点的邻接顶点。 N(i)i - 25 - 华北科技学院毕业设计(论文) - 26 - 华北科技学院毕业设计(论文) 结 论 本文通过分别对光照、姿态、表情对三维人脸识别的影响的算法进行了研究，实验还是比较成功，但对还是有些方面不足。 基于球面谐波理论，本文提出了两种对任意光照下的人脸图像进行光照补偿的算法。我们首先估计输入人脸图像的光照条件，即光照环境的9个低维球面谐波系数。在光照估计的基础上，我们提出了两种光照补偿的方法:纹理图像和差图像。本文还讨论了光照估计和光照补偿对对齐精度的敏感性，这对我们构造实用的人脸识别系统也很重要。 基于不精确的特征对齐进行3D形状估计进而对光照进行估计影响不是太大，但准确的特征点定位有助于得到更准确的3D形状，进而提高人脸识别率。因此下一步工作是提高特征点定位的准确性，尤其是在光照条件不佳时。另外降低光照补偿中的噪声也是下一步工作之一。 针对多姿态人脸识别的问题，提出了一种三维形变模型与部件技术相结合的识别方法，利用三维形变模型重建三维人脸，将三维人脸划分为36个部件，把三维部件的几何向量和纹理向量作为识别的特征，由于增加了深度信息，同时结合部件对姿态变化的鲁棒性，在一定程度上克服姿态变化的影响;两层分类方法把人脸的局部特征和全局特征有效地结合起来，在二维和三维条件下都可以达到较好的识别效果。 提出了一个克服表情影响的GCD模型。该模型的出发点是通过变形提高类内三维人脸的相似度，同时保持类间模型的区别。借助网格变形技术，非中性人脸向中性向导的变形有助于提高类内相似度，同时，刚性约束条件保证了类间相似度不会提高。GCD模型是表情不变的三维人脸识别领域的重要工作，国外同行对该算法给予了较高的评价。实验也表明，GCD模型显著提高了表情变化下的三维人脸识别的性能。 对光照、姿态、表情对三维人脸识别的影响都进行了研究，有所欠缺的是没有把这些算法实践到具体的系统中。 - 27 - 华北科技学院毕业设计(论文) 参 考 文 献 [1] 卿来云,山世光,陈熙霖等.基于球面谐波基图像的任意光照下的人脸识别[J].计算 机学报,2006,29(5): 760-768 [2] 柴秀娟,山世光,卿来云等.基于3D人脸重建的光照、姿态不变人脸识别[J].软件学 报, 2006, 17(3): 525-534 [3] 胡峰松,林亚平等.应用于人脸识别的基于Candide-3特定人脸三维重建[J].湖南大 学学报, 2008, 35(11): 69-73 [4] 刘小军,王东峰,张丽飞等.一种基于奇异值分解和隐马尔可夫模型的人脸识别方法[J]. 计算机学报, 2003, 26(3): 340-344 [5] 柴秀娟,山世光,高文等.基于样例学习的面部特征自动标定算法[J].软件学报, 2005, 16(5): 718-726 [6] 宋枫溪,杨静宇,刘树海等.基于多类最大散底差的人脸表示方法[J].自动化学报, 2006, 32(3): 378-385 [7] 潘纲,三维人脸识别若干技术研究:[D],杭州;浙江大学,2003 [8] 叶剑华,刘正光,基于3DLBP和核判别分析的三维人脸识别[J],天津大学学报,2008,41 (3):344-348 [9] 张文超,山世光,张洪名等,基于局部Gabor变化直方图序列的人脸描述与识别[J],软件 学报,2006,17(12):2508-2517 [10] 山世光,人脸识别中若干关键问题的研究:[D],北京;中国科学院,2004 [11] 刘瑾,人脸识别中的大样本集问题及多模式图像融合方法的研究:[D],天津;天津大 学,2006 [12] 叶剑华, 三维及多模态人脸识别研究:[D], 天津;天津大学,2008 [13] 王跃明,表情不变的三维人脸识别研究;[D],浙江,浙江大学,2007 - 28 - 华北科技学院毕业设计(论文) 致 谢 本论文是在我的指导导师杜杏菁老师的精心指导下完成的。在毕设期间，杜老师言传身教，从技术路线直至许多具体细节，都给予了我至关重要的指导和帮助。杜老师严谨的治学态度、渊博的理论知识、开阔的思维方式、永远高昂的工作激情都给我留下了深刻的印象，永远是我学习的榜样。杜老师在理论和工程两个方面的严格要求，使我不仅学到了扎实的理论知识，而且获得了丰富的实践经验。在工作和为人两方面，从杜老师身上学到的一切东西都将使我的一生受益无穷。 再次感谢杜老师，她的指导陪伴我度过了四年的大学生涯，杜老师踏实的作风、深邃的思维、广博的知识，总让我羡慕不已，可以说，我的每一点成长与进步，都与杜老师有关，杜老师对我的影响必将持续到我未来的生活、工作和家庭中去。 感谢我的室友文成志和郝佳奇，和他们一起共同努力渡过大学生活，非常快乐。他们在学习和生活中给予了我大量的帮助，曾与我一起分享许多快乐的时光。 最感谢我最敬爱的父母，在我多年的求学过程中，他们一直在背后默默无闻地支持我、帮助我，使我对生活永远充满信心，我要用我的全部来报答他们。感谢所有给予我指导、帮助、关心和支持的人们。 - 29 - 华北科技学院毕业设计(论文) - 30 -