基于双层肌肉的唇部建模及仿真

基于双层肌肉的唇部建模及仿真 1,21,211,2作者～作者～作者～作者 (1. 作者详细单位，省市 邮编;2. 作者详细单位，省市 邮编) 摘 要:唇部模型在虚拟人脸 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 情及发音运动中起着关键的作用～但现有模型运动较为简单～未能完全实现凸抿等常用 动作。针对以上问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ～提出一种唇部双层肌肉模型及仿真方法。基于唇部解剖结构～将深层肌视为控制嘴角位置和口裂 大小的括约肌,浅层肌视为可弯曲的片状肌。在不同的肌肉收缩量下～利用悬链线函数确定出参数值～能够拟合仿真出 唇部凸、抿等过程。实验表明～该方法能够灵活控制所建模型～仿真出符合生理运动特征的多种唇部运动。 关键词: 虚拟建模; 唇部肌肉建模,双层肌肉,悬链线函数 中图法分类号: TP391.9 文献标识码: A 文章编号:1004-731X-XXXX-XX Modeling and Simulation of Lip Based on Double-Layer Muscle 1,21,2 1 1,2Name, Name, Name, Name (1.Department, City, City Zip Code, China; 2. Department, City, City Zip Code, China) Abstract: Lip model plays an important role in virtual facial expression and speech simulation. However, the lip movements of existing models are very simple and the common motions such as protruding or sipping are failed to totally realize. In order to solve these problems, this paper presents a new double-layer muscle control lip model. This method adopts the approach from anatomy to classify lip muscles into deep and superficial ones. The deep muscle is employed to control the corners of the mouth position and the size of mouth fissure. And the superficial muscle is employed to use catenary function to fix the parameters under different shrinkage and it can fit the process of protruding and sipping etc. The experiments show that the method can control the model flexibly and simulate some lip movements that accord with physiological motion characteristics. Key words: virtual model; lip muscle model; double-layer muscle; catenary function [2] ，Platt、Waters等相 在Parke等提出的人脸模型基础上 [3][4]继建立了基于解剖学原理的唇部模型，并取得了较好的 引言 [5] [6]效果。2008年陈等提出了嘴部3D肌肉控制模型，将人 虚拟人脸是人机交互界面的重要组成部分。嘴部是人脸脸描述为一种层状结构的实体，该模型将控制唇部运动的肌 表情、运动极为丰富的区域，其中唇部作为运动的主导者起肉视为单一功能的括约肌，能较好控制口裂的大小，但所实 着至关重要的作用。在虚拟发音教学、虚拟主持人、虚拟外现的唇部运动较为简单。2010年裴等通过建立生物力学方[1]科手术等领域有着广泛的应用前景，因此，建立高真实感程，提出了一种基于嘴唇闭合状态下新的口轮匝肌模型及驱 [7][8]的唇部模型，并进行有效的控制有着十分重要的意义。 动方法，实现了简单的凸唇效果，但未能实现诸如翘唇、 抿嘴等较为复杂的唇部运动。2011年Vahid Asadpour等提 基金项目:国家自然科学基金(611701281);福建省自然科学基金[9]出一种基于肌肉特征提取运动的方法, 将参数引用到隐(2011J01374);福建省教育厅资助科技项目(JA11169);漳州师范学院杰出青年科研人才培养项目(SJ1020)。 马可夫模型中，利用脸部肌肉的生理学特性，理论上能够实作者简介:现唇部多种运动，但由于数据量大，处理复杂，目前只是建xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx立控制理论，尚未实现仿真。 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx[10] [11] 本文通过对唇部解剖结构的研究，将唇部肌肉进xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 2222一步划分为深、浅两层，其中深层肌采用原有括约肌控制机，。 rrr,，,,cos(2),01,rbxazab,,ggg 理，控制唇部开合;浅层肌视为类长方体的肌肉，采用悬链2.2 浅层肌建模及控制 线函数拟合其运动特征，控制唇部的凸抿等。实验表明，该唇部解剖学中，浅层肌含有来自口周围多条肌肉的纤方法能较好实现凸唇、抿唇等运动及表情。 维，在这里将上唇视为上接鼻基部，下抵唇红的长方体片状1唇部解剖结构 肌肉模型;下唇为下接下颌凹陷处，上抵唇红的长方体片状 肌肉模型。当嘴角收缩或往两颊拉伸时，肌肉两端受挤压或人脸生理结构具有复杂性和层次性，由头骨、肌肉层、拉伸，会自然前凸或朝两侧拉伸，从而实现凸唇或抿唇等运覆盖的肌膜组织和外部皮肤层组成。人脸能够产生表情，是动。浅层肌上下唇模型初始状态如图4所示。 [10][12]由于肌肉收缩带动皮肤发生拉伸、压缩、褶皱等变形。Z其中控制唇部特定表情所涉及的主要肌肉有口轮匝肌、上唇 方肌、提口角肌、降口角肌等，如图1所示。而口轮匝肌是q唇部最主要的肌肉组织，传统肌肉模型仅将其视为单一的椭OX [3][4]圆形肌肉，只能简单地控制口裂的大小。 Y 图4 浅层口轮匝肌模型 上唇方肌 提口角肌 口轮匝肌2.2.1浅层肌模型在平面上的控制 XOY降口角肌 唇部在初始状态下处于略微前凸的状态(如图5中实线图1唇部肌肉示意图 所示)，这是由牙齿隆起而形成的。通过对实验照片中关键[9]本文深入分析口轮匝肌的解剖结构，并将其进一步(,)xy点坐标的测量，得到初始状态下左嘴角的坐标qqq划分为深浅两层，如图2所示。深层括约肌环绕口周围，控 Y制嘴角位置与口裂大小，其下边缘与唇红部分相连;浅层括 约肌位于深层括约肌上方，两者由一层软组织相隔，通过收H缩运动，可以表现出唇部凸翘、抿等运动及表情。 Hq ,OX浅层括约肌图5 浅层口轮匝肌模型 深层括约肌牙齿唇红为(24.616mm，0)。利用悬链线函数，并进行变换后可拟合 初始状态嘴唇外沿: 图2上唇口轮匝肌示意图 yaaxa,，,，(H)cosh() (2) out000 其中，定义为初始状态悬链线隆起因子，取值为22.208，a2双层肌肉建模及控制 0 控制悬链线的凸起程度;H为个性化因子，表示嘴角点连线2.1 深层肌建模及控制 和嘴唇外沿最高点间的距离，因人而异，本文取值 深层肌可视为一椭圆形的括约肌，朝着椭圆中心点做径15.177mm。 [13][14]向收缩或拉伸运动。以嘴部自然闭合初始状态下嘴角(),,,xxx当嘴唇向外凸起时，左右嘴角点往qq点连线为轴，两嘴角连线段中点为原点，垂直向上往额头X原点横向收缩，同时往轴正方向偏移(如图5中虚线所OY 方向为轴建立左手坐标系，如图3所示。其中是深层括约Z示)。嘴角点的移动受制于牙齿的形状，因此，通过对用悬肌的中心点，分别代表长轴和短轴长度的一半，表qab,链线函数拟合牙齿外形(即唇部内沿初始状态)后得到: 示左嘴角点，(,)xz为椭圆控制区域内任意点的二维坐pyaaxa,，,，,(H)cosh(), (3) qq000[15]标值。 其中为唇部厚度。 ,[5],对于其影响区域内的任一点沿径向运动到,则 pp由于牙齿外形个体差异较大，通过与实验测得嘴角点的,ppkrL,，，，，,opd (1) op坐标相对比，应对(3)式进行修正后，可表示如下: r其中为肌肉弹性因子，为衰减因子，kyaaxaa,，，,，,，，0.85[(H)cosh()](H)10, (4) qq0000 图6为修正前后左嘴角点实际测量曲线和计算所得曲Z线比对。 pbq当肌肉收缩时，左嘴角点坐标可表示为:,La,xxL,,,/2，代入(4)可得: OXqq ,yaaxLa0.85[(H)cosh((-/2))],,，，,，,,qq000 (5) (H)10a，，0图3 深层口轮匝肌模型 嘴角点在凸起时，始终与牙齿相接触，并且越靠近Y (6) ,,,，则初始状态转换为图8中实线状态。 度ABCD,0000 根据体积不变的原理，浅层肌的厚度与收缩率相关。T0.50.5 自然状态时，浅层肌的体积为: 0.40.4xxqq，底面积 VST,，Sfxgx,,()(),,,,xxqq0.20.2* 点为实际测量数据* 点为实际测量数据 fxyaaxa():(H)cosh(),，,，, 实线为计算所得曲线 实线为计算所得曲线out000 (8) 00,,1.82.02.22.41.82.02.22.4gxyaaxa():(H)cosh(),，,，,in000,图6 修正前后左嘴角点实际测量值和计算拟合曲线 ,当唇部往外凸起时，底面积变为，根据体积不变可推出S ,此时的。 T轴，唇部内外沿间距越大，根据(2)和(4)式，并进行修正， 当嘴角收缩时产生凸唇效果时，长方体片状肌肉产生拉可得凸起后的嘴唇外、内沿悬链线拟合表达方程: ,,,,,,伸从原始的拉伸为，并根据实际的凸唇ABCDABCD,,00000iii yyaaxa,，，,，(H)cosh('),,outiqiii(),角度，要以拉伸后的长方体片状肌肉以为中心点逆时针A,,,,yyaaxaa,，，，,，,，，[(H)cosh(')](H)100,iniqiii()0,旋转角度，使得旋转后的长方体片状肌肉下抵唇红的关键,，其中为嘴唇外沿在不同凸起状态的的ain,,,,1,2,3,,i点的轴坐标为0，如图9所示。 ZCi隆起因子，其中为个性化因子，, (0,)z在YOZ平面上，坐标为，为鼻基部且其值AAA000，为嘴角点X轴方向的收,,，,，,,0.85(10.2)LL,Lmax(,0)y为定值，要求旋转后的坐标为，根据CCii缩量，为嘴角点X轴方向的收缩的最大值。当,L,,L0max22222,dACAC,,，， dyzzyz,，,,，(),00iiACCA,Cii00时，表示嘴唇的初始状态，;当时，表,,,LL,,0.85imax222,yyzzz(),，,,,,CAC示嘴唇的最凸起状态，。 ,,0.68,(9) iCiA0i0则可得到C点的坐标 ,i,,z0(,)xy,,将此刻左嘴角点坐标，代入公式(6)中的方,yCqqouti()i,2程式可得: ,cos(),,，ACACd根据 则可得到B点的坐标ii00i,,yyaaxLa,，，,，,(H)cosh((-/2)) (7) qqiiqi,,yABy,，，sin,,BiB0ii,(10) (H)cosh((-/2))0，,，,,aaxLa则，利用待定系数,iiqi,zABz,，，cos,,,BiB0ii,法可计算得到该状态下的，所以由移动后的嘴角点坐标ai同理可得D的坐标: i即可确定出该状态下的嘴唇外、内沿悬链线拟合表达方程， ,,yADy,，，cos,(11) 拟合情况如图7所示。 ,DiD0ii, ,55,zzAD,,，sin,,,DDi0ii初始状态内外沿:最凸起状态内外沿:,44,,,LL,,L0max当唇部凸起，也就是长方体片状肌模型旋转一定角度,,0.85,,0.6833 时，其外连的唇红组织因其本身组织特性不会收缩，则由于22 1长方体片状肌的带动呈现出略微翘起的效果。 1 001-2-1201-2-1203实验结果 图7 初始和最凸状态上唇内外沿拟合图 根据上述方法，对唇部进行肌肉建模及控制。在matlab 下嘴唇控制原理与上嘴唇相似，推导过程相近。 中进行仿真，表1中列出6个不同收缩量下不同凸出状,L 态时的左嘴角点坐标和隆起因子a，拟合的上唇外沿不同2.2.2 浅层肌模型在YOZ平面上的控制 i 凸起状态，如图10所示。 唇部在初始状态下呈略微前凸的状态，在YOZ平面初始 A状态(嘴唇自然闭合)如图8中虚线所表示。为长方体0表1 不同凸起状态参数列表 BC、片状肌接鼻基部的关键点，为下抵唇红的边界点，00(mm) (mm) xya(mm) ,LqqiC且也为上下嘴唇的交界点。由于肌肉的伸缩和关联特性，00 24.616 0 22.208 A在凸唇和抿唇的过程中，长方体片状肌接鼻基部关键点01.890 23.671 1.324 17.532 都不会发生坐标的变化。为了便于计算，在进行肌肉控制时4.190 22.521 2.727 16.465 A进行了初始换算，将长方体片状肌绕进行顺时针旋转角5.938 21.647 3.722 14.667 0 7.782 20.725 4.711 13.674 ZZ12.408 18.412 6.925 10.764 A,D0iA,D00Di ,D0,B在3dsMax环境下，通过编写控制方程，实现了唇部的i 凸唇、翘唇的仿真模拟。图11中给出了凸唇、抿唇运动仿OB0C,B,iC0Y0真运动的正侧面序列截图。 O,,,CBC,iiB00从实验结果可以看出，凸唇和抿唇的效果比较逼真，并Y,C0,且唇部在凸出的同时带动唇红能达到翘唇的效果，使得嘴唇图8 初始状态示意图 图9 凸起状态示意图 的运动更加自然。 555制机制。仿真实验结果稳定，能获得比较逼真的唇部模型，4a,17.53a,16.474a,22.214,,L1.89mm,,L4.19mm并能较好的模拟出凸唇、抿唇等运动及表情。后继将进一步,,L0mm333222研究实现唇部表情多样化的方法。 111 000-1201-1201-2-2-1201-2555参考文献: a,14.67a,13.67a,10.76444,,L7.78mm,,L5.94mm,,L12.41mm333,1,余畅，陈益强，刘军发，等.一种基于左右斜侧面照片的三维人脸222重建方法[J].计算机应用研究(S1001-3695)，2011，28(10):1113944-3946. 000-2-1201-1201-2-2-1201,2,Parke FI.Computer generated animation of face: Proceedings of the 图10 不同凸起状态上唇外沿拟合图 ACM Annual Conference, 1972[C]. Boston, 1972:451-457. ,3,Platt S.M， Badler N.I. Animating facial expressions[J]. Computer Graphics(S0167-7055)，1981，15(3): 245-252. ,4,Waters K, Frisbie J. A coordinated muscle model for speech animation: Proceedings Graphics Interface，1995[C]. Quebec,Canada，1995: 163-170. ,5,陈志翔，程义民，曾丹，等.人舌及嘴部的3D控制模型[J].中国科 学院研究生院学报(S1002-1175)，2008，25(3):372-378. a 凸唇运动仿真序列图(正面) ,6,陈志翔，程义民，曾丹，等. 人舌运动与嘴部表情的多线谱仿真[J]. 系统仿真学报(S1004-731X)，2009, 21(23):7518-7521. ,7,Zeng Dan， Pei Li. Rheology-based facial animation realistic face model[J]. J Shanghai Univ(Engl Ed)(S1007-6417)，2009，13(6): 423-427. ,8,裴丽，曾丹，史浩，等.人脸建模及嘴部驱动技术[J].电子测量技术 (S1002-7300), 2010，33(10):22-25. ,9,Vahid A, Mohammad M.H. Audio-visual speaker identification using dynamic facial movements and utterance content[J]. Applied Soft b 凸唇运动仿真序列图(侧面) Computing(S1568-4946), 2011: 2083-2093. ,10,鲁开化,艾玉峰.临床美容整形外科学[M].北京:世界图书出版社, 1998: 294-295. ,11,曾智成.新编人体解剖学图谱[M].西安:世界图书出版社. 2006:55-58. ,12,厉晓东,苗青.艺用人体解剖学[M].上海:上海人氏美术出版社, 2010:108-112. ,13,Salleh S.S, Rahmat R.W, Mahmod R, et al. 3D lips development and c 抿唇运动仿真序列图 measurement for visual speech synthesis[J]. European Journal of Scientific Research(S1450-216X), 2009, 35(2): 159-172. 图11 凸唇、抿唇实验结果图 ,14,Ahn S, Ozawa S. Facial animation based on muscular contract- ion parameters，Systems Man and Cybernetics IEEE Intera- 4 结论 tional Conference, 2005[C]. Yokohama, 2005:3112- 3117. ,15,King S.A, Parent R.E, Olsafsky BL. A Muscle-Based 3D Parametric 唇部模型是虚拟人脸表情及运动中涉及到的最重要的 Lip Model for Speech, Proceedings of DEFORM/AVATARS, 一个部分，本文描述了一种唇部双层肌肉建模及控制的方2000[C]. 2000: 12-23.法。根据解剖学原理和唇部运动特征，将唇部口轮匝肌分为 深层肌和浅层肌分别建模，并给出浅层肌在不同平面上的控