增强现实场景光源的实时检测方法和真实感渲染框架

增强现实场景光源的实时检测方法和真实感渲染 框架 财政支出绩效评价指标框架幼儿园园本课程框架学校德育工作框架世界古代史知识框架质量保证体系框架图 第18卷第8期2006年8月计算机辅助设计与图形学学报 JOURNALOFCOMPUTER2AIDEDDESIGNCOMPUTERGRAPHICSVol118No18Aug 12006 收稿日期:2005-07-14修回日期:2006-04-27 基金项目:科技部“十五”重大科 技攻关项目2001BA101A08203增强现实场景光源的实时检测方法和真实感渲染框 架姚 远12 朱淼良2 卢 广21上海大学快速制造工程中心 上海 2004442浙江 大学计算机科学与技术学院 杭州 310027yaoyuanzju1edu1cn摘要 首先通过检测 视频定位标记表面辐照度的变化和真实光源之间的关系建立模型然后在交互过程中 迭代计算真实场景中光源的强度和方向并将它集成到一个高效的基于场景管理的增 强现实应用开发框架中1实验结果表明使用该算法自动生成的虚拟光源可以近似地 逼近真实场景的光照在具有一个或多个真实光源的增强现实环境中使虚拟物体和真 实物体能产生近似一致的光照效果1关键词 增强现实光源检测辐射度中图法分类 号 TP391172AFrameworkforLightingDetectionandSceneRenderinginAREnvironmentYaoY uan12 ZhuMiaoliang2 LuGuang21RapidManufactureEngineeringCenterShanghaiUniversityShanghai 2004442CollegeofComputerScienceandTechnologyZhejiangUniversityHangzhou 310027Abstract ThispaperproposedadynamiclightdetectionmethodformarkerbasedaugmentedrealityARsys tem1ItbuildsadetectionmodelbasedontherelationshipbetweentheirradianceoftheARToolkit markersandthereallight1Thismodelcangeneratevirtuallightstosimulatethereallightsgraduall yisim2plementedinascenegraphbasedaugmentedrealitydevelopmentframework1Experime ntswithoneandtwolightsshowthatthevirtuallightsestimatedbythismethodcangenerateconsis tenteffectintherealenviron2ment1Keywords augmentedrealitylightdetectionirradiance0 引 言增强现实技术1可以将虚拟对象叠加在3D真实场景中帮助使用者在真实的 世界中看到由计算机生成的物体和信息哂蟹浅,惴旱挠τ昧煊蚶缈梢栽诟丛 硬僮髦刑峁?ㄖ畔??煌ǖ己健?С中槭到岷系募扑慊ㄖ杓平缑婧驮谘盗坊蜓 爸械脑銮坷斫獾?增强现实系统可以提供更加自然的人机交互功能使用者可通过 透射式头盔、数据手套和视频标记等设备与虚拟信息和物体交互或者进行多人协同 工作1从一定意义上来说增强现实技术比传统的虚拟现实技术更容易实现并且使用 更加安全1为了使计算机生成的虚拟物体更加真实地与周围环境融合需要对嵌入的 虚拟物体进行与场景一致的真实感渲染1这种方式最早出现于Raskar等展示的系统2 该系统使用投影仪赋予真实物体各种纹理并且实现了真实物体和虚拟物体在虚拟光 线下产生的阴影1Naemura等3确切地提出了虚拟光源和虚拟阴影的概念目标是实现 一个支持阴影效果的混合现实环境他们根据阴影与虚拟物体和真实物体之间的相互 关系将阴影分为4类1在类似CAVE系统的环境中用投影仪在真实场景中制造出虚拟 物体的阴影1Haller等4提出的方法可以在实时的增强现实应用中分别产生虚拟物体2 虚拟物体、虚拟物体2真实物体和真实物体2虚拟物体等3种阴影形式但是在渲染前需 要预先获得真实场景的模型和预定义虚拟光源位置1在环境光的检测方面许多研究 集中在建立交互式的3D场景生成系统526系统通常需要利用一组不同视角照片重构 几何物体用另外一组在不同光照条件下拍摄的同一视角的照片重构场景的光学模型 1但是这类系统需要一个准备过程来生成场景的光学模型因此并不适合实时应用环 境1Jacobs等7通过使用Can2ny边缘检测的方法从真实场景中提取已知物体的阴影轮 廓通过与已知物体的几何模型比较对真实场景中的光照方向进行估算以此构造虚拟光源和虚拟物体的阴影但这种方法要求已知场景中真实物体的几何模型和设置光源能产生较清晰的阴影1Jaakko等8考虑了虚拟光源对真实场景的影响实现了使用虚拟光源照亮真实场景的效果但其前提条件是在实现中必须首先获得真实场景的几何信息1Kanbara等9在ARToolkit10定位标记的中心安装了一个反光球体通过分析球体图像中的光照分布情况来估算真实场景中点光源的位置1周雅等11使用了一个三色棱的正方体作为三维标志物利用一个CCD摄像机对包含三维标志物的真实环境进行拍摄根据图像中标志物的明暗状况逆推出真实环境中的光照情况进而构造一个或多个虚拟光源来实现增强现实系统中的光照一致性效果他们探讨了单光源、多光源和自然光源等3种不同照明情况光源检测问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 1综上所述在增强现实环境中进行真实感渲染时都需要一些预先设定场景或设备这给应用系统的配置增加了一定的复杂性1为了尽量简化应用本文提出基于定位标记的实时场景光源检测方法直接利用定位标记的漫反射表面特性建立模型在系统运行的过程中动态地构造虚拟光源并使其逐步逼近真实环境光源的位置和强度1这种方法被封装在 ARSGFaugmentedrealityscenegraphbasedframework中可以为快速开发具有真实感渲染能力的增强现实应用提供支持1最后给出实现实例11 场景光照检测模型真实场景中的光照情况往往非常复杂绝大部分光线来自于各种物体?砻娴穆瓷?但是在一般的增强现实系统、尤其是桌面增强现实系统的应用环境中由一个或多个光源产生的光照效果已经能使虚拟物体产生真实的存在感可以帮助用户进行定位和辨别物体间的距离1因此本文提出的模型忽略了环境光的影响只检测场景中的位置光源1现有的多数低成本增强现实系统大多使用AR2Toolkit或类似的基于视频定位标记配准的工具包开发1定位标记一般由具有一定宽度的黑色四方形边缘和中心区域中黑色的几何图形构成1在实际应用中打印制作的标记表面黑色部分由均匀分布的墨粉颗粒组成可以近似为一个理想漫反射表面1根据Lambert定律漫反射表面上一点到任意方向的反射光强度与光源入射角的余弦成正比这使场景中定位标记表面的亮度Lr与摄像机观察的角度无关1我们以定位标记为检测目标建立真实场景光照检测模型只考虑存在单一点光源时的情况1光源检测的目标是获取真实光源强度和位置2个参数1而定位标记表面亮度值和标记表面法向矢量Nm可以真实地反映光源的方向1以辐照度dΦ度量从光源到达标记表面的光线强度标记的辐照度可以标称其表面上每单位面积入射的光通量1在只考虑单光源的封闭系统中标记的表面的亮度Lr与标记的辐照度成正比因此LrdΦ和入射光线的强度Ls有关系式Lr?dΦ?Ls??dA??cosθ1图1 标记与光源的空间位置关系其中θ表示标记法向与光线入射方向的夹角如图1所示dA表示标记表面的单位面积1根据式1我们选择Lr来度量标记表面的辐照度其值被量化地表示为标记表面黑色部分像素亮度的平均值117218期姚 远等:增强现实场景光源的实时检测方法和真实感渲染框架当θ0时Lr和dΦ的值达到最大表示在理想情况下光源位置应出现在场景中辐照度最大的标记表面法向方向上1111 光源位置的确定确定光源位置时我们选定摄像机坐标系为全局坐标系这意味着需要摄像机位置保持固定1虽然选择世界坐标系作为全局坐标系时可以用同样的方法确定光源位而且更加直观但是这样设置会引起3个问题:1场景中需要有专门的标记来标定世界坐标系的原点在摄像机观察位置变化时这些标记可能会被移到视野之外从而失去全局坐标2其他标记的坐标值要经过2次转换才能获得全局坐标增加了计算的复杂度和 误差3识别定位标记的边角时可能产生误差在现有的基于定位标记的增强现实系统中这是一个常见的现象多次坐标矩阵转换之后这个误差会被放大影响检测的准确性1真实场景光源检测算法通过固定大小的标记队列L维护标记当前标记信息这些信息包括标记的转换矩阵、法向矢量Nm和dΦ等状态信息1当L队列装满时将根据dΦ大小进行更新1L中记录的是在不同时间对场景中的标记法向和表面辐照度的采样值与场景中实际存在的标记数量没有关系1在实际系统的运行过程中场景中标记的位置是随机的1虽然操作者有意识地控制标记方向会加快系统确定光源位置的速度但是算法并不要求某一个标记被设置到正对光源的方向也无法通过多个标记的法向矢量解析的计算确定光源的位置而是采用迭代的方法1首先系统创建一个光源然后根据新的数据逐步修正最终稳定到光源的正确位置1方向光源、点光源和聚光灯光源可以统一作为点光源处理1算法11点光源位置检测算法Step11确定光源距离标记中心的相对距离为D根据光源种类指定固定初始值1在当前L中选取dΦ值最大的标记这里称为主标记1根据模型点光源应位于主标记的法线方向上1在主标记法向矢量的方向上取距离标记中心长度D处一点为光源位置P这一点可以很容易地转换为全局坐标1Step21在L中选取dΦ值与主标记最为接近的标记在阈值规定范围内称为副标记1如图2所示副标记可能的法向矢量应分布于一个顶角为2α圆锥体的范围内1真实光源的位置应该趋向主标记和副标记法向矢量的交叉处1因此α越小表明P点越趋近于光源的位置1增加或减小估算距离D直到α值小于一固定阈值或D达到一固定阈值为止1Step31如果主标记发生变化则重新执行Step1和Step21通过这3个步骤的不断调整在系统的运行过程中P点将最终趋近于真实光源的位置1图2 估算距离的调整112 光源强度和颜色的估算在确定光源位置后光线的强度依然可以通过标记表面辐照度来确定同时通过辐照度度量可以避免视图角度不同所带来的误差1我们首先获取了标记在几组常见功率的日光灯和白炽灯照明环境下的表面像素亮度均值并将其作为辐照度标定值根据与标定数据的比较获得场景光源强度然后通过对标记表面未喷墨部分像素进行采样确定光线的RGB分量的比值将采样的结果与强度的乘积作为光源中的各色光分量1具体光源位置、强度和颜色的检测 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 如图3所示1图3 光源检测过程113 真实光源的模拟来自点光源的光线可以生成具有一定真实感的场景但由于自然界的光源都是具有一定面积的一2721计算机辅助设计与图形学学报2006年个或多个发光体因此这种效果更近似于自然光照射下的室内物体1一个简单的扩展方法是在估算出点光源方法的基础上构造一个多边形面光源将点光源位置作为面光源的中心使用稳定状态下α和D限制多边形的面积1多边形边数可以根据需要来确定本系统中可以构建三角形面光源1面光源虽然可以更好地描述真实世界的光源但是其实现过程复杂1另一种扩展方法是同时在场景中构造多个点光源1具有多个光源照明的场景在增强现实应用中也是经常存在的当使用搜索的方法在这种照明环境中构造光源时理论上可以找到多个使辐照度达?椒逯档那虻导噬险庵炙阉鞣浅,岩虼宋颐侨圆捎霉乖煨缘姆椒ɡ粗鸾ケ平媸抵?首先搜索当前标记队列L当发现具有更大辐照度的标记时将新的光源位置转换到当前标记的坐标系下并计算2个光源在当前标记中心连线的夹角1若这一夹角在阈值范围内则继续单光源检测算法的步骤将新的光源位置设定为当前光源位置并利用其他标记修正若这个夹角大于设定的阈值则构造一个新的光源重新开始修正过程1未知多个光源的检测可以通过空间矢量量化的聚类方法来完成1在实际应用中我们将系统场景中的光源数限制在2个以 内通常这已经足够反映真实场景中的情况12 实现与开发框架尽管已经有许多开发库和工具包但增强现实应用的开发依然是一项复杂的工作1在以标记定位为基础的系统中开发者需要处理包括视频检测、标记管理、坐标转换、虚拟物体的渲染和真实场景的定义等诸多方面的任务1我们提出的ARSGF实现了对3种常用增强现实应用功能的封装:1内置了光源检测功能自动建立与真实场景一致的虚拟光源2封装了增强现实应用中常见的基本的图形节点包括常用交互工具节点支持开发者对节点功能的动态扩展3提供基于图形节点的管理和场景渲染功能支持虚拟物体2真实物体、虚拟物体2虚拟物体之间的阴影生成1ARSGF帮助开发者将注意力集中在定义具体图形节点的外观和行为上简化开发者的重复性工作为快速地开发增强现实应用提供了支持1如图4所示ARSGF主要由标记管理器、摄像机接口、浏览器、场景管理器和图形节点5部分组成其实现为一组C类1各个部分功能如下:图4 ARSGF结构 标记管理器负责装入和管理系统中使用的所有标记1ARSGF中的标记分为系统标记和应用标记2种1系统标记主要应用于一些内置的工具节点和提供世界坐标系的功能而应用标记则根据具体应用需要由用户进行配置和添加1标记管理器中存储了应用中所需要的所有标记和与标记相关的状态并不断地检测和更新这些信息1另外标记管理器维护了一个包含一组当前运行过程中出现过的标记坐标、法向矢量和表面辐照度的队列用于光线检测1在实现中具体的标记检测功能由ARToolkit库完成1为了配合标记管理器的工作我们在ARToolkit库中增加了相应的函数使ARSGF可以从视频流中获取标记辐照度信息1其次我们发现在标记表面光线照射明显变化的环境中检测很容易失效产生错误的原因是ARToolkit中采用固定阈值的图像分割导致其在这种环境中不能得到正确的结果1因此我们在ARToolkit中加入了多阈值分割过程改进了标记的识别率并增强了在不同光照条件下标记检测的稳定性1摄像机接口定义了一个捕获和处理视频流的抽象接口操作由具体的扩展类来实现1ARSGF支持从usb摄像头、1394摄像机和视频文件中获取视频流1摄像机接口调用标记管理器处理视频流中的标记并将视频流设为浏览器的背景1浏览器对象定义了增强现实应用的显示界面通过它可以设置显示设备如可以选择使用普通显示器或者头盔式显示器1场景管理器是整个框架的核心部分负责组织所有场景中的所有节点并决定渲染方式1状态节点、静态节点、定位节点和光源节点是场景中的4种基本节点137218期姚 远等:增强现实场景光源的实时检测方法和真实感渲染框架状态节点是非显示节点用来保存场景中一些与具体应用中操作相关的状态信息其中包括鼠标的状态、图形交互工具的操作状态和其他节点的显示状态等1框架中提供了对状态节点的快速访问方法1静态节点是使用摄像机坐标定位的节点用来构造与场景位置无关的图形如提示信息、固定菜单或构造一些模拟器的窗口1定位节点是最常用的节点其在场景中的位置由定位标记来决定1定位节点通过名称与标记管理器中维护的标记进行绑定通常一个定位节点上可以绑定一个或多个标记1当一个节点与多个定位标记相对应时这个节点的位置将由多个定位标记共同确定1这种绑定可以增加定位的准确性和稳定性1光源节点定义了场景中虚拟光源的属性它从标记管理器中获得检测数据并根据第1节的光源检测模型生成一个或多个虚拟光源来模拟真实场景中的光照1通过光源节点还可以同时设定其他自定义的固定光源或者从某个自定义的定位节点中获取信息以改变某个虚拟光源的位置属性1从定位节点中衍生出4种内置子节点:工具节点、菜单节点、虚拟物体节点和真实物体节点1菜单节点提供了可以插入到场景空间任意位 置的菜单项1虚拟物体节点规定了嵌入到真实场景中的虚拟物体的一般行为ARSGF提供了灵活的方式来构造它们1开发者可以从多种外部图形文件中或ARSGF提供的简单配置文件中装入3D模型也可以直接在基本节点的基础上构造新的图形内容节点并定义它的属性和外观及渲染方式13 实验结果我们选择了2种常见的光照环境对算法1进行测试1实验11使用日光灯照明的单光源检测环境光源检测过程如图5所示1其中Dmax600Dmin200dΦ表示主标记的辐照度1图5a所示为初始状态光源被赋予一个固定的初始值图5b所示为打开光源检测功能后虚拟光源产生的效果1从虚拟战士模型的阴影可以看到虚拟光源移动到标记法线方向1由于算法1并不适用于静态的标记因此我们在实验中加入了一些人为的辅助工作1在实际系统工作中这些辅助工作可由一般的交互操作来代替1在标记移动的过程中光源逐步趋向正确的光照位置1可以看到最后系统估算的光源稳定在图5f所示的位置1在操作中我们注意到摄像机角度稍有变化由于辐射度的度量与视角无关随着实验中标记逐渐转向光源旧的方向矢量被算法删除并不影响算法对光源识别的准确性如果此前标记已经面向光源则可能会因为具有最大辐照度的标记无法被替代而出错1图5 单光源光照检测 实验21白天室内使用白炽灯照明的混合照明环境1为了增加速度我们关闭了光源的强度检测1如图6所示其中θ表示2个标记所确定的光源在全局坐标中的夹角弧度其阈值θmax2101图6a显示在初始条件下只有一个预先设置的虚拟光源图6b中开始光源检测光源位置移动到当前标记的法向量方向图6c所示为使用另一个标记对光源方向进行调整光源位置始终出现在标记辐照度达到最大值时的法向图6d中的状态表明当检测到2个矢量方向差异较大θθmax的2个可能的光源时系统构造了新的光源1桌面上的真实物体在白炽灯和窗外的环境光2个光源照射下产生了2个阴影1在检测窗外射入环境光时可以通过控制标记有选择地使系统生成方4721计算机辅助设计与图形学学报2006年向光源DDmax或点光源Dmin