《复杂驾驶条件下司机驾驶疲劳度检测的研究》本科毕设结题答辩

《复杂驾驶条件下司机驾驶疲劳度检测的研究》本科毕设结题答辩电子与信息学院郑伟龙08级电联班指导教师：秦华标教授课题研究背景与意义1课题研究内容与系统框架2复杂驾驶条件下人脸检测方法3复杂驾驶条件下人眼检测和状态识别4基于眼部特征的驾驶员疲劳状态检测5课题 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 与实验效果演示6*课题研究背景与意义*在欧洲，10％-20％的司机死亡和受伤是由于疲劳导致驾驶员警戒水平降低所引发。在美国，每年有10万起撞车事故是由于驾驶员困倦所造成的，造成4万的非致命性伤害和1550死亡在我国，在2007年至2009年我国由疲劳驾驶导致的死亡人数分别占机动车驾驶人交通肇事总死亡人数的11.35%、10.91%和12.5%，平均每年约有9000人死于疲劳驾驶。课题研究背景与意义*本课题的提出是基于以下几点问题：我们能否在交通事故发生之前检测到司机疲劳状态；对于疲劳检测技术，什么技术和方法是最可靠有效的；如何在不分散驾驶员注意力的情况下有效地检测驾驶员精神状态并作出判断。课题研究背景与意义*疲劳检测试验性产品课题研究内容与系统框架*研究内容本课题研究复杂驾驶环境下驾驶员疲劳度的检测方法，利用近红外主动光源获取驾驶员人脸图像，进一步进行人脸定位、人眼定位、人眼状态跟踪，通过实时跟踪人眼状态，进行睁闭眼判断，判断驾驶员当前是否处于疲劳状态。由于驾驶环境的多变性，本课题重点研究光照预处理以及人眼状态识别方法。课题研究内容与系统框架*复杂驾驶条件下人脸检测方法*人脸检测中的光照问题根据驾驶员所处地理位置、所驾驶方向、以及驾驶的时间不同，阳光可能从多个方向照射过来，也可能没有阳光（夜晚）；车顶棚在中午的时候会在驾驶员脸上投下阴影。（多光照）复杂驾驶条件下人脸检测方法*人脸检测中光照问题方法初探主动近红外图像传感器获取红外图像基于光照估计的近红外图像增强算法复杂驾驶条件下人脸检测方法*（1）单尺度Retinex算法（SSR）Retinex是一个合成词，是由Retina（视网膜）和Cortex（大脑皮层）组合而成的。Retinex理论解释了相同的物体在不同的光线底下颜色恒定性(ColorConstancy)机理亮度图像反射图像图2-单尺度Retinex的实验效果图复杂驾驶条件下人脸检测方法*（2）多尺度Retinex算法（MSR）多尺度Retinex实质是将多个单尺度Retinex的结果进行加权求和图2-10多尺度Retinex的实验效果图复杂驾驶条件下人脸检测方法*（3）单尺度自商图像（SSQ）自商图像与Retinex算法相似，它也是利用平滑核函数对输入图像进行卷积来估计亮度图像，利用输入图像与亮度图像的比值得到光照鲁棒的自商图像。I(x,y)是输入图像，F是平滑卷积核函数，这里我们用的是低通高斯函数图2-单尺度自商图像效果图复杂驾驶条件下人脸检测方法*（4）多尺度自商图像（MSQ）多尺度自商图像实质是将多个单尺度自商图像的结果进行加权求和。图2-12多尺度自商图像效果图复杂驾驶条件下人脸检测方法*（5）离散余弦变换（DCT）将图像进行离散余弦变换后，低频部分对应图像的亮度分量，反应的是光线变化部分。因此将DCT低频分量置零就可以得到光照鲁棒的反射图像，达到减小光照的影响。图2-13离散余弦变换效果图复杂驾驶条件下人脸检测方法*（6）小波变换（WA）对输入图像进行离散小波变换，然后处理得到的子带图像。它对小波系数矩阵进行加权，对变换的相似系数进行直方图均衡化，再利用反小波变换将独立的子带图像重建后得到归一化的图像。图2-14小波变换效果图复杂驾驶条件下人脸检测方法*（7）非局部均值法（NLM）这种方法基于一种想法，就是每个小的图像窗口都能找到与之相似的其他图像窗口，利用这些窗口就可以进行去噪处理。 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示加权函数，计算原始图像的空间位置z,x像素局部相似性图2-15非局部均值法（NLM）效果图复杂驾驶条件下人脸检测方法*（8）直方图均衡（HE）图2-16直方图均衡化（HE）效果复杂驾驶条件下人脸检测方法*测试图（原图、SSR、MSR、SSQ、MSQ、DCT、WA、NLM、HE）复杂驾驶条件下人脸检测方法*基于Adaboost的人脸检测Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。优点：1)构建简单子分类器，利用Adaboost算法将这些分类器进行级联，构造强分类器；2)Adaboost算法即使训练次数很多，也不会出现过拟合的问题；3）随着训练迭代次数增加，分类器识别错误率会逐渐下降。复杂驾驶条件下人脸检测方法*基于Adaboost的人脸检测训练过程使用类Haar矩形特征作为输入，利用积分图像加速矩形图像值的计算，训练各个弱分类器，最后将弱分类器节点组成筛选式级联方式。检测过程通过加载分类器，根据训练所得到的分类器特征对输入图像进行检测图2-28Adaboost人脸检测实验测试图人眼检测和状态识别研究*人眼检测定位方法研究眼睛定位是较难的研究课题，因为人的眼睛的面积比例比较小，另外由于人脸区域眉毛、眼镜等干扰也会造成眼睛定位算法的错误识别。人眼检测定位方法：基于Adaboost的眼睛检测定位方法基于人脸三庭五眼比例特征人眼检测定位方法人眼检测和状态识别研究*基于Adaboost的眼睛检测定位方法图3-2基于Adaboost的眼睛检测定位方法效果图人眼检测和状态识别研究*基于三庭五眼比例特征人眼检测方法人眼检测和状态识别研究*人眼状态识别方法研究本课题对以下几种眼睛状态识别方法进行研究和比较基于眼睑曲率的眼睛状态识别基于分段眼睑曲率的眼睛状态识别基于椭圆拟合的人眼状态识别基于水平投影及比例特征的人眼状态识别判断黑色像素比例进行人眼状态识别人眼检测和状态识别研究*基于眼睑曲率的眼睛状态识别人眼睁开时，上眼睑向上弯曲，曲率为正；而在闭合时，上眼睑基本呈扁平状，曲率基本为零。因此可以通过提取人眼的上眼睑，通过计算上眼睑的曲率来判断当前人眼状态。人眼检测和状态识别研究*基于眼睑曲率的眼睛状态识别上眼睑曲率提取过程：（1）边缘检测较好保持边缘连续性的Canny算子（2）上眼睑轮廓提取上眼睑基本上位于边缘图像的最上部，按列扫描图像取出每列的最上面的点，即为上眼睑。（3）中点和边界点提取提取上眼睑的边界点以及中点。（4）计算曲率（5）阈值判断人眼检测和状态识别研究*基于眼睑曲率的眼睛状态识别曲率阈值睁眼样本（124）闭眼样本（130）正确数错误数正确率（%）正确数错误数正确率（%）0.1141131191.11052580.70.1151121290.31072382.30.1161121290.31092183.80.1171011381.51102084.60.1181091587.91121886.1人眼检测和状态识别研究*基于分段眼睑曲率的眼睛状态识别这种方法与上面方法类似。主要区别在于：（1）眼睑曲线的拟合，眼睑曲线原先利用提取的边缘曲线，而这里利用的是三阶多项式对眼睑曲线进行拟合。（2）曲率的计算，前面的方法考虑的是上眼睑的整体特性，只计算一次曲率，而本方法是将眼睑曲线分成若干段，再分别计算这几段的曲率，将这些曲率进行求和后，作为判断眼睛状态参数。眼睑轮廓曲线拟合上眼睑边界点提取人眼检测和状态识别研究*基于分段眼睑曲率的眼睛状态识别曲率阈值睁眼样本（124）闭眼样本（130）正确数错误数正确率（%）正确数错误数正确率（%）0.121081687.1646649.20.131071786.3755557.70.141071786.3814962.30.151051984.7943672.30.16992579.81062481.5人眼检测和状态识别研究*基于椭圆拟合的人眼状态识别人眼轮廓与椭圆非常近似，人眼在睁开状态下的圆形度要高于闭眼状态下的，通过对人眼进行椭圆拟合，然后判断椭圆长半轴以及短半轴的比例关系可以作为人眼状态判断的参数。图3-上眼睑轮廓曲线拟合人眼检测和状态识别研究*基于椭圆拟合的人眼状态识别b/a睁眼样本（124）闭眼样本（130）正确数错误数正确率（%）正确数错误数正确率（%）0.21117794.3755557.70.221121290.3874366.90.231051984.7923870.80.241022282.31003076.90.25992579.81042680.0人眼检测和状态识别研究*基于水平投影及比例特征的人眼状态识别当人眼睁开时，水平投影直方图高度比较低，宽度比较长，而人眼闭合状态时，水平投影直方图高度比较高，宽度比较短。人眼图像二值化效果左图是睁眼图像直方图投影，右图是闭眼图像直方图投影人眼检测和状态识别研究*基于水平投影及比例特征的人眼状态识别高度/宽度睁眼样本（124）闭眼样本（130）正确数错误数正确率（%）正确数错误数正确率（%）4982679.01191191.551032183.41091191.561061885.51161489.271081687.11042680.0人眼检测和状态识别研究*判断黑色像素比例进行人眼状态识别人眼图像二值化效果该方法判断的依据是当睁眼时，人眼区域的黑色像素比例会大于闭眼的情况。人眼检测和状态识别研究*人眼状态识别方法结果 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 人眼状态识别方法睁眼样本识别率闭眼样本识别率处理时间评价基于眼睑曲率的方法87.9%87.7%11ms好基于分段眼睑曲率的方法79.8%81.5%12ms较好基于椭圆拟合的方法80%80%10ms较好基于水平投影及比例特征方法85%91%14ms好判断黑色像素比例的方法76.6%65.4%8ms较差基于眼部特征的疲劳状态检测*基于PERCLOS与眨眼频率的疲劳检测PERCLOS准则PERCLOS(PercentageofEyelidClosureOverthePupilTime)是指单位时间内眼睛闭合的时间的百分比。通过大量实验数据表明，PERCLOS与疲劳程度具有良好的相关性，美国公路管理局推荐将PERCLOS准则作为基于视觉的驾驶疲劳判断的最好方法。基于眼部特征的疲劳状态检测*基于PERCLOS与眨眼频率的疲劳检测PERCLOS计算方法在本课题PERCLOS大于0.4时则认为驾驶员处于疲劳状态基于眼部特征的疲劳状态检测*眨眼频率人的眼睛在正常情况下眨眼频率平均为10-15次/分，如果眨眼频率过低，可能是因为驾驶员疲劳，这种情况可以通过PERCLOS原理检测；另一方面可能是驾驶员走神，目光呆滞，这时计算得到的PERCLOS会很低，但是这种情况也应该报警，需要通过计算眨眼频率进行检测。系统阈值：下限不低于5次/分，上限不高于25次/分基于PERCLOS与眨眼频率的疲劳检测基于眼部特征的疲劳状态检测*基于眼部特征的疲劳状态检测*疲劳检测系统测试效果图课题总结与实验效果演示*课题总结本课题介绍了驾驶疲劳检测的意义和现状，描述了基于视觉的人脸检测、眼睛定位和眼睛状态识别等各种方法，着重比较了各种光照预处理方法以及眼睛状态识别方法，在此基础上采用了PERCLOS和眨眼频率相结合方法作为疲劳判断的核心算法，最终完成复杂驾驶环境下司机疲劳度检测系统设计。**