宋怀波第11讲：图像复原课件

第五章图像复原目录5.1图像复原技术概述5.2图像退化模型5.3图像复原方法5.4运动模糊图像的复原5.5图像的几何校正什么是图像复原技术？图像复原技术也常被称为图像恢复技术，是当今图像处理研究领域的重要分支。图像复原技术能够去除或减轻在获取数字图像过程中发生的图像质量下降（退化）问题，从而使图像尽可能地接近于真实场景。什么是图像退化？景物形成过程中可能出现畸变、模糊、失真或混入噪声，使所成图像降质，称为图像“退化”。5.1图像复原技术概述引起图像退化的原因：成像系统的象差、畸变、带宽有限等造成的图像失真；由于成像器件拍摄姿态和扫描非线性引起的图像几何失真；运动模糊，成像传感器与被拍摄景物之间存在相对运动，引起所成图像的运动模糊；灰度失真，光学系统或成像传感器本身特性不均匀，造成同样亮度景物成像灰度不同；辐射失真，由于场景能量传输通道中的介质特性如大气湍流效应，大气成分变化引起图像失真；图像在成像、数字化、采集和处理过程中引入的噪声。图像复原与图像增强的关系：都是为了改善图像的视觉效果，得到某种改进图像，也就是希望改进输入图像的视觉质量，便于后续处理。图像增强技术：更偏向主观判断，即要突出所关心的信息，满足人的视觉系统，具有好的视觉结果。图像复原技术：根据图像畸变或退化的原因，进行模型化处理，将质量退化的图像重建或恢复到原始图像，即恢复退化图像的本来面目，忠实于原图像。因此必须根据一定的图像退化模型来进行图像复原。频域法逆滤波法维纳滤波法约束最小平方滤波法小波变换法线性代数复原法无约束复原法有约束复原法伪逆滤波法奇异值矩阵分解SVD法非线性代数复原法凸集投影法最大熵复原法贝叶斯复原法遗传进化法频谱外推法哈里斯外推法长球波函数外推法能量连续降减法神经网络法从方法和应用角度的分类：基本思路高质量图像退化了的图像复原的图像图像退化图像复原因果关系研究退化模型a)被正弦噪声干扰的图像b)滤波效果图用巴特沃思带阻滤波器复原受正弦噪声干扰的图像举例：a)受大气湍流的严重影响的图像b)用维纳滤波器恢复出来的图像维纳滤波器应用举例：举例：图像复原的本质是根据图像退化原因，建立相应的数学模型，从被污染或畸变的图像信号中提取所需的信息，沿着使图像降质的逆过程恢复图像本来面貌。广义上讲，图像复原是一个求逆过程，逆问题经常存在非唯一解，甚至无解。5.2图像退化模型降质过程可看作对原图像f(x,y)作线性算。g(x,y)＝H·f(x,y)+n(x,y)降质后降质模型噪声Hf(x,y)n(x,y)g(x,y)5.2图像退化模型使用线性位移不变系统的原因很多退化都可以用线性位移不变模型来近似，可以借助数学工具求解图像复原问题当退化不太严重时，一般有较好的复原结果尽管实际非线性和位移可变的情况能更加准确而普遍地反映图像复原问题的本质，但求解困难。f(i,j)：原始图像g(i,,j)：降质图像H(·)：成像系统的作用，则：由于函数的筛选性质（一幅图像可以看作是由一系列冲激函数组成的）5.2图像退化模型小亮点成像系统H一个放大的亮脉冲以及退化的冲激噪声模型图像中的噪声项η(x,y)有多种不同模型：高斯（Gaussian）噪声瑞利（Rayleigh）噪声伽马（爱尔兰）噪声指数（Exponential）噪声均匀（Uniform）噪声脉冲（椒盐）噪声GaussianRayleighErlangExponentialUniformImpulse噪声举例高斯瑞利爱尔兰噪声举例指数均匀噪声椒盐解决方法去除原点、设置原点值。原点、邻域均不计算f(x,y)H(u,v)n(x,y)g(x,y)M(u,v)恢复转移函数5.3.1反向滤波法逆滤波的实验结果(a)模糊图像(b)k=0.1(c)k=0.01对不含噪声的模糊图像进行恢复的实验结果。当参数k取不同值时，恢复结果相差很大，k=0.1时图像不够清晰，轮廓也不够鲜明，而k=0.01时虽然轮廓清晰，但引入较大噪声，且振铃效应比较明显。通常功率谱的低频部分以信号为主，而高频部分则主要被噪声所占据。逆滤波会增强高频部分的噪声，为克服以上缺点，提出了用最小均方误差方法（维纳滤波）进行图像恢复。维纳滤波器的复原效果良好，计算量较低，并且抗噪性能优良，因而在图像复原领域得到了广泛的应用，并不断得到改进，许多高效的复原算法都是以此为基础形成的。维纳滤波5.3.2约束还原法Wiener滤波恢复是在假定图像信号可近似看作平稳随机过程的前提下，按照使原图像与恢复后的图像之间的均方误差达到最小的准则，来实现图像恢复的。即：Andrew和Hunt推导出满足这一要求的转移函数为：维纳滤波实现运动模糊图像恢复的实验结果(c)K=0.01(d)K=0.1在K取不同参数时维纳滤波的恢复结果(a)实际拍摄的运动模糊图像(b)K=0.001在K取不同参数时对复原图像的二值化结果(a)K=0.001(b)K=0.01边缘提取的结果(c)K=0.1(d)K=0.01时恢复图像的边缘检测结果(a)运动模糊和加性噪声图像(b)逆滤波复原(c)维纳滤波复原(d),(e),(f)顺序同上，但其中的噪声幅值降低一个数量级(g),(h),(i)顺序同上，但其中的噪声幅值降低五个数量级5.4运动模糊图像复原的基本原理运动模糊的基本原理运动模糊图像的退化模型运动模糊图像的点扩散函数匀速直线运动模糊点扩散函数的参数确定运动模糊点扩散函数的离散化在获取景物图像时，如果在相机曝光期间景物和摄像机之间存在相对运动，拍得的照片都可能存在模糊的现象，这种由于相对运动造成图像模糊现象就是运动模糊。5.4.1运动模糊的基本原理由于高速运动产生的运动模糊图像运动模糊图像的形成过程。运动模糊图像成像原理解决运动模糊的方法一般有两种:减少曝光时间。但相机的曝光时间并不可能无限制地减小，随着曝光时间减小，图像信噪比减小，图像的质量也较低，所以这种方法用途极其有限;举例：高帧频相机，每秒几百万帧，价格8万美元起。主要用在需要进行高速或超高速的摄影上，例如，高速铁路等。建立运动图像的复原模型，通过数学模型来解决图像的复原问题。这种方法具有普遍性，因而也是研究解决运动模糊的主要手段。由匀速直线运动造成图像模糊的复原问题更具有一般性和普遍意义。变速的、非直线运动在某些条件下可以被分解为分段匀速直线运动。在曝光量适当和聚焦正确的情况下，假设快门开启和关闭瞬时完成，则曝光量可以 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达为对实际景物图像的一个积分：如果景物是静止的，即，那么上述积分只是与时间的乘积，曝光时间的变化只影响成像的反差。5.4.2运动模糊图像的退化模型5.4运动模糊图像的复原退化的原因为已知对退化过程有先验知识，如希望能确定PSF和噪声特性即确定：h(x,y)与n(x,y)g(x,y)=H·f(x,y)+n(x,y)1．根据导致模糊的物理过程（先验知识）1）大气湍流造成的传递函数PSF模糊模型c：与湍流性质有关的常数2）光学系统散焦退化函数离焦模糊是由于成像区域中存在不同深度的对象造成的图像退化，几何光学的分析表明，光学系统散焦造成的图像退化相应的点扩散函数是一个均匀分布的圆形光斑，其表达式为:其中R为散焦斑半径。如果退化图像的信噪比较高时，则可由的傅立叶变换在频域图上产生的圆形轨迹来确定R。模糊后图像任意点的值：特点：图像的频谱在垂直于该方向上存在暗直线，可估出的大小，运动方向也可由图像的频谱估计出来已知：设相机不动，对象运动，运动分量x,y分别为x0(t)，y0(t)相机快门速度是理想的，快门开启时间（曝光时间）T。3）匀速直线运动模糊下的PSF相机与景物之间相对运动造成图像降质，H(u,v)——运动模糊：2．由图像中的点或线估计（后验知识）1）原始景物中有一清晰的点或点光源。由所成的像得到退化系统的PSF2）原始景物中确定一条线，成像，由直线产生模糊，根据模糊可以测定在于边缘垂直方向上的PSF断面曲线，得出一维PSF，如果PSF对称，旋转一维PSF得到二维PSF（a）模糊图像（b）恢复后的图像去除由匀速运动引起的模糊a)原始图像b)模糊图像c)复原图像运动模糊图像的恢复处理水平匀速直线运动引起模糊的复原5.5图像的几何校正5.5.1几何畸变的描述5.5.2几何校正1引言Lenna及变形图像5.5图像的几何校正几何畸变校正以一副图像为基准，去校正另一种方式摄入的图像，以校正其几何畸变，就叫做图像的几何畸变复原或者几何畸变校正。几何校正是图像几何畸变的反运算，是由输出图像像素坐标反算输入图像坐标，然后通过灰度再采样求出输出像素灰度值。图像几何校正的两个步骤(1)空间变换：对图像平面上的像素进行重新排列以恢复原空间关系(2)灰度插值：对空间变换后的像素赋予相应的灰度值以恢复原位置的灰度值5.5图像的几何校正5.5.1几何畸变的描述几何基准图像的坐标系统用(x,y)来表示需要校正的图像的坐标系统用(x’,y’)表示设两个图像坐标系统之间的关系用解析式表示通常h1(x,y)和h2(x,y)用多项式来表示：通常用线性畸变来近似较小的几何畸变更精确一些可以用二次型来近似若基准图像为f(x,y)，畸变图像为g(x’,y’)，对于景物上的同一个点，假定其灰度不变，则5.5.2几何校正5.5.2几何校正几何变换通常用已知的多对对应点来确定系数a,b线性畸变可由基准图找出三个点(x1,y1),(x2,y2),(x3,y3)与畸变图像上三个点(x'1,y'1),(x'2,y'2),(x'3,y'3)一一对应。5.5.2几何校正将对应点代入，有：解联立方程组，得出6个系数。二次畸变有12个未知量，需要6对已知对应点5.5.2几何校正5.5.2几何校正代入上式记作矩阵形式同样有解方程组，得到ai，bi12个系数。f(x,y)g(x’,y’)5.5.2几何校正内插法确定像素的灰度值几何变换是由输出图像像素坐标反算出输入图像坐标，但该坐标并非整数，需要进行灰度再采样。例：最近邻插值双线性插值NearestNeighborBilinear再采样是通过灰度插值来完成的5.5.2几何校正1．最近邻元法在待求像素的四邻点中，将距离这点最近的邻点灰度赋给待求像素。该方法最简单，但校正后的图像有明显锯齿状，即存在灰度不连续性。2．双线性内插法双线性内插法是利用待求像素四个邻点的灰度在二方向上作线性内插,计算比最近邻点法复杂些，计算量大。具有低通滤波性质，使高频分量受损，图像轮廓有一定模糊。3．三次内插法该算法计算量最大，但内插效果最好，精度最高。双线性内插法(0,0)f(0,0)(x,0)(0,y)(0,1)(x,1)(1,1)(1,0)f(1,0)(x,y)f(x,y)灰度双线性插值示意图yxf(0,1)f(1,1)用最近邻插值和双线性插值的方法分别将老虎放大1.5倍。采用最近邻插值放大1.5倍采用双线性插值放大1.5倍几何运算几何运算可以改变图像中物体之间的空间关系。这种运算可以看成是图像内的各物体在图像内移动的过程。例如，物体的转动、扭曲、倾斜、拉伸等等，都是几何运算的结果。图像的平移图像的平移非常简单，所用到的是中学学过的直角坐标系的平移变换公式：图像的平移注意：平移后的景物与原图像相同，但“画布”一定是扩大了。否则就会丢失信息。下移1行，右移2列图像的镜像镜像分为水平镜像和垂直镜像水平镜像计算公式为：123123123-3-2-1发生问题：矩阵下标不能为负平移：0,0xy水平镜像图像的镜像同理：垂直镜像计算公式为：123123123-3-2-10,0xy垂直镜像0,0xy旋转图像的旋转图像的旋转计算公式如下：公式计算出的值为小数，而坐标值为正整数。公式计算结果值所在范围与原来的值所在范围不同。因此需要前期处理：扩大画布，取整处理，平移处理图像的旋转例题复杂变换右图显示了在失真和相应的校正图像中的四边形区域，四边的顶点是相应的“控制点”。假设四边形区域中的几何形变过程用双线性方程对来建模，即：FDCBAFDCAB1.图像卷绕变形后的老虎校正后的老虎2.图像变形2.图像变形3.图像错切图像的错切变换实际上是平面景物在投影平面上的非垂直投影效果。错切的计算公式如下：图像错切的例题可以看到，错切之后原图像的像素排列方向发生改变。与前面旋转不同的是，x方向与y方向独立变化。图像的错切效果