基于先验约束的图像超分辨率复原

第27卷第5期 2008年10月 红外与毫米波学报 J．InfraredMillim．Waves V01．27，No．5 October，2008 文章编号：1001—9014(2008)05-0389—04 基于先验约束的图像超分辨率复原 唐斌兵， 王正明 (国防科学技术大学理学院。湖南长沙410073) 摘要：图像超分辨率复原是一个典型的不适定问题．近年来，借助先验信患改善图像超分辨率复原效果的 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 已成 为研究的一个热点，文章提出了一种利用先验图像的灰度分布作为约束的图像超分辨率复原的新方法．首先，利用 最小鉴别信息构造复原图像与先验图像的约柬，约束结果使得复原图像与给定的先验图像具有最相似的灰度分 布；其次，基于置信策略给出白适应的正则化参数选取方法；最后给出实验结果，结果 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明文中方法具有较好的复 原效果和稳定性． 关键词：图像复原；超分辨率；先验图像；最小鉴别信息；正则化 中图分类号：TN957文献标识码：A SUPER．RESOLUTIoNRECoNSTRUCTIONOF玎ⅥAGEBASED ONPRIORⅡ讧AGECONSTRAINT TANGBin—Bing，WANGZheng—Ming (CollegeofScience，NationalUniversityofDefenseTechnology，Chlmgslm410073，China) Abstract：Super·resolutionreconstructionofimageis811ill—posedproblem．Recently，super-r琶solutionreconstructionbased Oilpriorinformationbecomesafocusofresearch．Inthisthesis，amethodusingthegray·valuedistributionofpriorimage鹪 constraintinsuper·resolutionreconstructionofimagewaspmposed．Firstly，theminimuminformationdiscriminationw鹊 usedtoconstructtheconstraintofreconstructedimageandpriorimage，whichleadedtothereconstructedimagesimilarto thepriorcharacteristicimageingray-valuedistribution．Secondly，themethodtochooseregularizationparameteradaptively basedonfiducialstrategywasgiven．TheexperimentalresultsdemonstratethatthemethodCallprovidebetterreconstructing andsteadyresults． Keywords：imagereconstruction；super-resolution；Forimage；minimuminformationdiscrimination；regularization印一 proach 引言 从理论上讲，任何自然图像都是无限带宽的；而 实际上，图像采集、成像等过程中，许多因素如大气 干扰、相对运动、聚焦不良、CCD采样率低等，都会 引起图像分辨率下降．改善图像分辨率方法很多，但 多数方法是针对单幅图像的，其复原效果非常有限． 随着多视频帧摄像系统的出现，多图像的超分辨率 复原，越来越多地受到人们的关注．由于它可以利用 图像间相似互补的信息，因而能复原出在视觉效果 上超过原来任何一幅低分辨率图像的图像． 多图像的超分辨率复原是一个不适定问题，其 复原结果受噪声的干扰较大，最有效的方法是以平 滑假设作为约束的正则化方法【lJ，虽然该方法能保 证图像复原受噪声干扰较小，但存在着平滑噪声和 保持边缘的矛盾．近年来，借助先验信息改善图像 超分辨率复原效果的方法已成为研究热点．Christo． pher拉1等利用图像块数据库来获取自然图像的空间 中频和高频信息，用于补充超分辨率图像的高频信 息；王程等在超分辨率复原中引入了模板库中的先 验信息∞J，提高了图像的分辨率，但如何从数据库 中合理地选取先验图像则是这些方法的一个共同 难点． 虽然应用中，很多情况下观测图像的分辨率较 低，图像较为模糊，但其类型往往是知道的，如很容 易知道其为人脸图像或是车牌图像等．为此，本文提 收稿日期：2008·Ol一2l，修回日期：2008-06·18 Receiveddate：2008．01．21。件viseddate：2008．06．培 基金项目：国家自然科学基金资助项目(60572136) 作者简介：唐斌兵(1967·)，女，湖南东安人，国防科技大学理学院副教授，硕士，主要从事数据建模及图像处理方面研究． 万方数据 390 ． 红外与毫米波学报 27卷 出了一种新的图像超分辨率复原方法．首先根据观 测图像类型寻找一幅清晰图像作为先验特征图像， 使其与超分辨率图像具有最大程度相似的灰度分 布．其次，利用最小鉴别信息原理构造一个复原图像 与先验特征图像的最小鉴别信息项作为约束项，由 此构造新的超分辨率复原模型，确保复原图像在灰 度分布上最大程度地接近先验特征图像；最后基于 置信策略给出一种自适应地选取正则化参数的 方法． 1超分辨率图像复原模型 设有K帧低分辨率观测图像，记为{g。lk=1， ⋯，K}，图像大小为M×N／为原始高分辨率图像， 大小为qM×qN，q为内插因子且口>1，则低分辨率 图像甑可认为是高分辨率图像，经移位、空间模糊 和欠采样生成的，这个降质过程可描述为： gI=DHIE／+‰，l≤k≤K， (1) 式中D为欠采样矩阵，巩为模糊降质点扩展函数， 瓯为移位矩阵，n。通常为零均值高斯白噪声．一般 来说，式中g。和D已知，而巩和瓯未知． 由于噪声的存在，图像超分辨率复原是一个不 适定问题，必须在复原时引入相应的约束．引入约束 后的正则化复原模型为 ．P ． ． Ⅳ)=∑0g。一DHkEkfII2+A咖∽， (2) ★=l 其中，表示复原图像，A为正则化参数，6(f)为图 像，的约束函数，平滑假设方法认为 咖U)=11够旷， (3) c为正则化算子矩阵，通常为高通算子． 对式(2)模型的求解，牵涉到大型矩阵的计算， 其计算量是惊人的．一般来说，模糊降质点扩展函数 及欠采样函数的尺寸要远远小于图像尺寸，为了降 低运算量，采用Hardie(11等人提出的目标函数 ． P 肼 N， ICf)=∑∑∑㈨iJ) ^2l‘=1j21。 qM叫 ． ，2 ． 一∑∑Rk(ij；m，n1，(m，n)J_+^咖盯)，(4) m21n=l 。 式中吼(i√；m，n)为图像／在(m，n)处的像素f(m， n)对于第k帧图像在(i，歹)处像素g。(i，_『)的贡 献值． 2最小鉴别信息约束方法 人眼视觉认为空间灰度分布相似的两幅图像具 有相同的清晰度．为此，利用与原始图像空I司灰度分 布相似的清晰图像作为一种清晰特征，可对图像的 盲复原结果进行约束． 最小鉴别信息原理认为：对于随机变量x，概率 密度函数q(x)未知，在先验概率密度函数P(菇)和 函数列厶(戈)的数学期望： 卜(z)厶(戈)=C。，m=1,2，⋯，M，(5) 已知的条件下，对函数q(x)的估计应在满足式(5) 及Iq(石)：1的条件下，选择能使鉴别信息I(q(x)， p(石))=卜(z)log羡等取最小值的解． 原理表明，使鉴别信息最小的分布是在满足约 束条件下最接近P(茗)的概率分布．对图像复原来 说，不妨记|j}为先验特征图像，则有 g(i√)：音弘， ．∑∑／(i√) p(i√)：可等监一， (6) ∑∑Jj}(i√) 进一步假设 ∑∑，(i√)=∑∑J}(i√)， (7) 则鉴别信息I(q(i,j)，P(i,j))等价于 帧∽州∽)=薹鼽剃n船， ， (8) 以此为约束，即令咖驴)=，驴(iJ)，后(i√))，则有 J(『)：圭兰∑N【“∽一兰,t,--兰蹦沥")『(m’n)Iz时)：∑∑∑‰iJ)一∑∑如(i抽n)『(m，n)Iz I=1i=1j=1：joa +a薹，耋f‘(i,j)li n勰． ㈩+^∑‘n粼． (9’=l⋯ o、’¨， 由于自适应正则化方法在图像复原时，能在平滑噪 声的同时很好地保持边缘，因此可将式(9)改成自 适应正则化方程的形式： 盯)：∑P圭∑N【“jf'『)．兰兰蹦址m，。)『(m'n)IzJ(『)：∑∑∑【g。(iJ)．∑∑j2。(iJ；m，n1『(m，n)Iz I=1i=I，=1：．1；‘五 +薹鼽蝴-n勰， clo)+∑∑^(i胛加黜， ‘ 式中A(i,j)为图像在局部(i√)处的正则化参数． 3复原算法 万方数据 5期 唐斌兵等：基于先验约束的图像超分辨率复原 391 3．1算法实现 图像超分辨率复原过程就是式(10)目标函数 最小化的过程，为此_，U)对厂求偏导，并令其为0， 得 p一丛△ 遵 =一2(to(i,j))qM。gⅣ +(A(iJ)[1nf(i,j)一Ink(i,j)+1])州。州 =O ， (11) 式中， oJ(i,j)=∑∑∑{Rk(i,j；m，n) qM qN 【∑∑R。(ij；m,n)『(m,n)一缸(训】}．(12) 则对式(10)的求解转化成对式(11)的求解，可 采用迭代法进行 五+--五一丢却 (13) 式中西为松弛因子．对参考图像做双线性插值，得 到与超分辨率图像厂尺寸相同的图像g。作为初值 l。． 3．2自适应正则化参数的选取 式(11)中正则化参数A(i，，)起着对解折衷作 用．A(i√)越大其复原图像在局部(i，J)处灰度越接 近先验图像灰度，反之越接近式(11)第一项直接求 逆的结果．因此在A(i，J)选取上，原则上认为先验 图像越接近于超分辨率图像，A(iJ)取值越大．但由 于实际应用中超分辨率图像．厂往往是不可获得的， 因此常用的方法是手动尝试选取多个A(i√)，最终 选取具有最佳复原效果的A(i，J)作为最佳正则化 参数，但这样做成本太大，会降底图像复原的效率， 因此下面采用置信策略方法来计算A(i√)． 实质上，低分辨率图像是原始图像空间像素值 的加权平均，因此在噪声不是特别严重的情况下，可 以认为低分辨率图像的方差必然要小于超分辨率图 像的方差，图像的复原会引起方差的增加．但是由于 图像空间像素值的加权平均主要是使边缘区域方差 下降，而对平坦区域方差的影响很小，因此图像复原 的理想结果可近似认为边缘区方差增加最大，纹理 区次之，平坦区则可认为基本没有增加． 另外，由于算法本身缺陷以及参数选择不当 等，图像复原时都会引入伪结构，产生不同程度的 寄生波纹，寄生波纹的存在破坏了各个区域方差 变化规律．对于边缘区，由于其本身方差较大以及 人眼视觉的掩盖效应，使得人眼对图像边缘区的 寄生波纹最不敏感，可忽略寄生波纹对边缘的影 响；而平坦区由于其本身方差很小且人眼对该区 域的寄生波纹最为敏感，可认为方差的增加纯粹 是寄生波纹引起的．因此，在图像复原时，边缘区 受寄生波纹干扰相对较小，其复原结果置信度最 高，这时A(i，J)应取较小的值；而平坦区受寄生波 纹干扰的程度最大，其复原结果的置信度最低，这 时A(i，_『)应取较大的值，纹理区对应的A(i，_，)应 介于边缘区和平坦区之间． 至于图像的分区可按局部方差大小来划分，为 简便起见，可认为A(i√)与图像g。局部方差盯乙(i， _『)成反比，则A(i√)可按下式来计算 A(iJ)= atr29L(i,j)+1 ’ (14) 式中口为系数，可通过实验选取，本文取a=0．01． 盯：(ij)可采用局部窗口方法计算．设窗口的大小为 (2P+1)(2Q+1)，则 1 i+Pj+Q吒(∽。面桶，。；^丕。[乳(训)一mgL(iJ)12， I i+Pj+Q mgL(iJ)：两而丽【。；^J狲'y加)一mgL(ij)32】· (15) 为更好地反映图像局部特性，窗口尺寸不能太 大，但过小计算结果容易受噪声的影响，因此，一般 选取P=Q=2或P=Q=3． 4实验结果及分析 本文实验是在Matlab6．5环境下模拟完成的． 对256×256的超分辨率图像1(a)采用平移、模糊 和欠抽样后，加入30dB高斯噪声的方法产生7幅 64X64的低分辨率图像序列，其中平移范围为0～4 个像素，采用散焦模糊，其降质点扩展函数为式 (16)，并取R=7．图1(b)为选取的低分辨率参考 图像经放大至256X256后图像，图1(c)为文献[2] 中图像数据块特征图像． h(ij)：J去~／i2+广洲．(16)( )={1r尺2⋯。 。。、“ ． ( ) 【0 其它 采用改进信噪比△跚=10log。。|Ig。一，02／ I，一川2对图像复原结果进行评价．迭代时采用 0^+。一^II2川^』2≤10“作为算法终止求解 条件． 万方数据 392 红外与毫米波学报 27卷 图1 超分辨率图像复原结果的比较，(a)超分辨率图像， (b)低分辨率参考图像，(C)先验特征图像，(d)传统平滑约 束算法复原结果，(e)文献[2]算法复原结果，(f)本文方法 复原结果 Fig．1Comparisonofresulsofsuper．reso]utionimagerecon． struction，(a)thesuper—resolutionimage，(b)thelow-resolution image，(c)thepriorimage，(d)theimagereconstructedbythe traditionalalgorithmwiththesmoothnessconstraint，(e)theim． agereconstructedbythealgorithmofthesis[2]，(f)theimage reconstructedby0111"method 表1图1中不同算法得到图像的改进信噪比As胍(单位： dB)的比较结果 Table1 Comparisonof△s№derivedbydifferentalgo- rithin 传统平滑约束算法复原结果如图1(d)，文献[2]算 法复原结果如图l(e)，本文方法的复原结果如图1 (f)． 实验表明，无论从△。。。还是人眼视觉效果上， 本文方法明显优于传统平滑约束复原法和文献[2] 算法． 5结语 传统的超分辨率图像复原算法主要利用的是图 像本身的模型信息，而实际应用中超分辨率图像是 不可能知道的，其对模型的假设往往并不准确，超 分辨复原的效果也并不明显．而在实际应用中，许多 场合都能够找到与超分辨率图像具有相似灰度分布 特征的先验图像，为此，本文提出了利用先验图像的 灰度分布信息来进一步改善图像质量的超分辨率复 原算法，在特征图像适宜的情况下，其复原效果能够 得到较大程度的提高；同时，相对传统先验约束方 法，本文方法所提的灰度分布特征约束要更加简易 有效． REFERENCES [1]HardieRC，BarnardKJ，BagnarJ G，eta1．High-resolu· tionimagereconstructionfromasequenceofrotatedand translatedframesanditsapplicationtoallinfraredimaging system[J]．OpticalEngineering，1998，37(1)：247—260． 2BishopCM，BlakaA，MarthiB，eta1．Super-resolution enhancementofvideoCI．Proceedings9thInternational ConferenceonArtificialIntelligenceandStatistices。Key West．F1撕da2003：410—414． 3WANGCheng，WANGRun—Sheng．Combinedresolutionca- hancementandpatternmatchinginimagesequencebased onMAPfrance[J]．ChineseJournalofComputers．(王程， 王润生．基于MAP框架的图像序列超分辨率和模板匹 配．计算机学报)，2003，26(8)：961—967． 4PattiAJ。AhunbasakY．Artifactreductionforsettheoretic superresolutionimagereconstructionwithedgeadaptive constraintsandhigher-orderinterpolantsJ I．IEEETrans ImageProcessing，2001，10(1)：179一180． [5]ZHAOXia，WANGZheng—Ming．Adaptiveregularization variationmethodforSARimagefeture．enhancemantand speckle—removal[J]．J．InfraredMiUim．Waves(赵侠，王 正明．SAR图像相干斑抑制和特征增强的自适应正则化 变分方法．红外与毫米波学报)，2007，26(2)：112--116． 6 FarsiuS，RobinsonMD．EladM。eta1．Fastandrobust multiframesuperresolutionIJ]．IEEETransImageProcess． ing，2004。13(10)：1327—1344． [7]BakerS，KanadeT．Hallucinatingfaces[C]．4thInterna． tionalCottferenceonAutomaticFaceandGestureRecogni． tion．2000：83—-88． 『8 1 WANGChao．YEZhong．Fu．Variationalenhancementfor infraredimages[J]．上InfraredMillim．Waves(王超，叶中 付．红外图像的变分增强算法．红外与毫米波学报)， 2006．25(4)：306—310． [9]BakerS，KanadeT．Limitsonsuper-resolutionandhowto breakthemJ I．IEEETransPatternAnalysisandMachine Intelligence，2002，24(9)：1167一1183． 万方数据 基于先验约束的图像超分辨率复原 作者： 唐斌兵， 王正明， TANG Bin-Bing， WANG Zheng-Ming 作者单位： 国防科学技术大学,理学院,湖南,长沙,410073 刊名： 红外与毫米波学报 英文刊名： JOURNAL OF INFRARED AND MILLIMETER WAVES 年，卷(期)： 2008,27(5) 参考文献(9条) 1.Baker S;Kanade T Limits on super-resolution and how to break them[外文期刊] 2002(09) 2.王超;叶中付 红外图像的变分增强算法[期刊论文]-红外与毫米波学报 2006(04) 3.Baker S;Kanade T Hallucinating faces 2000 4.Farsiu S;Robinson M D;Elad M Fast and robust multiframe super resolution 2004(10) 5.赵侠;王正明 SAR图像相干斑抑制和特征增强的自适应正则化变分方法[期刊论文]-红外与毫米波学报 2007(02) 6.Patti A J;Altunbasak Y Artifact reduction for set theoretic super resolution image reconstruction with edge adaptive constraints and higher-order interpolants[外文期刊] 2001(01) 7.王程;王润生 基于MAP框架的图像序列超分辨率和模板匹配[期刊论文]-计算机学报 2003(08) 8.Bishop C M;Blaka A;Marthi B Super-resolution enhancement of video 2003 9.Hardie R C;Barnard K J;Bagnar J G High-resolution image reconstruction from a sequence of rotated and translated frames and its application to an infrared imaging system[外文期刊] 1998(01) 本文链接：http://d.g.wanfangdata.com.cn/Periodical_hwyhmb200805015.aspx