第2l卷 第2期 Vo1.2l No.2 电子设计工程 Electronic Design Engineering 2013年1月 Jan.2013 基于改进SIFT的图像拼接算法 崔得龙 一,弓云峰 ,左敬龙 (1.广东石油化工学院计算机与电子信息学院,广东茂名525000; 2.广东省石化装备故障诊断重点实验室广东茂名525000) 摘要:针对目前基于SIFT的图像拼接算法复杂度较高和特征点匹配不准等问题,提出了一种基于改进SI盯的图像 拼接算法。算法利用改进的SIFr进行特征提取,降低了算法的复杂度,同时采用模拟退火算法进行特征点匹配,从而 估计出几何变换的参数。实验结果表明.该方法对图像间存在的平移、旋转、明暗强度和噪声干扰都具有良好的鲁棒 性.可实现高质量的图像拼接。 关键词:图像拼接;尺度不变特征变换;模拟退火算法;灰度校正 中图分类号:TP309 文献标识码:A 文章编号:1674—6236(2013)02—0034—04 An image mosaic algorithm based on improved SIFT CUI De—long 一,GONG Yun—feng ,ZUO Jing-long (1.College ofComputer and Electronic Information,Guangdong University ofPetrochemical Technology,Maoming 525000,China;2.GuangdongProvincial Key Lab ofFault Diagnosis ofPetrochemical Equipment,Maoming 525000, China) Abstract:In order to solve the problems of heavy computing load and the inaccurate matching of feature points compared with the traditional image mosaic algorithm based on SIFT.an novel image mosaic algorithm based on improved SI is proposed in this pape ̄The feature points are extracted by improved SIFT,SO it can reduce the computing load.Meanwhile,the feature points matching are realized by simulated annealing lgoraithm,and the geometric parameter is computed.Experimental results demonstrate that the proposed method is robust to translation,rotate,intensity and noise,and can produce high quality image mosaic. Key words:image mosaic;SIFT;simulated annealing algorithm;gray calibration 图像拼接是基于图像绘制技术(IBR)中的一种基本的处 理方法,所谓图像拼接就是将多幅相互间存在重叠的序列图 何约束、迭代求精,如M—estimatorst4l、RANSACI 等方法,但这 些方法受初匹配内点(正确匹配的点)比例影响较大.如何提 高内点的比例常常决定着匹配图像的配准精度和迭代效率 像进行无缝拼接,合成一幅包含各图像信息的、宽视角场景 的高清晰图像.是目前计算机视觉、图像处理和虚拟现实等 领域的研究热点。 文献[613U用欧氏距离通过调整最近邻(NN)与次近邻(SCN) 距离的比值阈值,可以减少一些误匹配.但同时也易损失一 图像配准问题是图像拼接技术的关键技术之一。目前主 要的图像配准方法可分为基于灰度信息的图像配准方法ll】. 部分原本正确的匹配点,不能在真正意义上提高正确匹配 率。文献[71提出一种基于中值滤波的特征点对匹配算法,能 基于特征的图像配准方法闭和基于变换域的图像配准方法目 等。其中最常用的是基于图像特征的配准方法:首先对待拼 接图像进行特征提取得到特征点集,并通过相似性度量找到 部分但不能完全剔除错误匹配的特征点对,同时该方法执行 效率较低。文献[8】提出把中值滤波用于检测RANSAC的初始 迭代特征点对,但并没有考虑排除错误的特征点对,因此对 RANSAC的执行效率没有实质的改进。 针对目前基于SI 的图像拼接算法复杂度较高和特征 匹配的特征点对,然后匹配计算得到图像空间坐标变换参 数.最后进行图像配准,特征提取和特征匹配是配准技术的 关键。 点匹配不准等问题,提出了一种基于改进SI兀、的图像拼接 算法。算法利用改进的SIF丫r进行特征提取,降低了算法的复 杂度,同时采JF}I模拟退火算法进行特征点匹配.从而估计出 几何变换的参数。实验结果表明。该方法对图像问存在的平 移、旋转、明暗强度和噪声干扰都具有良好的鲁棒性,可实现 高质量的图像拼接。 传统的特征提取方法如Harirs角点算法、基于边缘的特 征提取算法等对于图像配准的条件要求很高,当图像间发生 尺度缩放、旋转和光照变换以及仿射变换等情况时,匹配效 果就会受到严重的影响。目前去除误匹配的方法多采用极几 收稿日期:2012—10—02 34- 稿件编号:201210001 作者简介:崔得龙(1978一),男,吉林农安人,硕士,讲师。研究方向:信息安全,图像处理。 -崔得龙.等基于改进SIFT的图像拼接算法 关键点为中心的邻域窗口内采样,并用直方图统计邻域像素 的梯度方向,直方图的峰值代表了该特征点处邻域梯度的主 方向.即为该特征点的主方向。 4)生成特征点描述符 首先将坐标轴旋转为关键点的主方向.以确保旋转不变 性,然后以关键点为中心取的窗口均匀地分为16个的小块, 1 SⅡ’T特征提取 1.1 SⅡ'rI' 2004年David G.Lowe提出了一种基于尺度空间的。对 图像旋转、缩放甚至仿射变换保持不变的图形局部特征算 子--SIFT(Scale Invariant Feature Transforil1)。SIF ̄算子不仅 能提取出大量稳定的特征点。而且其独特性较高的特征描述 在每个小块的8个方向(O。,45。,90。,135。,180。,225。,270。, 符在大多数情况下也能保证较高的匹配率191。SIFT算法特征 点提取具体步骤如下: 1)构造高斯差分尺度空间(DOG),检测尺度空间极值点 为了得到多尺度空间内的稳定关键点.利用不同尺度的 高斯差分核与图像进行卷积构成高斯差分尺度空间。 D(x,Y, =(G( ,Y,kor)-G( ,y,or)) l(x,Y) L( ,Y,kor)-L(x,Y,ro) (1) 式中,G( ,Y,ro)= 1 e一‘州 , 是尺度坐标,( ,y)是 空间坐标,L(x,y, )是二维图像的尺度空间。 检测尺度空间的极值点。每个检测点和它同尺度的8个 相邻点以及上下相邻尺度的个点进行比较,以确保在尺度空 间和二维空间都能检测到极值点,DOG尺度空间极值检测如 图1所示。 [1OG图像 图1 DOG尺度空间局部极值检测 Fig.1 Local Key-point detection of DOG scale space 2)极值点精确定位 通过拟合三维二次函数精确定位极值点的位置和尺度, 同时去除低对比度的点和不稳定的边缘响应点。边缘响应点 通过式(2)去除。 stabmty=瓦(Dxx+ Drr)2D< (2) 肚[瓷 。Day ] (3) 2式中,Ⅳ为的Hessian矩阵,r为控制特征值大小的参数。 3)分配关键点方向 为使swr特征点具备局部旋转不变性,利用关键点邻 域梯度像素的分布特性为每个关键点分配方向参数,点处梯 度的模和方向的公式如式(4)和式(5)。 m(x, )=X/( ( +l,y)-l(x-1,Y))2+( ( ,y+1)-l(x,y—1)) (4) ( ,y)=ol tan2、 L(x y+1)-L (x y-,,1j))_ (5) (+1y)一(一,1,y其中L的取值为每个关键点所在的尺度。实际中。在以 315。)的梯度直方图上绘制每个梯度方向的累加值.形成一 个种子点,则每个种子点含有8个方向的信息向量。一个特 征点用16个种子点描述。即由128维向量来描述。 1.2改进的SⅢT特征点描述符 在SIFfI'提取的第(3)步,需要为特征点分配一个主方 向.通过主方向旋转特征点的局部区域实现特征点的抗旋转 能力。考虑到圆具有很好的旋转不变性,因此文献【10】提出利 用特征点周围的圆形区域来构造SWF特征描述子,当图像 产生旋转时,仅子环内的像素位置发生了变化,其余特性基 本保持不变,如图2所示,具体构造过程如下: 首先,计算圆环内各像素的梯度值和方向,统计出8个 方向的梯度累加值。其次,将梯度累加值从大到小进行排序, 以保证旋转后排序值的不变性。最后。将该向量进行归一化 处理.减少光照变化对特征描述符的影响。改进的SIFT描述 符本身具有旋转不变性.不需要通过坐标轴的旋转来确保特 征描述符的旋转不变性。同时,改进的SIFT描述符从原来的 128维向量降低到64维。有效提高了算法的运行效率,降低 了特征点的匹配复杂度。 J 9 0。 氛 5 t 80。 (J .图2改进的SIFT特征点描述符生成过程图 Fig.2 Flow of improved SITF feature point 特征点匹配 对于需要进行拼接的两幅图像,按照相同的SITF特征 点提取方法,可以分别得到它们的特征点集,记为 {Pj=(Pj , ) Ij=t,2,…,m}和Q={qj=(qj1, ) Ij=l,2,…m}。则集合P 和Q之间由仿射变换(A,£)关联。定义匹配矩阵 ,其元素 满足条 = 睬点姿 于q 。此时点集匹配的 问题可被重新定义为:对于给定的点集P和Q,求出仿射 , t)变换或匹配矩阵M,使得匹配达到最优。按照Gold所提出 的方法。对于给定的两个点集P和Q的匹配问题可以看作为 -35—— 崔得龙,等基于改进SIFT的图像拼接算法 IEEE Trans on Signal Processing,2003,51(1):230-243. 方向进行照度曲线拟合,可得到现场照度中心方向的坐标。 然后再用同样的方法对y方向的照度也进行拟合,这样 就得到了现场的照度中心坐标(粕, ),图像的二维灰度校正 函数就可以表示为 c=————_== :::一 cos4(sx/(x-x0)2+(y-y0) ) (11) [5]CHEN Fu ̄ing,WANG Run ̄heng.Fast RANSAC with preview model parameters evahlation[J].Journal of Software,2006,1 6 (8):1431—1437. [6]Kasar T,Ramakrishnaa A G.Block—based feature detection and matching for mosaicing of camera—captured document 利用式(11)生成与原图尺寸相同的灰度校正曲线,并将 该曲线与原图相乘即可对原图进行灰度校正。 images[C]fProc of IEEE Region 10 Conference,Symposium on Applications of Holography in Mechanics,New York: ASME.2007:1-4. 4结 论 本文针对目前基于SI胛的图像拼接算法复杂度较高和 特征点匹配不准等问题,提出了一种基于改进SIFT的图像拼 接算法。算法在SIT特征提取过程中简化了SIFFT特征描述 符,降低了算法的复杂度。同时在特征匹配过程中采用模拟退 火算法进行特征点匹配,降低了匹配误差。实验结果表明.本 文算法在降低SIFT特征提取的同时,取得了良好的图像拼接 效果。今后的工作将从进一步深入探讨SIT特征点的稳定性 F以及特征点匹配精度,进一步提高算法整体性能等方面展开。 参考文献: [1】Kybic J.High-dimensional mutual information estimation for 【7】邹北骥,阮鹏,向遥.一种精确匹配的全景图自动拼接算 法[J].计算机工程与科学,2010,32(8):60—63. ZOU Bei-ji,RUAN Peng,XIANG Yao.An automatic panoramic images mosaic algorithm with precise matching]J]. Computer Engineering&Science,201 0,32(8):60-63. 【8]FANG Xian-yong,ZHANG Ming—min,PAN Zhi—geng,et a1.A new method of manifold mosaic for large displacement images[J].Journal of Computer Science and Technology, 2006,21(2):218—223. 【9】Lowe D.Distinctive image features from scale invariant keypoints[J1.International Journal of Computer Vision,2004, 60(2):91—11O. image registration using control point and intensity]J].IEEE Transaction on Image,2004,13(8):1115—1127. [10]兰世爽,孙劲光.基于改进SIFT的抗几何攻击的数字水 印【J1.计算机工程与应用,2011,49(7):200—203. IAN Shi—shuang.SUN Jin-guang.Geometircal attack digital 【21 Zitova B,Flusser J.Image registration methods:a survey[J]. Image and vision computing,2003,21(11):977—1000. 【3】田伟刚,郭雷,黄雷.一种应用于图像配准中的点特征匹 配算法[J】.微电子学与计算机,2008,25(3):172—174. TIAN Wei—gang,GUO Lei,HUANG Lei.An algorithm for point pattern matching applied to the registration of images watermarking based on improved SIFvIm Computer Engineering and Applications,2011,49(7):200—203. 【¨】金聪,叶俊民,许凯华,等.具有抗几何攻击能力的盲数字 图像水印算法[J].计算机学报,2007,30(3):474—482. JIN Cong,YE Jun-Min,XU Kai-hua.Blind image watermarking with relatively great afifne geometirc distortion]J]. Microelectronics&Computer,2008,25(3):172—174. algorithm resist to geometrical attacks]J].Chinese Journal of Computers,2007,30(3):474—482. [4】CHEN Jiun-hung,CHEN Chu—song,Chen Yong—sheng.Fast algorithm for robust template matching with M—estimators[J]. (上接第33页) 『4]刘淑霞,范雄飞,孟艳.基于MFC的Vega Prime ̄序框架研 究[C 系统仿真技术及其应用学术会议论文集,2009: 418-421. 计算机仿真,2007,24(12):193—196. SUN Ke—feng,LI Jie.Vfious seense renging system flame based on Vega prime『J].Computer simulation,2007,24(1 2): 193-196. 【51胡梓楠,于劲松.基于MFC框架的Vega Prime ̄#.件集成技 术的研究『J1.系统仿真学报,2007,21(14):4291—4295. HU Zi-nan.YU Jin-song.The research on the framework of 【7】李军,王邵棣,常建刚,等.基q-Vega视景驱动软件的分 析与设计[J].系统仿真学报,2003,15(3):397—401. LI Jun,WANG Shao・di,CHANG Jian-gang,et a1.Aalysis vegaprime software integration technology based on MFC[J]. Journal OfSystem Simulation,2007,21(14):4291—4295. and design of renging software based on Vega]J].Journal of System Smulation,2003,15(3):397—401. [6】孙科峰,李洁.基-I-Vega Prime多场景仿真系统框架[J]. -37-