第31卷第9期 2010年9月 仪 器 仪 表 学 报 Chinese Journal of Scientific Instrument Vol_3l No.9 Sep.2010 基于视觉感知的故障图像检测算法 逯(1 郑州大学电气工程学院鹏 ,李永强 ,王治忠 ,矫郑州琨 450001) 450001;2河南长城信息技术有限公司 郑州摘要:针对列车运行故障图像检测问题,提出了一种基于视觉感知机制的图像故障检测方法,实现了列车摇枕裂纹故障的高 效率少样本检测。该方法首先基于ICA模型从图像序列中学习初级视皮层中简单细胞感受野;然后,计算正常图像和故障图像 神经元的响应,找出对刺激响应较强烈的神经元,输出其对应的内容,进行故障检测。实验结果表明,该方法具有较高的故障检 测率,同时能够利用少量样本实现对大量图像的故障检测。 关键词:视觉感知;感受野;故障图像;裂纹 中图分类号:TP2 文献标识码:A 国家标准学科分类代码:510.8040 Fault-image detection algorithm based on visual perception Lu Peng ,Li Yongqiang ,Wang Zhizhong ,Jiao Kun。 (J School of Electrical Engineering,Zhengzhou University,Zhengzhou 450001,China; 2 The Great Wall Information Technology Co.Ltd fHenan oProvince,Zhengzhou 450001,China) Abstract:A method based on visual perception mechanism is proposed for solving the problem of fault—image detec— tion of running train.The detection of swing bolster crackle can be achieved in high eficifency and with small sam— pies.Firstly,the receptive field of simple cells in primary visual cortex is obtained from the image sequence using ICA mode1.Secondly,the neuron response of normal and fault images are calculated,then the neuron that responds stronger to the stimulus can be found out,and its corresponding content for fault detection can be outputted as wel1. Experiment results show that the method has a high fault.-detection rate and can achieve fault detection of large Bum・- ber of images using small samples. Key words:visual perception;receptive field;fault image;crackle 基于独立分量分析(ICA)模型从列车图像序列中学 1 引 言 习初级视皮层中简单细胞感受野,计算正常图像和故障 图像神经元的响应,找出对刺激响应较强烈的神经元,输 高速列车的列检方式主要是由高速摄像机将列车关 键部位的动态图像,通过光纤网络传输到控制室,然后进 行人工识别。特点是劳动强度大且易造成识别错误。目 出其对应的内容,进行故障检测。实验结果表明,该方法 能够利用少样本实现图像故障区域坐标定位,实现了对 大量图像的高故障检测率。 前基于图像的故障检测方法主要包括:基于图像灰度、形 态和纹理特征的方法 、图像分割 、小波变换和神经 2视觉感知机制及其信息处理模型 2.1视觉感知机制 网络 。这些方法计算复杂,耗时长,很难满足实时作 业要求。动物视觉具有最优秀的图像信息处理机制,充 分模拟视觉感知机制对于完成裂纹、瑕疵、缺损等一系列 基于图像的故障检测任务具有重要的意义。 收稿El期:2010-01 Received Date:2010-01 视觉信息是按照视网膜、视神经交叉、视束、侧膝体、 基金项目:国家自然科学基金(No.60841004,60971110)资助项目 1998 仪器仪表学报 第3 1卷 大脑视觉皮层的传输路径逐级进行传递的 。几乎所有 式中: ( )=一g ( )/g ( ),叼(t)是学习率,随时 间或迭代次数而变化。 来自视网膜的视觉信号都要在初级视皮层(V1区)处理 后再向更高级的视皮层传递。V1主要负责提取图像的 形状、方向和色彩等信息,具有空间域的局部性、时间和 频域的方向性和选择性,以及稀疏响应特性 。V1区在 由于参数空间由所有的非奇异矩阵 组成,Amari 等¨ 引人了一个自然黎曼测度到空间 ,并证明了参数 w的黎曼空间的真实最速下降方向是: △ =一71(t) w (5) 视觉信息处理过程中起着重要的作用 。研究和模拟其 信息处理机制对于更高效的基于图像的故障检测技术具 有突破性的意义和作用。 2.2 VI区视觉信息处理模型 Olshausen和Field提出了稀疏编码模型,有效模拟 了V1区的稀疏响应特性 …。Bell、Van Hateren、Lewicki 和Hyvarinen等采用ICA方法提取的基函数与V1区简单 细胞感受野的三个响应特性非常相近 。这些模型解 释了动物视觉的信息处理机制,但并没有解决实际的故 障图像检测问题。因此,在有效编码模型的基础上,模拟 V1区简单细胞感受野处理图像信息的机制,采用ICA方 法从实际列车摇枕图像中学习基函数,实现基于视觉感 知的故障图像检测。 有效编码模型可以简单描述为: =AS (1) 即对图像 进行变换,找到隐藏“因子”S,并使得s 满足有效编码准则,例如统计独立性。从神经生物学角 度,有效编码模型对应视皮层神经细胞的响应过程, 对 应初级神经细胞对外界刺激的响应值,A为响应矩阵。 3基于视觉感知的故障检测算法 首先给出基函数学习规则和实现算法,然后给出故 障感知算法。 3.1基函数学习规则及算法 基于稀疏编码理论,采用独立ICA方法从自然图像 中学习基函数。 对于基本的ICA模型U=Wx,根据文献[15]基本 学习算法的推导,从Kullback—Leibler发散度导出代价函 数: J(x, )=一logl det( )l_∑Elogq ( ) (2) 式中:q ( )可取Laplace概率密度函数。 采用随机梯度下降学习算法使J(x,W)极小化: ix re(t)=w(t+1)一iv(t)=一77( ) (3) 式中:71(t)是学习率,随时间或迭代次数而变化,梯度矩 阵可用分量方向的微分计算,即: aw( )=一71( ) 0J= (t)[W一 ’一( [X( ] ( ))] (4) 因此,基于自然梯度下降算法来更新矩阵w,可得到 基函数自适应学习规则: △w=一 (£) ’yTw= (t)[,一( [X(k)]Ⅱ ( ) )]W= 叼(t)[,一( [X( )] 。‘( ))]w (6) 式中:(・)为批处理中的均值。 算法1基函数学习算法 输人:样本图像 输出:响应矩阵w及相应的基函数A 步骤: 1)对图像进行随机采样,得到训练样本数据; 2)对样本数据用主成分分析(PCA)法进行白化,白 化后的数据作为算法输入数据; 3)根据式 =Wx计算 ; 4)根据式(6)对w进行更新,每个基归一化为单位 向量; 5)如果norm(AW)≤s(误差阈值),则停止迭代; 否则,回到2); 6)停止学习,输出结果 及相应的原图像空间基 函数A。 3.2故障检测算法 在基函数学习基础上进行故障感知。取一幅正常图 像和与其相应的故障图像作为测试图像,进行故障检测。 当神经元接收到测试图像的刺激时,会有一些神经元产 生较强烈的响应,将响应较大的神经元作为输出,这些神 经元的感受野就是感知到的刺激图像内容。 为得到响应较强烈的神经元,首先根据故障特征设 定阈值: 0=加…一A(W…一叫 …)/160 (7) 式中: …为最大响应系数,伽…为最小响应系数,A为 常数。 基于式U= ,利用算法1得到的神经元响应 计 算响应矩阵 ,之后对响应系数W 进行筛选,取大于设 定阂值的响应系数,并输出其对应的神经元。这些神经 元所表示的内容即为感知到的刺激图像内容。 算法2故障检测算法 输入:一幅正常图像和一幅故障图像 输出:响应较强烈的神经元所表示的内容 第9期 逯鹏等:基于视觉感知的故障图像检测算法 1999 步骤: 1)对图像进行顺序采样; 2)将采样到的图像块用主成分分析(PCA)法进行 白化; 3)根据公式u=Wx计算w; 4)若Wi>0,则输出其对应的神经元 ; 5)输出该神经元所表示的内容。 6)对正常图像和故障图像神经元所表示的内容进行 对比,定位故障坐标。 算法2流程图如图1所示。 I L一 图1故障检测算法流程 Fig.1 The flowchaa of fault detection algorithm 4 实验 4.1数据采样及预处理 数据采样分为基函数学习时的随机采样和故障感知 时的顺序采样。 1)随机采样。选择10幅512×512像素的货车摇枕 图像作为样本图像进行训练,图2给出了其中2幅图像。 为避免影响像素之间的统计特性,采用M×M的滑动空 间子窗口对每幅图像进行随机采样,子图像块可重叠以 弥补边缘像素问的统计特性。每幅图像随机采样5 000 个32×32像素的图像块,得到1 024×50 000的输人数 据集合 ;然后将样本用PCA法进行白化并降维到160 维,得到160×50 000样本矩阵作为基函数学习算法的 输入样本。 图3顺序采样 Fig.3 Sequential sampling 4.2基函数 首先用ICA对上述基函数学习样本数据进行分解并输 出结果。由于输入样本是采集图像块经白化和降维得到的, 所以此时ICA的输出结果还处于白化空间,需要将该结果映 射到原图像空间,可得到基函数(神经元的感受野)。 经学习得到的基函数如图4所示。由图中可以看出 所得基函数具有空间域的局部性、时间和频域的方向性 和选择性,这些特性与神经生理学实验中发现的V1区简 单细胞感受野的特征相吻合 。 图4 10幅摇枕图像学习得到的基函数 Fig.4 The basis function obtained from ten swing bolster images 仪器仪表学报 第3 1卷 4.3故障检测 像和故障图像内容感知结果后,进行故障检测。首先找 出故障区域神经元所表示的内容,然后根据图像的坐标 表示方法定位故障区域,并在实际列车故障图像中定位 故障区域,如图6所示。 取正常图像和对应的故障图像作为测试图像,进行 故障感知。当接收到测试图像刺激,会有神经元产生较 强烈的响应,将这些神经元作为输出,其感受野就是感知 到的刺激图像内容,感知结果如图5所示。得到正常图 (a)正常图像 (a)Normal image (b)正常图像内容感知结果 (b)Normal image content perception result (c)故障图像 (C)Fault image (d)故障图像内容感知结果 (d)Fault image content perception result 图5内容感知结果 Fig.5 Content perception results (a)故障感知结果 (a)Fault perception result (b)故障区域定位 (b)Fault area location (C)图像故障区域检测结果 (e)The detection result of image fault area 图6故障检测 Fig.6 Fault detection 分别采用基于视觉感知的方法、模板匹配方法和Hough变换方法进行故障检测,检测结果对比如图7所示。 (a)基于视觉感知的方法检测结果 (a)Visual pemeption detection result (b)模板匹配方法检测结果 (b)Template matching detection result (C)Hough变换方法检测结果 (C)Hough transform detection result 图7实验结果对比 Fig.7 Experiment result comparison 第9期 逯鹏等:基于视觉感知的故障图像检测算法 2001 由图7可知,基于视觉感知的方法能准确地检测出 列车摇枕裂纹故障;模板匹配方法不能完全检测出裂纹 故障;Hough变换方法很难找出裂纹的具体位置。 对126幅列车摇枕裂纹故障图像检测的结果如表1 所示。 表1对126幅故障图像检测后的统计结果 Table 1 The statistical results after detecting 126 fault images 4.4结果分析 由表1可知,基于视觉感知方法的故障检测率高于 模板匹配方法和Hough变换方法。由于利用了视觉信息 处理特有的特征选择与特征提取机制,视觉感知方法能 更有效的进行故障图像检测,并且可以利用少样本训练 的基函数对样本外的大量图像进行故障检测。模板匹配 法简单方便,但表明所有物体各种方向及尺寸需要较大 数量的模板,造成匹配过程的大存储量和计算量,识别率 依赖已知物体的模板,若模板变形,会导致错误识别。 Hough变换方法能检测出直线裂纹,但很难找出非直线 裂纹位置且计算复杂度较高。 5结 论 通过模拟动物视觉系统处理图像信息的机制,提出 了基于视觉感知的故障图像检测方法。该方法能够利用 少量样本实现对大量图像的故障检测,实现了图像故障 区域坐标定位。后续工作是对有局部遮挡的图像的故障 检测方法进行研究。 参考文献 [1] TOMCZAK L.Image defeet detection methods for visual inspection systems『J 1.CAD Systems in Microelectron- ics,2007,24(20):454-456. [2] UN J.WEI S L.Rea1.time rail head surface defect de— tection:a geometircal approach[J].IEEE Intenrational Symposium on Industiral Electronics,2009,8(5): 769-774. [3] RIBEIRO M X.An association rule—based method to sup— port medical image diagnosis with efifciency[J].IEEE Transactions on Multimedia,2008,10(2):277—285. [4] 顾广华,崔冬.白细胞图像的自动分割算法[J].仪器 仪表学报,2009,30(9):1874—1879. GU G H,CUI D.Automatic segmentation algorithm for leukocyte images[J].Chinese Journal of Scientiifc In— sturment,2009,30(9):1874—1879. [5] 曾理,安贝贝,马睿.脊波在工业CT图像裂纹边缘检 测中的应用[J].仪器仪表学报,2007,28(6): 981.986. ZENG L,AN B B,MA R.Application of ridgelet in crack edge detection of ICT image[J].Chinese Journal of Scientiifc Instrument,2007,28(6):981-986. [6] 孙炜,王耀南,徐航.基于自组织小波神经网络的磁共 振图像分割方法[J].电子测量与仪器学报,2008,22 (4):26—29. SUN W.WANG Y N.XU H.Segm—entation method for magnetic resonance image based on self-organization wavelet neural network IJ 1.Journal of Electronic Meas— urement and Insturment,2008,22(4):26-29. [7] 寿天德.视觉信息处理的脑机制[M].上海:上海科技 教育出版社,1997. SH0U T D.The brain mechanism of visual information processing[M].Shanghai:Shanghai Science and Tech— nology Education Press,1997. [8] 赵松年,姚力,金真.视像整体特征在人类初级视皮层 上的稀疏表象:脑功能成像的证据[J].科学通报, 2008,53(11):1296—1304. ZHAO S N,YAO L,JIN ZH.The sparse representation in human primary visual codex of the overall visual char— acteristics:the evidence ofr brain functional imaging[J]. Chinese Science Bulletin,2008,53(1 1):1296—1304. [9] PERRINET L U.On efifcient sparse spike coding schemes for learning natural scenes in the primary visu— al codex[J].BMC Neurosci,2007,8(Suppl 2):206. [10] OLSHAUSEN B A.FIELD D J.Sparse coding with an overcomplete basis set:a strategy employed by V1[J]. Visual Research,1997,37(33):11—25. [11] BELL A J.SEJNOWSKI T J.The“independent compo— nents”of naturla scenes are edge filters[J].Visual Re— search,1997,37(23):3327—3338. [12] VAN HATEREN J H.VANDER Schaaf A.Independent component filters of natural images compared with simple cells in primary visual codex[J].Proc of Royal Society London,SeriesB,1998,265:359—366. [13] LEWICKI M S,SEJNOWSKI T J.Coding time—varying singals using sparse shift—invariant representations[M]. Advances in Neural Information Processing Systems. Cambridge,MA:MIT Press,1999. [14] HYVARINEN A.HOYER P O.Independent compone— nt analysis applied to feature extraction from colour and stereo images[J].Network:Comput—ation in Neurla 2002 Systerms,2000,11(3):191-210. 仪器仪表学报 第3 1卷 李永强,2008年于郑州轻工业学院获 [15]AMARI S,CICHOCKI A,YANG H H.A new learning 得学士学位,现为郑州大学电气工程学院硕 士研究生,主要研究方向为模式识别与智能 系统。 E—mail:tiyongqiang720@163.con algorithm for blind signal separation[J].Adv Neurla Inf Process Syst,1996,8:757 ̄63 作者简介 Li Yongqiang received bachelor degree 目 EU得究—nm博方iLvaue逯士向irl s:Pi学为鹏tlyeu 智n位p,oge2f 能0,nrA现ge系@8c为r ̄统o年Znv郑Uae于、.du模州 ti北dc式u大so 京.c识at学on航别r da副t空技eA教 s航术ftr授o天。mn a,u大主Btiec学要sj i获研ng gent system. from Zhengzhou Institute of Light Industry in 2008.He is BOW a master student in School of Electrical Engineering,Zhengzhou University.His research interest is pattern recognition and intelli— 2008.He is nOW an associate professor in Zhengzhou University. His research interests include intelligent system and pattern ree— ognition technique.