您好,欢迎来到星星旅游。
搜索
您的当前位置:首页一种基于改进BP神经网络的PCA人脸识别算法

一种基于改进BP神经网络的PCA人脸识别算法

来源:星星旅游
第31卷第1期 2014年1月 计算机应用与软件 Computer Applications and Software Vo1.3l No.1 Jan.2014 一种基于改进BP神经网络的PCA人脸识别算法 李康顺 李 凯 张文生。 江西赣州341000) (江西理工大学理学院(华南农业大学信息学院广东广州510642) 北京100190) 。(中国科学院自动化研究所摘 要 人脸识别作为模式识别领域的热点研究问题受到了广泛的关注。传统BP算法虽然具有自学习、自适应以及强大的非 线性映射能力并且在人脸图像识别准确率上占有很大的优势,但算法具有收敛缓慢、训练过程振荡、易陷入局部极小点等缺点。针 对传统BP算法 不足提出一种基于改进BP神经网络的PCA人脸识别算法,该算法采用PCA算法提取图像的主要特征,并结合一 种新的权值调整方法改进BP算法进行图像分类识别。仿真实验表明,通过使用该算法对ORL人脸数据库的图像进行识别,其结果 比传统算法具有更快的收敛速度和更高的识别率。 关键词 中图分类号人脸识别 主成分分析rBP神经网络 附加动量 弹性梯度下降法 TP391 文献标识码A DOI:10.3969/j.issn.1000-386x.2014.01.041 PCA FACE RECoGNITIoN ALGORITHM BASED oN IMPRoVED BP NEURAL NETWoRK Li Kangshun , Li Kai Zhang Wensheng (School ofScience,Jiangxi University of ̄ience&Technology,Ganzhou 341000,Jiangxi,China) 。(School of Information,South China Agricultural University,Guangzhou 510642,Guangdong,China) ’(Institute of Automation,Chinese Academy of Scieces,Beinjing 100190,China) Abstract Face recognition,as a focus of the research in pattern recognition field,has gained increasing attention.Traditional BP algorithm has a strong ability in self-learning,self-adaptivity and nonlinear mapping.Moreover,it has a signiifcant predominance in human face recognition accuracy.However,the algorithm also has shortages including slow convergence,training process oscillation and easy to fall into local minima.In light of these deficiencies of traditional BP neural network,we propose a PCA face recognition algorithm which is based on improved BP neural network.The algorithm uses PCA algorithm to extract principal features of face image and uses a new weight adjustment method to improve the BP algorithm for image classiifcation and recognition.Simulation experimental results show that faster convergence speed and higher recognition rate are achieved when using the improved algorithm to identify the images in ORL face database than the traditional algorithm. Keywords Face recognition Principal component analysis BP neural network Additional momentum Elastic gradient descent method 用PCA算法提取人脸图像中的主要特征,并结合一种新的权值 0引 言 人脸识别作为模式识别领域的热点研究问题受到了广泛的 关注,研究人脸识别技术在众多领域的身份验证中有着广阔的 应用前景 ,2 3。PCA方法是由Turk和Pentlad提出来的 。它 以K—L(Karhunen-Loeve的缩写)正交变换为基础,将数据从高 维空间投影到低维空间中,从而达到降低数据维数的目的 。 BP神经网络具有自学习、自适应以及强大的非线性映射能力。 调整方法改进BP算法进行人脸图像识别,最终达到快速准确 的人脸图像分类和识别。 1 PCA和BP算法 1.1 PCA特征提取 主成分分析PCA是一种通过降低数据维数简化数据结构 的方法。其本质就是将高维空间中的数据通过正交变换投影到 低维空间中,从而实现了图像数据中主要特征的提取。运用主 收稿日期:2012—09—18。国家自然科学基金项目(70971043);江 西省教育厅科学技术研究项目(GJJ112348)。李康顺,教授,主研领域: 图像识别,演化计算。李凯,硕士生。张文生,研究员。 通过权值的反向传播以及样本的不断学习,使网络具有很好的 分类能力,适用于处理人脸识别问题。但是传统的BP神经网 络算法具有收敛速度缓慢、训练过程易发生震荡、易陷入局部极 小点等缺点 卜“J。本文针对传统BP神经网络算法的不足,提 出一种基于改进BP神经网络的PCA人脸识别算法,该算法采 第1期 李康顺等:一种基于改进BP神经网络的PCA人脸识别算法 值的关系为: f一159 成分分析的方法求解一个特征子空间,将用于训练和测试图像 向该特征子空间里做投影,可以得到用于区分不同人脸的主要 ^, 、n 特征(即投影系数)作为识别的特征向量。提取的主要特征就 l dW 可以用分类器进行识别与分类了。 1.2 BP算法的基本原理 ’ AW( )={+At l <0 … OW一 (2) BP神经网络是一种采用误差反向传播的多层前馈神经网 络,Robert Hecht—Nielson证明了具有一个隐含层的3层BP神经 网络可以有效的逼近任意连续函数 。其中,3层的BP网络 则相应的t+1时刻权值调整公式为: W(t+1):W(t)+AW(t) (3) 包括输入层、隐含层、输出层。其基本结构如图1所示。 输入层 隐含层 输出层 图1三层BP网络结构图 BP神经网络的基本思想是采用信号的正向传播和误差的 反向传播。在正向传播中,从输入层传人的数据,依次在各隐含 层处理,最终到达输出层。如果得到的不是期望输出,则将输出 层的误差作为调整信号进行反向传播,根据预测误差不断调整 权值和阈值,最终得到网络可以接受精度的输出。BP神经网络 具有自学习、自适应以及强大的非线性映射能力。 2基于改进BP网络的PCA人脸识别算法 2.1改进BP网络 传统的BP网络采用梯度下降算法在学习过程中存在收敛 缓慢、训练过程震荡、易陷入局部极小点的问题。针对上述问 题,本文提出一种基于附加动量的弹性梯度下降法的权值调整 方式。利用这种权值调整方法改进BP神经网络,以加快网络 的收敛速度和学习精度。 1)附加动量法 传统的BP神经网络在权值的调整过程中,没有考虑前一 次的权值调整,从而常使学习过程容易发生震荡,不容易取得全 局最优解。为了减小训练过程中的震荡问题,可以通过引入一 个动量项来反映权值以往经验的积累 。BP网络的权值调整 量不仅和误差项对权值的梯度有关而且和前一次权值调整量有 关。此时的权值调整公式为: AW(t+1)=(1一me) 舐+mcAW(t) (1) 其中AW(t)为权值的变化量,t为训练次数,动量系数用 表 示,卵为学习速率,6为误差项, 为输入量;断实质上反映了误 差项对权值的梯度,可以看出附加动量法是考虑了以前经验的 积累对权值调整的影响,其中动量系数 e(0,1)。通过引入 一个动量项,可以将前一次的调整经验加入到权值的调整过程 中来,从而降低了网络对局部极小点的敏感性,当误差曲面出现 骤然变化时,更容易跳过局部极小点。 2)弹性梯度下降法 弹性梯度下降法是由德国的Martin Riedmiller和Heinrich Braun在1993年提出来的 ’” 。权值的调整量跟更新值 有 关,梯度只影响权值的调整方向。这样可以有效地避免梯度大 小造成网络收敛缓慢的问题。其中权值的调整量的大小与更新 更新值 的调整规则为: f ×△(f一1) 萼 aW OW >0 △f:j I l卢×A(t一1) OW — × a W <0、 (4)\-r, lL A(t一1) 曼 :0 OW— aW 其中,0< <1< 。 更新值的调整量与连续两次梯度的调整方向有关。如果连 续两次的调整方向相同则增加更新值,如果连续二次的调整方 向相反则减小更新值,其它情况更新值保持不变。通过引入弹 性梯度下降法克服了梯度大小对网络造成的不利影响,使网络 能够快速收敛。 3)一种新的权值调整方法 通过进一步的理论和实验分析得出,如果只引入附加动量 项来改进BP神经网络,则能够使算法找到全局最优解,但是训 练的时间过长;如果只采用弹性梯度下降法,虽然可以加快网络 的收敛速度,缩短网络的训练时间,但是很容易陷入局部最优 解。本文将两种方法有机地结合起来,提出了一种新的BP神 经网络权值调整方式。其中,t+1时刻的权值的调整公式为: 一signW ,(+)=Jt 1…  【 0 (‘…  ) … 刘 =0 (5) 当连续二次迭代的梯度方向相同,则权值的更新值增加,并 且权值的调整方向不变。更新值 的调整公式为: Ot×(1一mc)×△(t一1)+me×△(t一1) (6) 其中,, ∈(0,1)。 当连续二次迭代的梯度方向相反,则更新值将减小,权值以 一定的概率P保持调整方向不变,本文中概率P定义为一个随 着时间的增加而变小的数。其中,P= ((1+卢)(e +1)),P ∈(0,1)。通过权值以一定的概率P保持调整方向不变,可以 使网络有一定的几率跳出局部最优解。此时更新值 的调整 公式为: 卢×(1-n)×△(t-1)×sign( )+。×△(t-1)(7) 其中,0</3 , (0,南)。 另外,权值以1一P的概率改变调整方向,其中更新值调整 公式为: ×(1一, )×A(t一1)+ ×△(t一1)mc∈(0,1)(8) 其他情况下,权值的更新值调整公式保持不变。这样,克服 梯度的大小对网络造成收敛缓慢的不利影响,当网络的误差曲 面出现骤然变化时,可以有效地减小网络陷入局部最优解,从而 提高了网络的识别速度和识别率。 第1期 李康顺等:一种基于改进BP神经网络的PCA人脸识别算法 161 的识别率高达97.15%。但在此后,图像的识别率随着特征向 量个数的增加出现了小范围的上下波动。这说明了当特征向量 个数增加到一定程度后,引入的一些特征可能并不是能够区分 [8]罗炳海,黄永武,刘远飞.基于PCA—BP神经网络的磨粒自动识别 [J].润滑与密封,2010,35(6):117—120. [9]俞利强,马道钧.基于PCA技术的神经网络说话人识别研究[J]. 计算机工程与应用,2010,46(19):211—213. 图像的主要特征,同时也说明图像的识别率并不与特征向量个 数成正比,通过反复的实验可以找到使识别率最高的特征向量 个数。另外在程序运行过程中,传统算法的识别部分平均运行 时间为23.4 s,利用本文所提的改进算法的识别部分平均运行 时间为1.3 s。运行结果显示出本文所提的改进算法比传统算 法具有更快的收敛速度和更高的识别率。 另外,随机选择人脸库中每个人的k(k=1,2,…,9)幅图像 [1O]陈先锋,舒志兵,赵英凯.“弹性”BP神经网络在识别带有噪声字 母中的应用[J].计算机仿真,2005,22(9):153—155. [11]李志清,傅秀.基于PCA的3种改进BP算法性能研究[J].计算机 工程,2011,37(21):108—110. [1 2]Robert Hecht-Nielsen.Theory of the Back Propagation Neural Network 『C]//Proceedings of the International Joint Conference on Neural Net— 用于训练,另外10一k幅图像用于测试,选择特征值贡献率大于 85%的特征值以及对应的特征向量。得到本文所提到的改进方 法与传统方法做分类器时每类中用于训练图像的个数与测试图 像上识别率的关系,如图5所示。 图5 训练图像个数与测试图像上识别率的关系 由图5可以看出,本文所提出的改进算法比传统算法具有 更高的识别率,且用于训练图像个数对测试图像上识别率有很 大的影响。随着每类中训练图像个数的增加,测试图像上的识 别率不断增高。当人脸库中每类用于训练的图像个数为1,而 用于测试图像个数为9时,本文所提出的改进算法在测试图像 上的识别率为60.61%。网络的分类能力随着训练图像个数的 增加不断增强。特别是当人脸库中每类用于训练的图像个数为 9,而用于测试图像个数为1时,测试图像上的识别率达到 97.7%。 4 结语 通过主成分分析的方法提取人脸库中图像的主要特征数 据,然后根据提取的图像数据,确定BP网络的参数,最后利用 本文提出的权值学习方法改进的BP神经网络作为分类器对图 像数据进行分类识别。仿真实验表明,通过使用本文提出的改 进算法对ORL人脸库的图像进行识别,其实验结果比传统方法 具有更快的收敛速度和更高的识别率。 参考文献 [1]Chellappa R,Wilson C L,Sirohey S.Human and machine recognition of faces:A survey[J]//Proceedings of the IEEE,1995,83(5):705—740. [2]Zhao W,Chellappa R,Rosenfeld A,et a1.Face recognition:A literature survey[J].ACM Computation Survey,2003,35(4):399—458. [3]Turk M,Pentland A.Eigenfaces for recognition[J].Journal of Cogni— tive Neuroscience,1991,3(1):71—86. [4]Kirby M,Sirovich L.Application of the Karhunen—Loeve procedure for the characterization of human faces[J].IEEE Transactions oll Pattern Analysis and Machine Intelligence,1990,12(1):103—108. [5]邓楠.基于主成分分析的人脸识别研究[D].西北大学,2006. [6]许丽艳.人脸识别技术研究[D].天津大学,2010. [7]邵长斌.基于神经网络的人脸识别技术研究[D].江南大学,2009. works,1989:593—605. [13]许宜申,顾济华,陶智,等.基于改进BP神经网络的手写字符识别 [J].通信技术,2011,5(44):106—109. [14]袁曾任.人工神经元网络及其应用[M].北京:清华大学出版 社,1999. [15]Riedmiller M,Braun H.A direct adaptive method ofr faster backpmpa- gation learning:The RPROP algoirthm[C]//Proceedings of the IEEE International Conference on Neural Networks.Piscataway(NJ): IEEE,1993:586—591. [16]周德龙,高文,赵德斌.基于奇异值分解和判别式KL投影的人脸 识别[J].软件学报,2003,14(4):783—788. (上接第157页) 参考文献 [1]Briggs F,Raich R,Fenr X Z.Audio Classiifcation of Bird Species:A Statisticla Manifold Approach[C]//Proc.ofthe 9th IEEE Intenration- al Conference on Data Mining. Miami,Floirda,USA: [s. n.],2009. [2]Vilches E,Escobar I A,Vallejo E E,et 1a.Data mining applied to a— coustic bird species recognition[C]//The 18th International Confer- ence on Pattern Recognition.Hong Kong,China:IEEE Computer So— ciety,2006:400—403. [3]Behnaz Ghoraani J,Sirdhar Krishnan.Time-Frequency Matirx Feature Extraction and Classiifcation of Environmental Audio Signals『J]. IEEE Transactions on Audio,Speech and Language Processing,2011, 19(7):2197—2209. [4]Lawrence Neal,Forrest Briggs,Raviv Raich,et a1.Time Frequency Segmentation of Bird Song in Noisy Acousti Environments[C]//IC— ASSP,2011:2012—2015. [5]毕福昆,边明明.多分类器融合在语音情感识别中的应用[J].计 算机工程与应用,2010,46(28):205—208. [6]Sundarrajan Rangachari,Philipos C Loizou,et a1.A noise—estimation algorithm ofr highly non—stationary environments[J].Speech Commu- nication,2006(48):220—231. / [7]商琳,杨育彬,王亮,等.基于颜色共生矩阵的纹理检索算法MCM / [J].南京大学学报:自然科学版,2004,40(5):540—547. [8]贾富仓,李华.基于随机森林的多谱磁共振图像分割[J].计算机 工程,2005,31(10):20—23. / [9]Universitat Pompeu Fabra.Repository of sound under the creative con— mons license[DB/OL].[2012—05—14].http://www.freesonad.ors/. [1O]韩林峰,赵晖.基于支持向量机的联机手写维吾尔字符识别[J]. 计算机应用与软件,2012,29(3):179—182. [11]王爱平,万国伟,程志全,等.支持在线学习的增量式极端随机森 林分类器[J].软件学报,2011,22(9):2059—2074. 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- stra.cn 版权所有 赣ICP备2024042791号-4

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务