便携式人脸识别设备平台

一、 项目计划研究依据

1、 该项目国内外发展概况和最新发展趋势

经过几十年的发展和进步，人脸识别技术目前已经取得了长足进步。尤其在一定范围环境变化条件下，目前的人脸识别技术可以达到较高的识别准确率。基于PC/Windows的人脸识别系统也已经在门禁、考勤、照片比对和通关等实际案例中得到广泛应用。目前正在快速发展的视频监控系统也开始考虑把人脸识别集成近来。因此，人脸识别对于社会安全、反恐和打击犯罪具有非常重要的作用。

相对基于PC的人脸识别系统的发展和应用，基于嵌入式系统的人脸识别系统目前正在处于起步阶段。受嵌入式环境中CPU运算速度、内存等资源，很多准确的识别算法不能移植到嵌入式环境中来，从而大大了嵌入式人脸识别系统的准确性和应用。因此，如何在嵌入式环境中开发快速、准确地人脸识别系统是对该领域的最新挑战，也是人脸识别的最新发展趋势。

二、项目计划研究内容

1、该项目具体研究开发内容和要重点解决的关键技术问题 该项目主要研究开发基于嵌入式系统和DSP芯片的便携式、手持人脸识别设备，该设备可以存在，也可以嵌入到摄像头、警用随身设备等使用，或者和IP摄像头结合，搭建具有人脸识别功能的智能视频监控平台。该项目要重点解决的关键技术问题如下：

1）准确而快速的人脸识别算法。相对于PC机丰富的资源来说，嵌入式系统的内存、CPU等资源要少的多，因而该系统运行的人脸识别算法必须在准确识别人脸的同时，具有较小的运算和存储需求。因此，如何开发快速而准确的人脸识别算法，

是该项目研究的首要技术问题。

2）算法在DSP芯片上的优化。该项目将通过TI DSP芯片提供的强大处理能力来提高算法的运行效率。为达到此目的，必须将算法通过DSP提供的并行处理、特定函数库等来实现，并进行相应的优化。

3）ARM和DSP的协调、通信。除了将算法通过DSP芯片进行优化以达到高效执行的目的外，该系统还将通过ARM芯片对诸如摄像头、键盘等系统外设进行控制，以及和用户进行交互。因此ARM如何调用DSP的算法以及得到算法执行结果，是该项目需要解决的另一个关键问题。

4）人脸数据库管理和更新。由于嵌入式平台上数据库平台和资源的缺乏，项目需要对人脸和信息的管理设计相应的模块，并能够通过网络进行诸如信息和人脸图片的更新。

2、该项目的特色和创新之处

该项目提出了便携式人脸识别设备的概念，首先是应用上的创新。相对于目前流行的基于PC机的人脸识别系统，嵌入式的人脸识别系统携带方便、需要的资源小、成本低，能够方便的和其他姓关设备结合，在市场上具有广泛的需求。

其次，该项目率先将ARM和DSP芯片相结合并应用于人脸识别，通过DSP实现算法、ARM实现外围设备的控制等分工充分利用各种CPU的特点，能够实现快速而准确的人脸识别系统。

最后，该项目将提供ARM和DSP协调工作、互相通信、调用的全面解决方案，为类似的模式识别应用提供了先例和经验。

3、要达到的主要技术、经济指标及社会、经济效益

人脸识别系统准确率>95%，识别时间<1秒，达到每年上千套销

量，从而创造数百万利润。产品在反恐、打击犯罪中起到广泛作用，从而造成较大社会影响力。

三、研究试验方法、技术路线以及工艺流程 项目针对关键问题所提出的方法和技术路线如下： 1）人脸检测和识别算法

人脸检测是人脸识别的前提，准确的人脸检测有助于提高人脸识别率。本项目将采用类Haar特征和Boosting分类器的方法检测人脸。首先，利用样本的Haar特征进行分类器训练，最后得到一个级联的boosting分类器。通过训练的分类器，可以对输入图像的感兴趣区域（与训练样本相同的尺寸）进行目标检测。为了搜索不同大小的人脸目标，分类器的搜索窗口被设计为可按一定比例缩放的多尺度窗口。由于使用了积分图像以及基于简单矩形的Haar特征，基于Haar特征和Boosting分类器的人脸检测算法可以达到非常快速的检测速度。

在识别算法上，项目将采用基于Gabor小波抽取特征的方法。由于Gabor小波可以同时在空间域和频域获得最佳的分辨率，并且能够很好地模拟哺乳动物视觉神经简单细胞的激励模型，是目前主流的人脸描述方法之一，特别适合特征表示和判别。由于抽取的Gabor特征维数较长，主成分分析等降维手段将用来减少该特征对运算量和存储的需求，从而达到高效识别人脸的目的。

2）算法在DSP平台上的优化

◆ 算法参数调整

本系统使用的基于灰度图像中弱特征目标检测算法中，先对待检测图像做预处理，其中使用缩放系数改变待检测图像的大小，缩放系数越小，被处理的图像越大，检测正确率越高，但运算量也越大。在检测函数中，扫描窗口的比例系数决定了检测完一副给定大小图像所需的扫描次数，扫描次数越小，运算量就越小，但同时也会影响检测正确率。这三个参数共同作用于检测算法，决定运算量和检测准确率。项目将对这些参数根据实际运行情况进行测试、组合以获得最佳效果。

◆ Gabor

特征抽取的优化

在用Gabor小波滤波器抽取特征时，要将一幅待识别图像与Gabor小波滤波器进行40次卷积，共需处理10240点的FFT计算。因此，项目将使用TI提供的TMS320CxDSP Library中的DSP_fft32x32，DSP_ifft32x32和DSP_mul32函数实现该功能。这些函数已经经过线性汇编优化，能够大大提高FFT的计算速度。

◆ C

程序优化

项目将通过TI C6000的编译工具可以对代码进行各种优化，以提高代码的执行速度，并减小代码尺寸。这些优化选项包括-O3、-ms、-pm、-mt、-mv00+，用来简化循环，软件流水，语句和表达式的顺序重排和分配变量到寄存器等等。同时设定优化选项后编译器会自动使用软件流水等技术对循环做优化，但是如果循环中使用判断语句、跳转语句和非正常终止语句（break）会严重破坏软件流水，通过对程序分析及调整，尽可能的将循环中的判断及跳转语句去除。

3）ARM和DSP的协调通信

据算法的特点，项目将采用如下图的分配策略：人脸检测算法中有大量循环迭代运算且人脸识别算法中用40个Gabor小波滤波器提取特征，这些都具有并行计算特点，适合DSP软件流水，所以将它们移植到DSP上；而人脸识别算法中除Gabor特征抽取和降维的其他部分，if、switch判断语句多，且所需的人脸特征文件存放在ARM端的文件系统上而DSP不能访问，所以将算法其余部分移植到ARM上运行。

ARM端对DSP端算法的调用将借鉴TI达芬奇软件框架进行。达芬奇平台软件框架分为应用层和信号处理层。应用层运行在DM46的ARM端Linux系统上，信号处理层运行在DM46的DSP端DSP/BIOS内核上，两者通过Codec Engine交互。Codec Engine由一组软件模块构成，处于应用层和信号处理层之间。它向应用层提供四类接口函数，分别是Video，Imaging，Speech，Audio，简称VISA。同样，Codec Engine对信号处理层算法也提供了统一的接口xDAIS-xDM。xDAIS是TI提出的DSP算法接口标准，它将算法对硬件的需求（例如内存，DMA）抽取出来，使算法不直接操作硬件，增强算法在不同平台间的可移植性，而硬件资源的分配由特定软件框架完成。

视频采集与显示Codec Engine用户控制与数据显示人脸识别算法Codec Engine符合xDM的人脸识别算法MontaVista LinuxARMDSP/BIOSDSP四、工作基础和条件 1、拥有知识产权状况

目前拥有自主开发的快速、准确的人脸识别核心算法，一个基于PC机的人脸识别系统的软件和一个基于TI达芬奇芯片的嵌入式人脸识别系统软件。

2、该项目现有的研究工作基础（包括与该计划研究有关的主要论文、专著情况，小试或中试成果情况） 本项目相关的论文：

1) Linlin Shen and Li Bai. 3D Gabor wavelets for evaluating SPM

normalization algorithm. Medical Image Analysis, 2008，Vol.12 (3), pp 375-383.（SCI/EI，影响因子: 3.5）.

2) Linlin Shen, Li Bai and Michael Fairhurst. Gabor wavelets and general discr

iminant analysis for face identification and verification. Image and Vision Computing, Vol 25(5), pp.553-563, 2007. (SCI/EI) 3) Linlin Shen and Li Bai. A review on Gabor wavelets for face recognition. Pa

ttern Analysis and Applications, Vol 9 (2), pp. 273-292，2006. (SCI/EI) 4) Linlin Shen and Li Bai. MutualBoost learning for selecting Gabor features f

or face recognition. Pattern Recognition Letters, Vol 27 (15), pp.1758-1767, 2006. (SCI/EI) 5) Linlin Shen and Li Bai. Information theory for Gabor feature selection for fa

ce recognition. EURASIP Journal on Advances

in Signal Processing Vol 2006 (1), pp.1-11. (SCI/EI) 6) Shen Linlin and Ji Zhen. Object recognition based on optimized Gabor

features and SVM. Proceedings of the First Chinese Conference on Pattern Recognition (CCPR 2007), 11-12 Dec. 2007, Beijing, China, pp. 105-112. 7) Linlin Shen, Dorothee Auer and Li Bai. 3D Gabor wavelets for evaluating m

edical image registr-ation algorithms. International Workshop on Medical Imaging and Augmented Reality, Proceedings Lecture Notes in Computer Science 4091, pp.261-268, 2006. (SCI/EI) 8) Li Bai, Linlin Shen, Yan Wang, A novel eye location algorithm based on radi

al symmetry transfo-rm, Proceedings of the 18th International Conference on Pattern Recognition (ICPR'06), pp. 511-514, 2006 .(EI) 9) Linlin Shen and Li Bai, etc. Gabor feature selection for face recognition usin

g improved AdaBo-ost learning, Advances in Biometric Person Authentication, Proceedings Lecture Notes in Computer Science 3781, pp.39-49, 2005. (SCI/EI)

10) Li Bai and Linlin Shen. InfoBoost for selecting discriminative Gabor

features. Computer Analysis of Image and Patterns, Proceedings Lecture Notes in Computer Science 3691: pp. 423-432, 2005. (SCI/EI) 11) Li Bai and Linlin Shen. A fast and robust Gabor feature based method for fac

e recognition. The IEE International Symposium on Imaging for Crime Detection and Prevention (Best Papers), The IEE Savoy Place, London, 2005. (EI) 12) Linlin Shen and Li Bai. Combining Gabor feature and Kernel Direct Discrim

inant Analysis for f-ace recognition. Proc. of the 17th International Conference on Pattern Recognition, Cambridge, UK, 2004. (EI) 13) Linlin Shen, Li Bai and P., Picton. Facial recognition/verification using

Gabor wavelets and kernel methods. Proc. of the IEEE Internal Conference on Image Processing, Singapore, 2004. (EI) 14) Linlin Shen and Li Bai. Gabor feature based face recognition using Kernel m

ethods. Proc. of the IEEE 6th International Conference on Automatic Face and Gesture Recognition, Soel, Korea, 2004. (EI) 15) Linlin Shen, Alex Kot. Quality measures of fingerprint images, Audio and

Video-based Biometric Person Authentication, Proceedings Lecture Notes in Computer Science 2091: pp.266-271, 2001. (SCI)

3、创新人才以往承担各类科技计划项目完成情况（立项年度、项目编号、项目名称、计划类别、完成时间、完成效果）

1) “融合人脸和掌纹的生物特征识别”，深港创新圈项目（CXQ2008019），2008.8-2010.8，项目主持人为沈琳琳。 2) “基于电子指纹的钞票跟踪”，广州广电运通金融股份有限公司横向项目， 2007.10-2008.12，项目主持人为沈琳琳。 3) “基于图像的摄像头质量检测”，南太电子（深圳）有限公司横向项目，2008.2-2010.12，项目主持人为沈琳琳。 4) “基于优化Gabor特征和支持向量机的模式识别系统研究”，深圳大学科研项目（200746）， 2007.03-2007.12，项目主持人为沈琳琳，结题优。

5) “基于Gabor小波的人脸识别算法及其在达芬奇平台上的实现”深圳大学-德州仪器DSPs实验室科研项目，2007.9-2008.4，项目主持人为沈琳琳，获得2008德州仪器DSP大赛三等奖。

4、该项目实施已具备的人才及科研条件

该项目目前拥有算法研究人员一名，高级软件系统开发人员一名，软件开发人员2-3名，硬件系统设计人员一名，DSP相关硬件开发人员2-3名。设备上拥有达芬奇开发套件一套，Dell PC机5台，以及嵌入式开发套件等。

5、该项目实施可能对环境的影响及预防治理方案。 该项目实施不会对环境造成任何影响。

五、创新项目计划实施需具备的条件 （人才队伍、实验设施、设备及经费）

六、创新项目计划研究预期成果及效益（重点是能提交的具有自主知识产权的创新性成果、高新技术产品、新样机、新设备、新品种、计算机软件、技术标准，以及在成果转化中可能产生的效益等）

七、计划进度安排与考核指标 工作进度（按半年度分） 主要工作内容 该计划完成后主要考核指标：[包括主要技术指标：如形成的专利、新技术、新产品、新装置、论文专著等数量、指标及其水平等；主要经济指标：技术及产品应用所形成的市场规模、效益等；项目实施中形成的示范基地、中试线、生产线及其规模等；其它应考核的指标。