香港中文大学（深圳）张大鹏教授：生物特征识别的新进展 | CCF-GAIR 2019

雷锋网 AI 科技评论按：7 月 12 日-7 月 14 日，2019 第四届全球人工智能与机器人峰会（CCF-GAIR 2019）于深圳正式召开。峰会由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交流合作平台。

7 月 12 日，香港中文大学（深圳）校长讲席教授、香港理工大学讲座教授、深圳人工智能与机器人研究院中心主任、IEEE Fellow 张大鹏教授为 CCF-GAIR 2019 主会场「中国人工智能四十年专场    」做了题为「生物特征识别的新进展-纪念中国人工智能40年」的大会报告。以下为张大鹏教授所做的大会报告全文，感谢张大鹏教授的修改与确认。

非常高兴受邀参加本次会议，让我有机会汇报我的最新工作。今天我的讲题是“纪念中国人工智能40周年”，而我本人是中国学位法公布后首届入学的研究生，也是哈工大毕业的首个计算机博士，从 1980 年入学开始算起，我基本见证了中国人工智能这 40 年的发展历程。

这是我研究生期间所能找到最早的一篇论文，选题与指纹识别有关。 1984 年，陈光熙教授是我的博士生导师，图片展示的是当年哈工大进行博士学位论文答辩的场景。

以下为哈工大计算机学科博士名录，我排在首位。

1985年，我到清华担任博士后，因此有幸成为常迵院士的学生。随后，我到中科院待了几个月时间，中科院当时给我颁发的一份聘书，我觉得非常有意义，因为该聘书将我的专业定性为图象处理、模式识别和人工智能，这在当时是非常少见的，一般都会称为计算机应用。

1988 年，我在加拿大拿到我的第二个博士学位，一直到 1995 年才来到香港，这时候已经过去了 23 年，这是我在香港工作时期的一些成果。

当下流行的人工智能，当年一般都称为模式识别，总的来说，模式识别是人工智能的重要组成部分，它与许多领域息息相关，是人工智能最流行的组成部分。模式识别是人工智能的重要组成部分，而生物特征识别又是模式识别的典型应用，因此，今天我将趁机汇报我们在这个领域的相关工作。

简而言之，我们将模式识别、图象处理做成了一个平台，紧接着通过该平台进行生物特征识别。我们在这方面做了许多新方法、新技术和新应用的探讨。其中，我们研发了 2DPCA 方法，截止目前引用率已经高达 3900 多次；此外，我们还在生物特征识别的鉴定方法上做了许多工作；鉴于生物特征识别主要更多是二维以及可见光的，我们又接着探讨三维以及波光谱的研究；针对三维生物特征识别上的工作，我们还发表了一本书。

我国首套掌纹系统

新技术方面，我们是国际上首个研究掌纹识别的团队。目前的生物特征识别手段主要是指纹、人脸、虹膜等，但它们却依然存在着诸多问题：

指纹——

作为接触式的生物特征识别方式，缺点包括有 5% 的人无法通过指纹进行识别，国际上也承认该方法的防伪能力存在缺陷。

人脸——

年纪增长和整容都可能给人脸带来极大的变化。

虹膜——

一旦患上眼疾便无法取得较理想的虹膜图像，且东方人的虹膜信息量整体不如西方人有效。

因此，掌纹识别被我们认为是值得探讨的方向，而且这是中国人独创的方法，受到了传统手相学的启发。我们发现，掌纹识别包含诸多新特征，当中包括几何信息、细节点信息、线特征、纹理信息、掌脉信息等，而且由于掌纹够复杂，因而防伪能力上也能有所保障。即便不小心沾上污渍，掌纹也能被有效地识别，这又是另外一项优点。

掌纹识别研究发展至今，我们有很多文章被发表，同时也获得了诸多奖项的肯定。比如，我们在 1998 年首次在国际上发表的掌纹识别文章，还出过掌纹识别的总结性书籍。国际上相关的 13篇文章中，我们占了其中 2 篇。这也是我国研发的首套掌纹系统。

系统落地——中医 & 美学    

新应用方面，我想从两方面来展开。

一个是如何将生物特征识别运用至医学领域，尤其是与中医的结合。我们希望能够找到一种新方法，能将中医量化、客观化，进而把中医推向国际。我们主要从四个方面开展研究：视觉感知、嗅觉感知、听觉感知、触觉感知，以及综合性的融合感知。

首先是视觉感知，我们主要分析的舌像，通过颜色、纹理、形状等指标全方位对舌相进行探讨。比如针对特舌像的颜色，我们利用舌像的12个分布点创建了舌相主空间。针对舌头表面的反光点，包括润燥指数、淤斑淤点等，皆为有效信息。至于纹路，也是中医俗称的薄苔厚苔，我们也通过量化的方法进行了有效定义。随着库的体量变大，搜集到的特征变多，我们能借此进行亚健康以及病变判断。

文献清单：

–  Book:TongueImageAnalysis,SpringerSingapore,306pp.2017(舌像分析)

–  Book:TongueDiagnostics,AcademicPress.650p,2011(舌像分析)

–  “Robusttonguesegmentationbyfusingregion-based&edge-basedapproaches”Expert Systems with Applications 21, 42, Nov, 8027-38. 2015. (舌像分割)

–  “DetectingDiabetesMellitusandNonproliferativeDiabeticRetinopathyUsing Tongue Color, Texture, and Geometry Features”, IEEE Trans. on Biom. Eng. 2, 61, 491-501, 2014. (舌像应用)

–  “StatisticalAnalysisofTongueimageforFeatureExtractionanddiagnostics”IEEE Trans. on Image Processing, 22 (12), 5336-47, 2013. (舌色分析 )

–  “Ahighqualitycolorimagingsystemforcomputerizedtongueimageanalysis,”

–  ExpertSystemwithApplications4，15，5854-66.2013.(仪器设计)

–“ANewTongueColorcheckerDesignbySpaceRepresentationforPreciseCorrection,”IEEEJournalofBiomedical&Health Informatics 2, 17, 381-391, 2013. (舌色校正)

– “TongueColorAnalysisforMedicalApplication,”Evidence-BasedComple-&Alter-Medi-,ID264742,11p,2013(舌色分析).

–“Fastmarchingoverthe2DGabormagnitudedomainfortonguebodysegmentation,”EURASIPJ.Adv.Sig.Proc.190.2013. (舌像分割)

–  “Automatic tongue image segmentation based on gradient vector flow and region merging,” Neural Computing and Applications 8, 21, 1819-26, 2012. (舌像分割)

–  “Tongueprint:AnovelbiometricsIdentifier,”PatternRecognition3,43,1071-1082,2010.(舌像应用)

–  “Anoptimizedtongueimagecolorcorrectionscheme,”IEEETrans.onInf.Tech.inBio.6,14,1355-64,2010.(舌色校正)

–  “Tongueshapeclassificationbygeometricfeatures,”Infor.Sci.2,180,312-324,2010.(舌型分析)

–  “A snake-based approach to automated segmentation of tongue image using polar edge detector”, Inter.Journal of Image System & Technology 4, 16,103-112, 2007. (舌像分割)

–  “Automatedtonguesegmentationinhyperspectralimagesformedicine,”AppliedOptics34,46,8328-34,2007.(舌像分割)

–  “Classification of hyperspectral medical tongue images for tongue diagnosis,” Com. Med. Imaging & Graphics 31, 672-678,2007. (舌像应用)

– “TheBi-ellipticalDeformableContouranditsApplicationtoAutomatedTongueSegmentationinChineseMedicine,”IEEE Trans. on Medi. Ima. 8, 24, 946-56, 2005. (舌像分割)

–“ComputerizedDiagnosisfromTongueAppearanceusingQuantitativeFeatureClassification,”TheAmericanJournalofChinese Medicine (AJCM) 6, 33, 859-66, 2005. (舌像分析)

–  TongueImageAnalysisforAppendicitisDiagnosis,Infor.Sci.3,175,160-176,2005.(舌像分析)

–  ComputerizedTongueDiagnosisBasedonBayesianNetworks,IEEETrans.onBio.Eng.10,51,1803-10,2004.

第二个是嗅觉感知，指的是口腔气味，我们可以借此判断潜在的病理信息。我们创建了可以捕捉人体内部气味的传感器阵列，最终发现不同的类型的疾病会得到不同类型的波形。通过我们的研究，我们认为糖尿病与血检、呼吸等皆有一定关联，于是我们进一步探讨糖尿病的无损检测研究，对于是否患上糖尿病以及糖尿病等级都做了相应探讨。

文献清单：

– Book: Electronic Nose: Algorithmic Challenges, Springer, 2018. – Book: Breath Analysis for Medical Applications, Springer, 2017.

– “Breath analysis for detecting disea. on respiratory, metabolic & digestive system,” Journal of Biomedical Science and Engineering, 2019

– “Learning domain-invariant subspace using domain features & indepe- Maxmization,” IEEE Trans. on Cybernetics 2017

– “A novel medical e-nose signal analysis system,” Sensors 4,17,402.2017– “Efficient solutions for discreteness, drift & disturbance (3D) in electronic olfaction,” IEEE Trans. on SMC: Part A. 2017 (气味分析)

– “Temperature modulated gas sensing e-nose for low-cost/fast detection,” IEEE Journal 2,16,464-74,2016– “Calibration transfer & drift compensation of e-noses via coupled task learning,” Sensors & Actuators: B.225, 31, 288-297. 2016(气味分析)

– “Correcting instrumental variation & time-varying drift: A transfer learning approach with autoencoders,”IEEE TIM 9, 65, 2012-22. 2016(系统设计)

– “A novel semi-supervised learning approach in artificial olfaction for e-nose application,” IEEE Sensor

Journal 12, 16, 4919-31. 2016(系统设计)
– “Improving the transfer ability of prediction models for electronic noses,” Sensors & Actuators: B.

Chemical 220, 115-124. 2015(仪器设计)
– “Domain adaptation extreme learning machines for drift compensation in e-nose systems,” IEEE Trans.on IM 7, 64, 1790-1801. 2015(气味分析)

– “Feature selection and analysis on correlated gas sensor data with recursive feature elimination,” Sensors & Actuators: B. Chemical, 212, 353-363. 2015(气味分析)

– “Design of breath analysis system for diabetes diagnosis & blood glucose level prediction”, IEEE Trans. on Biomedical Engineering 11, 61. 2014(仪器设计)

– “Non-invasive Blood Glucose Monitoring for Diabetics by Means of Breath Signal Analysis,” Sensors & Actuators B 173,106-113, 2012 (气味分析)

– “Sparse representation-based classification for Breath sample identification,” Sensors & Actuators B

1,158, 43-53, 2011(气味分析)

– “A LDA based sensor selection approach in breath system,” Sensors & Actuators B 157, 265-274, 2011

– “A novel breath analysis system based on electronic olfaction,” IEEE TBE 11, 57, 2753–63, 2010

第三个是触觉感知，我们按照中医的三部九侯思路设计了相应系统。鉴于脉象是血流通过内脏器官流到人的末梢，带有内脏器官的病理信息，因此我们一直坚定脉象无法被ECG取代。我们通过生物特征识别技术对大量特征进行提取，然后进行优化，最终形成了对不同波形的分析。

文献清单：

– Book: Computational Pulse Signal Analysis, Springer, Singapore, 2018

– “Radial artery pulse waveform analysis based on curve fitting using discrete Fourier series”

Computer Methods and Programs in Biomedicine 2019

–  “A Robust Pulse Acquisition on Multisensor & Signal Quality Assessment,” IEEE TIM, 2019

–  “Generalized Feature Extraction for Wrist Pulse Analysis: from 1-D Time Series to 2-D Matrix,” IEEE JBHI 4, 21, 978-985. 2017(脉象分析)

–  “A Robust Signal Preprocessing Framework for Wrist Pulse Analysis,” Biomedical Signal Processing and Control 23, 62-75. 2016(脉象分析)

–  “Comparison of Three Different Types of Wrist Pulse Signals by Their Physical Meanings and Diagnosis Performance,” IEEE JBHI 1, 20, 119-127. 2016 (系统设计)

–  “A novel multi-channel wrist pulse system with different sensor arrays,” IEEE TCM 7, 64, 2020-34. 2015

–  “An Optimal Pulse System Design by Multi-channel Sensors Fusion,” IEEE Journal of Biomedical and Health Informatics (J-BHI) 2, 20, 450-9, 2015(系统设计)

– “A Compound Pressure Signal Acquisition System for Multi-Channel Wrist Pulse Analysis”, IEEE Trans. TIM 6, 63, 1556-65, 2014(仪器设计)

– “Combination of heterogeneous features for wrist pulse blood flow signal diagnosis via multiple kernel learning”, IEEE Trans. Infor. Tech. in BioMedicine 4, 16, 598-606, 2012(脉象分析)

– “Computerized wrist pulse signal diagnosis using modified auto-regressive models,” Journal of Medical Systems 35(3): 321-328, 2011(脉象分析)

– “Classification of Pulse Waveforms Using Edit Distance with Real Penalty.” EURASIP J. on Advances in Signal Pro., 303140: 1-9, 2010(脉象分析)

– “Wrist Blood Flow Signal-based Computerized Pulse Diagnosis Using Spatial and Spectrum Features.” Journal of Biomedical Science and Engineering, 3(4): 361-366, 2010(脉象分析)

– “Wrist Pulse Signal Diagnosis using Modified Gaussian Models and Fuzzy C-Means Classification,” Medical Eng. & Phy. 31, 1283-1289, 2009(脉象分析)

– “Baseline Wander Correction in Pulse Waveforms Using Wavelet-based Cascaded Adaptive Filter”, Computers in Biology and Medicine 37, 5, 716-731, 2007(脉象分析)

– “Arrhythmia Pulses Detection by Ziv-Lempel Complexity Analysis”, RURASIP Journal on Applied Signal Processing 2006, 1-12, 2006(脉象分析)

– “Wavelet-based Cascaded Adaptive Filter for Removing Baseline Drift in Pulse Waveforms,” IEEE Trans. on Biome. Eng. 52,11,1973-1975, 2005(脉象分析)

– “Modern researcher on Traditional Chinese Pulse Diagnosis”, European Journal of Oriental Medicine 4, 5, 46-54, 2004(脉象分析)

– “Objectifying Researches on Traditional Chinese Pulse Diagnosis”, Informatics Medical Slovenica, August, 56-63, 2003(脉象分析)

最后一个是听觉感知。我们希望通过我们的技术，可以找到对话中隐含的病理信息，因此我们系统探讨了它与发音、疾病之间的关系。这个工作相应来说进行得较晚，直到17年才有第一篇论文，而这几年也陆续有文章发表。

文献清单：

–  Book: Voice Analysis for Medical Applications, Springer, 2019

–  “Joint Learning for Voice Based Disease Detection,” Pattern Recognition 87,130-39, 2019.

–  “Computerized voice analysis in biomedical field & its open challenges,” IEEE Access, 2018.

–  “Influence of sampling rate on voice analysis for the detection of
Parkinson‘s disease,” The Journal of the Acoustical Society of America, 2018.

–  “Learning acoustic features to detect Parkinson’s disease,” Neurocomputing, 2018.

–  “GMAT: Glottal closure instants detection based on the Multiresolution Absolute TKEO,” Digital Signal Processing 69, 286-299. 2017.

中医强调“望闻问切”，所以我们在融合感知方面也展开了许多工作，将单一的舌、脉等感知经过融合达到更好的效果。我们将之作为当下的重点工作进行了相应研发。

文献清单：

– Book:InformationFusion:TechnologiesandApplications,Springer,2019

–“Visual Classification With Multikernel Shared Gaussian Process Latent Variable Model,” IEEE Trans. on Cybernetics 8, 49, 2886-99, 2019.

–“Generative Multi-view and Multi-feature Learning for Classification,” Information Fusion 41, 215-26, 2019. –“Body Surface Feature-based Multi-modal Learning for Diabetes Mellitus Detection,” Information Sciences.472, Jan. 1-14. 2019.

–“Shared Auto-encoder Gaussian Process Latent Variable Model for Visual Classification,” IEEE TNNLS 9,29, 4272-86. 2018

–“Joint discriminative and collaborative representation for fatty liver disease diagnosis,” Expert Systems

with Applications 89, Dec., 31-40. 2017

–“Joint Similar and Specific Learning for Diabetes Mellitus and Impaired Glucose Regulation Detection,” Information Science 384, 191-204. 2017

此外，生物特征识别作为一个平台，我们还希望将它应用至美学鉴别领域。

尽管每个人对美的看法不尽相同，但我们认为美是具有公认特征的，因此我们希望通过捕捉公认特征来实现美的客观化。在这过程中，我们成功解决了所谓的平均脸问题，即用于进行美的鉴别的标准。我们通过对61个国家的人脸库进行分析，获得所有关于美的规则，其中包括了中国人的三庭五眼，以及西方人的黄金比例等，以找到最接近美的公共标准。

我们最终建立了一个窗口，让人们得以实时对这些规则进行调整。

最后，跟大家强调一下，我们现在成立了深圳市人工智能与机器人研究中心，主要致力于这方面的研究，希望能有更多人加盟到我们的队伍中来。谢谢大家。

雷锋网 AI 科技评论