雷锋网按:本文作者7Tens,手机行业十余年老兵。文章首发于微信公众号“半导体行业观察”(公众号ID:icbank)。
昨晚三星举办了发布会,带来了最新一代旗舰Galaxy Note 7,除了三星引以为傲的双曲面屏外,另外新手机还搭配了之前盛传的虹膜识别。毫无疑问,三星Galaxy Note 7将掀起下半年的安卓智能手机竞争旋风。
Galaxy Note 7的配置列表
但Galaxy Note 7的“黑科技”远不止这两项。在本文,我们来深入探讨一下三星新手机上的虹膜识别和Sensor Hub,带大家进入一个新的技术世界。
如果要给Galaxy Note 7选一个最让人动心的新科技,我相信应该是虹膜识别。
自从苹果在iPhone 5s上带来了指纹识别以后,手机产业界就对这个全新的手机安全保护方式展开了疯狂的追逐。但是传统的指纹识别在安全和解锁上会带来一定的困扰。因此三星在其新旗舰上带来了虹膜识别。
虹膜识别是一种生物识别方式,工作方式是通过检查人眼球内的虹膜结构来达到用户信息确认的目的。由于人的虹膜终身不变,就算平时我们常见的近视眼、白内障、红眼病对虹膜也完全不会造成破坏,这些特征决定了虹膜特征以及身份识别的唯一性。
虹膜识别的主要流程分为:虹膜检测、虹膜活体检测和用户身份识别。
虹膜识别的流程图解
根据观察,目前的虹膜识别的工作方式主要是通过红外扫描来实现虹膜的解锁,实际应用的时候则利用一个发光二极管(红外光)和光接收传感器工作,在虹膜检测时,首先打开红外LED,红外LED发出红外光,打到人的眼球上再反射回来,由虹膜Camera捕捉图片,供后端算法进行识别。
虹膜识别的模组简约构成
三星之所以在新旗舰上用上虹膜识别,主要是看中了其比指纹更加快速安全。由于虹膜的唯一性和识别基本不受外界影响的特性,在未来甚至还有可能取代指纹识别去执行支付等功能。而根据我们的总结,虹膜识别的优势如下所示:
1、唯一性:生理学研究表明,虹膜纹理的细节特征是由胚胎发育环境的随机因素决定的,这种纹理细节的随机分布特性为虹膜的唯一性奠定了生理基础。研究表明,即使双胞胎、同一人左右眼的虹膜图像之间也具有显著的差异,自然界不可能出现完全相同的两个虹膜。
2、一致性:虹膜从婴儿胚胎期的第三个月前开始发育,到第8个月虹膜的主要纹理结构已经形成。同时,由于角膜的保护作用,发育完全的虹膜不易受到外界的伤害。因此,由外部物理接触而导致虹膜改变的概率十分小。科学家们发现,除非经历危及眼睛的外科手术,虹膜纹理几乎终生不变。
3、防伪性:清晰虹膜纹理的获取需要专门的虹膜图像采集装置和用户的配合,所以一般情况下(相对于指纹和人脸)很难盗取其他人的虹膜图像。此外,眼睛也具有很多优良的光学和生理特性可用于活体虹膜检测。在人体脑死亡、处于深度昏迷状态或眼球组织脱离人体时,虹膜组织即完全收缩,出现散瞳现象。这些生物活性与人体生命现象同时存在,共生共息,所以想用照片、录像、尸体的虹膜代替活体的虹膜图像都是不可能的,从而保证了生理组织的真实性。
4、非接触:虹膜是一个外部可见的内部器官,相对于指纹等需要接触采集的生物特征更加卫生、方便。这一点与指纹、脸像等人体外部器官有很大的区别:通过非接触(甚至远距离)的采集装置就能获取合格的虹膜图像。这在实际的应用中非常重要。而且虹膜录取完成后,不受眼睛手术,配戴墨镜,隐形眼镜(包括美瞳)的影响。
5、多特征点:相比指纹识别,虹膜识别的准确度更高。虹膜测定技术可以读取266个特征点,而其他生物测定技术只能读取13-60个特征点。
每一种技术正如锋利的刀,你有了它锋利的属性,势必要接受其容易伤人的可能。虹膜识别也会给手机厂商带来一些新的挑战:
1、开孔多:虹膜识别需要放在手机的正面,而虹膜Camera主要是做红外光检测,无法进行可见光的采集。这就使得虹膜Camera和前Camera是两个Camera。虹膜系统自身就需要虹膜Camear和红外LED两个孔,加上手机自身的前Camera,和距离/光线传感器(需要一个或两个开孔),总共需要四到五个开孔。这对手机外观设计带来了很多不便。
2、距离限制:目前手机做虹膜识别时,需要人眼与手机在20-35cm的距离。这对用户的易用性有一定的挑战。当然,用户习惯后,这个问题相当来说容易克服。
3、功能单一性:由于开启虹膜,需要打开手机屏幕,方便用户对准眼球,所以造成虹膜功耗偏大。所以在手机上,除了做密码,不方便做其他功能。功能较为单一。
4、隐私问题: 有些将指纹和虹膜等个人特征做为个人隐私的人,是不愿意将此类特征值公开给手机,尤其是提供给政府部门。
正如当初苹果引入指纹识别,撬动了指纹识别产业链,三星这次引入的虹膜识别,也会给产业链带来新的机会:
1、Camera Sensor
一般来说,虹膜算法只需要100个像素就可以做虹膜识别。考虑到易用性,需要同时采集用户的双眼才能比较自然的使用,一般会选用2M至5M的Camera。单眼识别的话,VGA(0.3M)的Camera都够用。
不过虹膜对Camera还是有一定的要求的,类似双Camera里面那颗黑白sensor一样,需要在Camera生产时,不用普通的Color filter(即只通过可见光的滤光片),而采用只过红外广的滤光片。目前最为普遍的虹膜Camera是Sony的IMX132。但总的来说,虹膜对Camera要求不高,2M至5M的Camera就能做虹膜Camera。等虹膜成熟后,国内的格科微,OV都会迅速跟进。
2、虹膜模组
目前虹膜没有大规模量产,所以国内的虹膜模组主要是舜宇来供应。
3、模组Lens
舜宇不仅生产模组,在光学上也有颇有研究。虹膜方面,舜宇不仅提供模组,还提供了虹膜模组所专用的Lens。此Lens也是需要只经过红外光,而过滤其他光。另外,Apple供应商AAC也开始量产虹膜Lens。
4、红外LED
红外主要波长是700nm-2500nm。Camera Sensor对900nm以上的红外光感应差,需要更强的光才能感测到。这就要求红外LED更大的电流,更多的功耗。而800nm以下的波长,太靠近可见光,用户使用时可以看到红光。所以一般虹膜识别使用的波长在800nm-900nm。
目前红外LED的主要供应商是国际LED大厂OSRAM。针对不同虹膜识别算法的要求,OSRAM可提供810nm,850nm等不同波长的红外LED。 相对来说,若对黑/棕眼球进行虹膜检测,需要用红外光,可见光不适合;而蓝绿眼球则用可见光更好,而红外光也行,只是性能稍差。所以810nm更加适合做虹膜检测。
细心的读者可能会发现,之前虹膜检测的示意图上,是将红外LED斜着放的,不科学。不过为了让红外的光线折射回来,是需要将LED的光束做5至8度左右转向。红外LED贴片是没办法倾斜,所以一般虹膜手机是在手机外壳上做文章。将外壳的红外LED上面加一个有倾斜角的Lens,从而实现角度的转换。
不过这样做,会让手机组装变得麻烦。OSRAM也发现了这个问题,他们在红外LED上做了文章,将红外LED出光口做一定的角度,最终解决了此问题。
5、算法:
国外的公司:美国的Iridian、Iriteck、韩国的Jiris公司、三星(Note 7用三星自己的算法)、Delta ID(富士通手机虹膜技术方案提供商)、松下。
国内的公司:中科虹霸、释码大华、思源科安、聚虹光电。
可以看出,虹膜算法公司对整个生态链影响还是很大的。虹膜算法决定了需要什么样的Camera,需要什么样的Lens,需要什么样的模组,需要什么样的红外LED。但是虹膜算法又是纯软件,不在任何硬件里面。所以算法公司的利润只能通过授权形式来获取。这就要求算法公司从硬件,到客户端需要全部去打通。难度还是很大的。
影响虹膜发展的原因之一是虹膜开孔多,尤其是双Camera时代,很有可能前Camera也是双Camera,增加虹膜识别会严重影响手机外观,这是影响虹膜发展的原因之一。有机会解决此方法就是做成RGBIR Camera。即将其中一个G的光线采集变成IR(红外)的光线采集。这样的好处是,做前Camera的时候,对RGB的光线进行采集;而做虹膜Camera时,通过IR来采集红外LED折射回来的光线。但这样做,一方面需要特殊的ISP才能准确进行光线采集,另一方面,目前RGBIR的sensor在做普通camera时,因为少了一个R的光线采集,暗光表现较差,还需要sensor供应商继续优化性能。目前有研发RGBIR的公司有Himax和OV。
目前虹膜算法费用相对来说较高,这也会影响虹膜的起量。当然,这个毕竟是纯软件成本,相信起量后,费用不会太高。另外,虹膜功耗相对来说比较大(需要打开屏和摄像头),所以在手机上主要功能是起到替代密码的作用,作用单一也影响到其以后的发展。
目前FIDO(Fast Identity Online)联盟即线上快速身份验证联盟致力在手机上“消灭密码”,而安全支付在手机上也越来越重要,虹膜识别做为安全级别极高的一种生物特征识别技术,势必会在密码认证上占有一席之地。三星Note7会不会打开虹膜识别登陆手机标配的登录密码吗?
在三星的发布会上,除了对虹膜识别的支持,对近来热炒的VR的完美支持,更是Note 7的另一大特点。由于VR设备需要及时检测到头部的运动,及时更新相关的显示。这就需要Sensor Hub的精准算法,因为只有好的算法,才能让VR设备做出及时的相应。这就引出了今天我们讨论的另一个重点——Sensor Hub。
Sensor Hub,中文名:传感器控制中心。Sensor Hub主要有两个功能:
1、在CPU休眠的情况下,实现对传感器的实时控制,从而达到降低功耗的功能。
2、将不同类型Sensor的数据进行融合,实现多种sensor数据结合才能实现的功能。
而概括地看,Sensor Hub可以执行以下操作:
1、手势识别:感测人的手势,如:翻转手机,敲打手机,摇晃手机,拿起手机等手势。可实现案例:翻转静音,拒接电话,摇晃切换背景图片以及拿起接听电话等功能。
2、设备状态识别:感测设备的状态,如:手机面朝上/朝下, 手机在桌子上,还是在口袋里,还是在人手里。可实现案例:手机在口袋里时,自动将来电铃声放至最大;而在桌子上的时候,调至静音震动模式。
3、用户状态识别:感测用户的状态,如:跑步,走路,站立,坐下等。实现功能: 在走路/跑步时,自动打开记步功能,而站立和坐下后,暂停相关功能。
4、用户交通行为判断:感测用户乘坐交通时的状态,如:开车,坐火车,坐电梯等。实现功能: 在开车状态,自动蓝牙连接;而在火车上接电话,开启消噪功能。
5、室内定位/室内导航:室外定位目前主要是GPS+AGPS。AGPS是通过手机附近的基站获取GPS辅助信息(包含GPS的星历和方位俯仰角等),从而帮助GPS快速,准确定位。在GPS信号不强的情况下,手机也可以通过多个手机基站进行定位。
但GPS和AGPS无法解决室内的精确定位的问题。而目前普遍的室内定位方式,则是手机通过判断与周围的WiFi路由器或低功耗蓝牙BLE设备的距离,来判断手机的室内位置。Apple采用的iBeacon技术,则是利用低功耗蓝牙BLE实现位置定位等各种应用。
不过无论通过GPS/AGPS定位,还是通过WiFi/蓝牙的定位,通过Sensor Hub,可以融合当前运动的加速度,角速度进行惯性导航,而有了地磁的数据,可以准确的判断运动的方向,并更准确的进行室内定位。
而且融合了Sensor Hub的数据,可以实现更多的功能,尤其在室内室外切换。
常见实现功能:
1、车辆突然行驶至隧道或者高架下方后,突然失去了GPS的信号,这时手机只需要通过判断当前运动的加速度和角速度,就可以准确判断车辆的运动方向。
2、结合气压传感器后,可以迅速定位用户所在的楼层,帮助用户找到想去的商家店铺,或者寻车。
3、若再结合摄像头, 还可以在当前拍摄画面上,进行导航。(如告知店铺位置,告知方向)
4、在可穿戴/VR上的应用:由于Sensor Hub 可以实现精准的设备状态识别和用户状态识别,所以Sensor Hub可以在可穿戴和VR上发挥很大的作用。比如抬起手,手环显示时间。比如打VR游戏的时候,VR设备通过Sensor Hub数据判断用户的状态,从而显示不同的场景。
一个具有如此强悍能力的辅助,那么Sensor Hub是怎么工作的呢?据了解,它主要是需要一个MCU或DSP去处理相关的Sensor数据。
而在手机上,实现Sensor Hub,共有三种方式:
1、将Sensor Hub 做为单独芯片,放置在CPU与各类MEMS之间。
优势:Sensor Hub芯片和MEMS都可以灵活切换。可选性多样化。
劣势:需要支持种类多,调试难。
2、将Sensor Hub与MEMS合二为一,接收不同sensor给来的信号进行融合,再将融合后的信号提供给AP。
优势:由于sensor已经选好,调试相对简单。
劣势:sensor基本固定,客户不能自行选择。
3、由AP来集成Sensor Hub,sensor先将数据提供给AP内部的Sensor Hub,Senor Hub融合后再将数据提供给AP。
优势:sensor选择自由,有机会降低成本。
劣势:对AP算法难度大,AP需要与各sensor协调作战。
从成本来看,如果将sensor放在外面,无论是独立的还是与sensor放在一起都会增加额外的成本。而AP一方面可以通过低制程来降低MCU的成本,另一方面也可以与其他功能共同分享一个MCU,从而达到降低成本的目的。
从手机生态链来看,第一种是有MCU的公司希望看到的局面,不过除了像ST这种既有MCU技术又有Sensor技术的公司才有能力去做大这件事。之前Apple,Samsung用的就是这种方案。但Apple最新方案用的是第三种。而Sensor公司肯定希望做第二种,因为这样一方面可以打包销售自己所有的Sensor,另外一方面也可以提升自己的Revenue。但是多数Sensor公司在MCU领域并没有太多的耕耘。第三种则是AP供应商希望实现的方式。而目前来看,也是客户最想看到的方式。虽然这样会要求AP厂商实现相关的算法,但对终端客户来看,这样也能更方便选择不同类型的sensor,从而获得更好的性价比。
从智能穿戴生态链来看,第一种有着一定的优势。比如智能手环就可以通过Sensor Hub的MCU完成对Sensor数据的融合,并实现部分控制,而不需要再加入主控芯片。所以做独立Sensor Hub的公司目标市场除了手机,也会把更多的精力放在智能穿戴上。
并不是所有技术的出现都能给产业带来新的巨变,强如苹果也有曾经折戟的时候,作为安卓阵型的最强大的领军人,依赖于完善的产业链,三星一直都走在和苹果竞争的最前线,也是安卓阵型唯一可以和苹果抗衡的厂商。而三星本身在技术上的开发和投入也是值得同行钦佩的。在智能手机功能同质化的今天,三星能够通过强推这两个技术,为业内注入一股活水,推动智能手机产业的进一步发展,这就留待大家评价。