直播时，阿里的老司机们都做了什么？

雷锋网注：本文作者威视@阿里安全部，文章首发于知乎专栏：阿里聚安全的安全专栏，原文标题：《阿里巴巴直播防控中的实人认证技术》（点击可看），雷锋网授权发布。

直播作为近来新兴的互动形态，已经成为近几年最风生水起的行业之一。在2016年仿佛进入了“千团大战”的繁华。欢聚时代10亿砸向虎牙和ME直播，斥资1亿签下主播MISS；腾讯4亿投资斗鱼，后者估值10亿美元；新成立的映客获得昆仑万维、复赛等机构的8000万人民币投资；易直播获得6000万人民币A轮融资；360推出花椒、秒拍推出一直播....网络直播正享受其最好的时光，直播"风口"成投资方必争之地。

然而网络直播也因为走的太快，而失去了出发的初心，主播行为、直播内容变得不可控，低俗、大尺度、无下限成为“劲爆”栏目。针对网络直播的种种怪相，12月1日，由国家网信办发布的，媒体认为“史上最严”的《互联网直播服务管理规定》正式开始施行。《规定》要求直播平台按照“后台实名、前台自愿”的原则，对用户进行移动电话号码等真实身份信息认证。而对于网络主播们，《规定》更要求通过审核身份证件等更为严格的方式进行认证登记。

而这些网络直播在进行实人认证时，需要对包括姓名、证件号、生物属性、手机和位置等要素进行识别，如何在提高用户体验的同时准确的判断账号背后真实的人，也是目前困扰着各大公司的一大难题。目前阿里聚安全实人认证中使用的技术能够大大提供自动化认证率和审核效率。

主播实人认证

主播的实人认证，基于自主研发的证件OCR、人脸识别等实现了88%以上的自动化认证率，并且采用云（3D、翻拍检测等）+端（交互动作等）相结合的活体检测技术来防御虚假认证的风险攻击，以确认主播的真实身份，降低违法风险。

对主播进行了严格的实人认证：做到人证合一，即根据认证过的账号身份信息，能准确找到对应的真实的自然人。

实人认证系统示意图

其中涉及的智能技术很多，介绍其中两项。

一、身份证OCR

身份证OCR是把身份证图像中的文字识别为计算机能认识的文本，自动与公安网等权威数据库比对，验证姓名、号码等信息的真伪。

基于自由拍摄证件图像，流程见下图。为保证识别率和速度，同时融合了传统算法和深度学习算法。

身份证信息检测流程图

OCR算法对“姓名”字段的识别准确率达98%以上，对“身份证号码”和“有效期”达99.5%。 系统具有很强鲁棒性，以下case都可以轻松识别。

OCR可以识别的身份证举例

二、生物特征识别

只介绍人脸识别和人脸活体检测。

人脸识别在学术界已超肉眼的识别水平，但能在实际中的大规模应用还比较少，原因是实际场景复杂和数据缺乏。挑战来自光照、姿态、翻拍、化妆、衰老以及低照片质量。

我们对用户真人人像、身份证照、权威数据库的头像进行两两比对，以验证身份的真实性。算法能在0.1%的认假率下，使得合法用户自动通过率达93%以上。

人脸识别包括图像获取、人脸检测、活体检测、关键点定位、特征提取、识别引擎等模块。

人脸识别系统

1、人脸检测

采用Boosting+RCNN框架。

人脸检测结果图

2、活体检测

活体检测是为了确保待认证的用户是“活人”，而不是事先拍好或翻拍的人脸照片、视频，防止虚假认证，降低主播的违法风险。

活体检测实例图

活体检测模块包括：

• 人脸检测
  

检测是否出现人脸，且不能是多张脸， 防止不同的人切换或人与照片的切换。

• 3D检测
  

验证是否为立体人像，防止平面的照片或视频攻击。

3D检测示意图

• 活体算法检测
  

验证用户的操作是否正常，指定用户做随机动作（凝视、摇头、点头、眨眼、上下移动手机等）。

• 连续性检测
  

防止中途切换人。

• 翻拍检测
  

利用深度学习技术， 区分获取的人像是否为对屏幕、照片的翻拍。

3、人脸关键点定位

定位出眉毛、眼睛、鼻子、嘴巴等位置。主流方法有：基于参数模型的方法；基于回归的方法；基于深度学习的方法。

我们采用基于特征的回归方式+深度学习的方法，来训练关键点定位模型。

人脸关键点检测示意图(图片素材来源网络)

4、特征提取

Maxout结构示意图

我们同时采用了传统人脸特征（WLD, HOG，LBP，Gabor等）和基于深度学习（基于VGG、GoogleNet、Maxout三者的融合网络）的特征进行人脸识别。

5、识别引擎

传统人脸特征，我们采用SVM进行pairwise距离度量；DL人脸特征，对已经学习的分类模型进行微调。

实人认证自动化是基于人脸、OCR的识别结果，基于大数据，综合利用用户的行为特征，进行多维度信息融合，最后得到综合决策模型，实现自动决策的过程。而在目前互联网发展的多种业务中，实人认证技术的应用场景纷繁复杂，对技术指标的要求也不尽相同，阿里聚安全提供的实人认证技术以生物识别、无线安全技术为支撑，保障实人认证有效性。

目前，阿里巴巴人脸识别技术已在实际场景中大规模应用，实战中相关性能指标在FPR（False Positive Rate）0.1%情况下，TPR（True Positive Rate）达96％，识别准确率远远超过人体肉眼识别。

前文回顾：为了不在直播中看到少儿不宜的景象，阿里做了这些