不用买 iPhone，普通手机也能玩“Animoji”

雷锋网消息，7 月 4 号，微软官方发布消息，测试版的 SwiftKey（雷锋网按：2016 年，SwiftKey 被微软收购）中加入了新功能 Puppets，这个新功能提供了熊猫、恐龙、猫头鹰等多个动物的 3D 形象，还能够通过 AI 技术来实时反映用户的表情和头部动态。

尽管 3D 表情近几年开始席卷全球，但值得一提的是，人们关于创建 3D 动态形象的想法，早在十几年前就已经生根发芽了。

从好莱坞大片中得到的灵感

2005 年左右，运动追踪技术还远未达到成熟阶段，即便是在 2009 年上映的《阿凡达》，也需要演员提前在脸上标记特定的小点，穿上带有特制小球的衣服，帮助光学系统追踪人脸和身体的动作变化，最终精准地捕捉到人物角色的表情和动作。

雷锋网注：上图为《阿凡达》剧照

Faceshift 公司（雷锋网注：Faceshift 是一家人脸追踪技术公司，2015 年被苹果公司收购）的联合创始人之一 Mark Pauly 表示：

为演员的脸部标点是一个很不错的想法，因为这样可以帮助简化运动追踪的计算量。但这需要大量的设备，还需要花费大量的时间成本。

Mark Pauly 和其他研究者开始寻求新的方法——开始探索如何使用深度感应相机和算法来取代传统的方法，使面部表情追踪变得更简单。而他们的最终目标是制作出可以实时模仿人类表情的动态数字形象。

由于人脸总是持续变化，因此，为了让机器可以准确识别出面部运动，必须让它识别出在不同环境或状态下的人脸，比如变幻的光线，头部的旋转角度，人脸的肤色等。接下来就是不断地训练算法来处理这些面部数据信息，然后建立大量的 3D 模型，形成模拟形象。

人脸追踪技术从电影走向手机

在 2013 年开始，苹果就陆续收购了 3D 传感器制造商 PrimeSense、图像识别公司  Perceptio、增强现实公司 Metaio 和 人脸追踪技术公司 Faceshift。从现在看来，这波疯狂收购的背后，很大一部分原因是苹果在为推出 iPhone X 做准备。

2017 年 9 月，苹果推出了 iPhone X，从外形上来看，除了经典 Home 键的消失，屏幕顶部还出现了一块“刘海”区域。

在这块神秘的黑色刘海之下，内置了麦克风、扬声器、前置摄像头，以及包括环境光传感器、距离感应器、红外镜头、泛光感应元件、点阵投影器在内的 5 种感应器。这 5 种感应器组成了原深感摄像头系统（True Depth Camera  System），它可以捕捉并分析用户的面部 3D 结构特征，类似 3D 建模一样，然后再通过苹果神经引擎（A11 Bionic Neural Engine）即时处理识别数据。

基于原深感摄像头和神经网络的支持，3D 版的 Emoji——Animoji 就这样应运而生了；用户可以在使用 iMessage 时开启 Animoji 录制一段不超过 10 秒的小视频，而 3D 动画形象会同步用户的表情，而且这个功能还支持录音。

虽然，Animoji 只是作为 iMessage 的一个功能出现，但从 3D 动画表情创新的层面上来说，Animoji 可以算得上是开山之作，它让好莱坞大片中的 3D 人脸追踪技术走向了手机。

在苹果开始采用 3D 结构光技术来支持人脸识别和 Animoji 之后，三星、华为、小米等手机厂商也在不断努力之后，实现了这一技术，并打造了属于自己的“Animoji”，甚至逐渐摆脱了对原深感摄像头的依赖。

基于深度神经系统的 Puppets

与苹果 Animoji 不同的是，微软 3D 动画表情 Puppets 的载体不在于系统内的短信（iMessage），而是在于第三方软件 SwiftKey；这款个性化输入法基于先进流利的预言推理引擎，能够进行十分快速的输入操作——微软预计，SwiftKey 每周可以节约总计 2000 万个小时的打字时间。

除此之外，Puppets 最大的不同在于，苹果 Animoji，以及其他许多 3D 动态表情都需要原深感摄像头的支持，从而扫描人脸的 3D 结构图来建模，而 Puppets 仅用普通摄像头也能塑造出实时 3D 动态表情。这是因为 Puppets 的运作原理基于一个由志愿者提供图片和视频集成的庞大数据库，微软通过这个数据库来训练自己的深度神经网络，从而识别用户的表情，比如微笑和眨眼，直接进行模仿。

用户可以通过 Puppets 录制长达 30 秒的视频，视频会实时转化为 3D 动态形象，这些小视频还可以分享到社交媒体或其他平台上。

微软产品经理 Deepak Paramanand 表示：

我们希望 SwiftKey 用户在与家人朋友沟通时，除了预先设置的 GIF 动图之外，还能有更多的选择，因此我们创建了 Puppets。人们希望快速打字，SwiftKey 能够满足这一点；人们也希望以有趣的方式来表达自己，这一点 SwiftKey 现在也能做到了。

雷锋网小结

从应用在 3D 电影中的人脸追踪技术，到苹果开先河的 3D 动画表情 Animoji，再到微软的 Puppets，这些技术和产品或许有其不足之处，但至少可以清楚地看到它们在随着迭代而成长。

值得一提的是，目前推出的 Puppets 还只是测试版，而且仅限于 Android 手机；更多关于 Puppets 的动态，雷锋网将会继续关注。

相关文章：

苹果 Animoji 表情背后：面部识别技术如何一步步进化的？