2017 年,智能手机行业有两个关键词:全面屏和 AI。
全面屏这个概念,可以说是伴随着 2016 年 10 月 25 日小米 MIX 的惊艳发布而诞生,并在整个 2017 年形成智能手机在外观上的新潮流;而苹果 iPhone X 对全面屏这一概念的接受,更是让它具备了某种钦定的意味。
相对于全面屏,AI 的情况要复杂得多。2011 年,Siri 在 iPhone 4s 上的露面,让智能手机初步具备了与人对话的能力;然而此后数年,无论是 Siri 自己,还是其他厂商的类似产品,都没能给智能手机顺利打上 AI 的标签,即使强悍如 Google Assistant,也不能例外。
一直到 2017 年,当智能手机第一次以芯片的方式在硬件层面与 AI 握手,整个行业才蓦然认识到,原来 AI 已经真正来到了智能手机上。
由此,雷锋网认为,2017 年是智能手机 AI 元年。
如果只把目光投向 2017 上半年,其实还看不到什么波澜。
三星 S8 系列 18.5:9 的曲面屏幕令人爱不释手,也算是进入到了全面屏序列;但新出现的 Bixby 并没有超脱 Siri 之类的范畴,更何况 Bixby 后来还出现了诸多问题,而中国版几乎就是不能用的。华为上半年旗舰 P10 以“人像摄像大师”为名做了一波好宣传,但用的还是莱卡的东西。小米 6 则依然走了国内首发高通骁龙 835 的老路子。
到了下半年 9 月,智能手机终于找到了它的下一个关键词——AI。
2017 年 9 月 2 日下午,华为在德国柏林消费电子展发布了麒麟 970 芯片;为了配合这种【手机未发,芯片先行】的做法,华为将这款芯片定义为【全球首款智能手机移动端 AI 芯片】。
具体来说,麒麟 970 搭载了一款 NPU(Neural-network Processing Unit,神经网络处理单元),其亮点在于处理特定任务时比 CPU 等模块出色得多,比如说在图片识别任务中,NPU 每分钟可以识别 2005 张,CPU 每分钟为 95 张,前者比后者多了 20 倍;从能效上来说,NPU 更是 CPU 的 50 倍。当然,为了配合麒麟 970,华为在适配和开发层面也做了很多工作。
然而,对于普通用户来说,麒麟 970 作为一款芯片的意义并不大,它真正的使用价值还要体现在 10 月中旬 Mate 10 系列新品上。从结果上来看,这块 NPU 给华为 Mate 10 系列带来的是:
学习用户行为,实现行为预测、资源调配、场景感知等功能;
系统响应速度将增加 60%,系统流畅度将增加 50%;
实时智能识别 13 种场景,针对拍摄对象进行成像效果调校增强。
在雷锋网看来,除了在拍照上的场景识别和成像增强,AI 芯片并没有给华为 Mate 10 带来什么具体的实用功能;而系统流畅度这样的改善也是隐性的,难以感知的。
不过,麒麟 970 的另一个根本问题在于,它的 NPU 模块并非是独立研发,而是借用了寒武纪在 2016 年推出的 1A 深度学习处理器。不可否认,麒麟 970 在驱动、BSP、内存机制等方面做了很多工作,但它终究是一款拿来主义的产品。
当然,即使是拿来主义,麒麟 970 的问世也已经很难得了。
严格意义上来说,给麒麟 970 带上全球首款智能手机 AI 芯片的帽子,是华为博取眼球的讨巧做法。这种做法并不算错,但跟 9 月中旬的苹果新品发布会相比,还是黯淡无光;因为就 AI 融入智能手机的完成度和可用性来说,新一代 iPhone(尤其是 iPhone X)和它们内置的 A11 Bionic 芯片,实在是太过出色了。
雷锋网曾经说过,A11 Bionic 才是那场发布会真正的亮点。它的确如苹果官方所言,是“一款智能手机到目前为止所能拥有的最强劲、最智能的芯片”。其强劲自不必说,跑分碾压自己的前作,也碾压高通骁龙 835;而智能部分,则体现在苹果在 A11 Bionic 中自主研发的双核架构 Neural Engine(神经网络处理引擎),它每秒处理相应神经网络计算需求的次数可达 6000 亿次。
这个 Neural Engine 的出现,让 A11 Bionic 成为一块真正的 AI 芯片。
但苹果的强大之处在于,它不仅仅自主研发出了一个业界无敌的 AI 芯片,还在芯片的基础之上开发出一系列重磅而实用的功能。以 iPhone X 为例,其与 Neural Engine 直接相关的功能体现在:
Face ID 通过面部特征解锁;
Animoji 通过追踪人的面部表情来实时创作动画表情;
人像模式可以创造出能够生动变化的光效 Portrait Lighting。
与华为一致,A11 Bionic 大大提升了 iPhone X 在拍照方面的使用体验,并提供了一些富有创意的新玩法。而更具革命性的是 Face ID,它能够将传感器数据进行实时 3D 建模,并利用机器学习识别用户容貌改变,在此过程中产生的大量计算需求,都需要借助 A11 Bionic 和 Neural Engine 来满足。
最终的结果是,Face ID 直接取代了 Touch ID。
除此之外,A11 Bionic 内置了苹果自主设计的第一款 GPU。这款 GPU 是为 3D 游戏和 Metal 2(苹果在 WWDC 2017 上推出的新一代图像渲染技术框架)专门设计的,并且能够与机器学习技术和苹果随 iOS 11 推出的 Core ML(核心机器学习)框架相配合。
综合来看,凭借强大的自主研发能力和无与伦比的软硬件整合能力,苹果在智能手机 AI 化的道路上走得比华为扎实得多,也超前得多。这不仅仅是财力上的距离,也是技术上的距离,更是生态掌控力和影响力上的距离。
在 2016 年 10 月 4 日的 Google Pixel 发布会上,Sundar Pichai 反复强调 Google 已经从 Mobile First 变为 AI First;体现在产品上,Google Assistant 率先在 Pixel 手机上亮相。可惜在用户的认知中,Google Assistant 不过是一个增强版的 Siri,所以最终也没有激起什么波澜。
一年后的发布会上,Pixel 2/XL 同样带着 Google Assistant 来了。就在大家觉得无聊要散场的时候,Google 却宣布了 Pixel 2/XL 的 One More Thing,也就是那颗 Pixel Visual Core。
Pixel Visual Core 是一块协处理器,其核心部分是 Google 自主设计的图像处理单元(Image Processing Unit,简称 IPU),IPU 的特点在于充分可编程性和领域特定性,可以实现每秒高于 30 亿次的运算。
与华为和苹果不同,Google 表示 Pixel Visual Core 的用处很简单:将 HDR+ 的运行速度提升 5 倍,而功耗则将为十分之一。
但实际上,Google 还为 Pixel Visual Core 预留了其他方面的能力,比如说机器学习;为此,Google 提供了编程工具,开发者在图像处理方面使用 Halide,在机器学习方面使用 TensorFlow;而 Google 开发的编译器可以为底层硬件提供代码优化。
与华为的拿来主义和苹果的独立自主不同,Pixel Visual Core 是由 Google 与 Intel 合作设计的;考虑到 Google 此前已经使用过 Intel 旗下 Movidius 的芯片,这次的合作很可能与 Movidius 有关。
不过 Google 的野心不止于此。
Pixel Visual Core 和 TPU 已经初步展现出 Google 在芯片研发方面的积累,而 Google 又从苹果和高通那里挖来了包括大神 John Bruno 在内的芯片设计工程师,这些工程师的任务就是为 Google 开发移动端 AI 芯片。
而根据研究机构 Tirias Research 创始人 Jim McGregor 的判断,Google 可以借助现成的知识产权,在半年内开发出一款多功能的 SoC 芯片。
遗憾的是,除了苹果、Google 和华为,其他厂商都没有能够在硬件层面到达 AI 的范畴。那么问题来了,为什么是这三家?
首先要明确,AI 在硬件层面的体现就是芯片。而智能手机芯片的特殊性在于,它不仅仅强调性能和功耗的平衡,还要考虑结合用户的使用场景;前者恰好是 AI 芯片在智能手机上的优势,但后者却是难点。因此,AI 芯片要出现在智能手机上,一方面在芯片技术的深厚积累,还需要通过软硬件结合来完成使用场景的落地。
苹果其实不必多言,软硬件结合一直都是它的核心产品理念。从 iPhone 4 起,苹果就已经在自主设计 A 系列芯片,并将范围从 CPU 一路扩展到 GPU;这背后积累的技术实力足以支撑得起一个 Neural Engine。至于 Face ID 和 Animoji 等,对于苹果而言,更是一件水到渠成之事。
华为在麒麟 970 中提现出来的,主要是基于多年麒麟系列芯片的整合开发能力。NPU 虽然是借自于寒武纪 1A,但它与麒麟 970 的深度结合也是一件需要技术实力支撑的难事。当然,除了芯片,华为也在操作系统层面积极探索,但不得不说还有着很大的提升空间。
Google 剑走偏锋,将 Pixel Visual Core 用在 HDR+ 这一个功能点上,看似大材小用,实则直击痛点。拍照功能对手机的重要性不言而喻,无论是苹果和华为的 AI 芯片都是在此处着力。但 Google 在软件和算法层面的积累更多一点,以往主要依赖于云端处理和网络传输,而 Pixel Visual Core 将有助于 Google 将其上述积累从本地设备中释放出来。
从技术上来看,Google 通过与 Intel 的合作完成 AI 芯片的初步实现,也算是抄近道;但其实 Google 有自己的技术积累,而且正在不断从外部吸收人才。可以想见的是,基于强大的财力和技术能力, Google 势必走上一条自主研发的路线。
另外,与华为、苹果相比,Google 的做法还有一个不同点。前二者所采用的 AI 硬件模块在形式上与传统的(包括 CPU 和 GPU 在内的) SoC 是一体的,而 Google 的 Pixel Visual Core 则是一块相对独立的 AI 协处理器,与高通骁龙 835 形成了协作关系。
Google 的这种解决方案固然有技术能力不足的因素,但也可能与它在整个 Android 阵营的地位有关。不是所有的手机厂商都有像华为那样的技术实力,考虑到未来整个智能手机行业都将会逐步走向 AI,Google 的这一方案也为其他厂商提供了某种示范效用。
毕竟,与华为 970 的 SoC 一体化方案相比,高通 SoC+ AI 协处理器的解决方案,在技术门槛上要低得多。
也许是因为对物理实体的执念,AI 芯片带来的认可度远远高于 AI 算法和应用,尽管后者也是 AI 的一部分。除了越来越强大的 Siri 们,旷视和商汤的人脸识别技术也已经分别出现在小米、锤子、OPPO、一加等手机厂商的产品上,这些其实也是 AI。
但在 2018 年,智能手机行业对 AI 的拥抱将会更加紧密。
首先要重点说说三星。Bixby 在经历了 2017 年的打磨之后已经有了不错的表现,但硬件能力才是三星的主场。虽然依然有高通骁龙的保障,但下一代处理器 Exynos 9810 也将会在 2018 年年初问世,而且根据韩国媒体 Seeko 爆料,它将加入一颗 AI 协处理器。考虑到三星电子此前已经投资了中国的深鉴科技,而后者的产品也适用于智能手机,雷锋网认为 Seeko 的爆料是靠谱的。
另外一个不可忽视的玩家是高通。虽然高通宣称从骁龙 820 起就已经具备 AI 能力,但 2018 年的焦点依然是骁龙 845。考虑到面向整个 Android 平台的通用性和灵活性,高通没有在骁龙 845 中增加单独的 AI 模块,但却打算通过由 CPU、GPU 和 DSP(重点是 DSP)组成的 AI 异构系统和 NPE 任务分配系统,帮助不同的应用场景提供相应的计算解决方案。
可以看到,高通在骁龙 845 中提供的是 AI 基础硬件平台能力,但同时又为其他手机厂商预留了足够的定制化空间和开发空间。这就为其他 Android 厂商效仿 Google,提供了机会。不要忘了,华为的 NPU 是从寒武纪借来的,其他手机厂商如果也想借用,也未必没有可能。
当然,除了硬件,人脸识别等算法也将会随着全面屏的发展而逐渐普及;而诸多 Android 厂商也将在操作系统层面实现对 AI 算法的融入。不过总体来看,硬件软件算法三者的结合依然是无法改变的发展趋势。
还有一个值得强调的点是 AI 在智能手机上的使用场景。就目前的发展情况来看,AI 在智能手机上的使用场景还是极为有限的;虽然智能手机厂商已经在大力投入,但真正重要的是开发者对于 AI 技术驱动下的新型应用生态的参与和构建。而后者,才是智能手机真正走向 AI 的主体力量。
最后,2017 开启了智能手机 AI 元年,2018,我们拭目以待。