“无聊”、“没有惊喜”这些词似乎和苹果发布会捆绑住了。
不管是WWDC,还是秋季新品发布会,总会有人熬完夜顶着熊猫眼捂着肾,大喊“无聊”。看完发布会,雷锋网编辑发现除了Apple Watch部分,整个iPhone的发布都在讲A12仿生芯片以及其赋能的各种全新AI功能。
或许,我们以后需要用看AI发布会的姿势来看苹果秋季新品发布会了。
在WWDC结束后,雷锋网编辑曾写过一篇《看似无聊的本届WWDC背后,苹果在布局怎样的未来》,分析了苹果低调又无处不在的AI战略。
在AI浪潮下,互联网巨头都已经完成了AI战略转型,谷歌从Mobile First转为AI First,微软强调全新的世界观——智能云和智能边缘。而苹果在AI上则更为低调,一直没有响亮的口号,似乎不想忘记自己是一家做产品的公司。
然而,苹果行动力却丝毫没有滞后,显然已经集齐AI三要素:算力、算法、数据。在算力方面,发布会重点介绍了全新A12 仿生智能芯片;在算法方面有Neural Engine、Core ML和Create ML;数据方面,20亿台iPhone的用户数据想必够了。
今天,伴随着三款iPhone X系列手机,我们再来看看苹果如何用AI给手机做彻头彻尾的大改造。(手机具体参数信息请前往:《苹果发布了史上最强但最贵的 iPhone 新品,还有中国特供版 》)
A12仿生智能芯片是这次发布会的重中之重,以至于雷锋网编辑感到全程都在讲芯片。
在去年的秋季发布会上,苹果推出iPhone X的同时,推出了A11仿生芯片。苹果高级副总裁 Phil Schiller将其称为“最强大的智能手机芯片”。而现在,A12仿生芯片顺利超越把前任拍在了沙滩上。
A12采用最新采用7nm制造工艺,配备六核 CPU、4核GPU,CPU包括2个性能核心和四个效能核心,其性能双核比 A11 仿生芯片速度提高 15%,4 个效率核功耗降低 50%;4 核 GPU图形处理速度比A11仿生芯片提高 50%。
除此之外,A12芯片最强大的地方在于A12芯片上全新的神经网络引擎(Neural Engine)。神经网络引擎在去年推出A11时一并推出,去年是2核,今年是8核设计,支持复杂机器学习,还有一个智能计算的系统,能够合理分配CPU、GPU和神经网络引擎上进行的计算任务。去年,A11上的神经网络可以每秒运行6千万次计算,今年A12上的神经网络引擎可以每秒运行5万亿次计算。这个数据的飞跃,简直难以置信。
由此,基于全新的A12仿生芯片,iPhone上的拍照功能、视频功能、语音助手、Face ID、AR,所有这些会调用CPU、GPU能力的功能都上升到全新水平。最显而易见的,iPhone现在的存储空间首次扩展到了512GB,能够储存20万张图片,当然,也把iPhone价格推向了历史新高。
计算机视觉是最主要的人工智能技术,也是目前在智能手机上运用最成熟的技术。在智能手机上可以实现的主要功能有:人脸识别、手势识别、人体运动追踪、图像识别、物体识别等。
iPhone X首创的Face ID人脸识别解锁已经成为智能手机标配,国内外厂商都是追赶苹果带起来的这波潮流。
国内厂商曾告诉雷锋网,实时人脸识别对算法要求极高,苹果特意在A11仿生芯片的神经网络引擎上划出一片区域来支持Face ID。这也是苹果做Face ID独有的软硬件一体化优势。
Schiller 说道,A12上新的神经网络引擎能够更有效地识别人脸的各个部分,加快Face ID的识别速度。由于全靠本地的A12芯片处理,而没有用到云端AI,Face ID的安全性也将更高。
人脸识别就这么难,识别距离更远的人体运动识别显然难度更高。现场,开发者带来了一款叫做《Homecourt》的应用,可以用来记录跟踪篮球比赛,实时记录比分。强大的神经网络引擎能够实时追踪和识别人体运动、预测运动轨迹、实时分析六项运动数据,可以精细到投篮的角度。
iPhone X搭载了支持Face ID的原深度摄像头,数十个传感器使得iPhone X成为史上最短续航的iPhone手机。而A12改善了这一状况,A12能合理分配CPU、GPU和神经引擎上进行的计算任务,从而节省能耗。iPhone XS Max 的续航时间比 iPhone X 长 90 分钟,iPhone Xs比iPhone X可以多用30分钟,Max则比iPhone X多用1.5小时。
在AI手机时代,拍照成为彰显AI图像处理能力的最显而易见的亮点。除了触摸屏、App Store之外,摄像头也是苹果带给世界的一大创新。
镜头方面,iPhone Xs 系列采用了与 iPhone X 相类似的后置双镜头,有更大的传感器,更深的相触。在智能手机图像处理领域,有一种说法照片是否能拍好,更多地取决于AI算法,AI算法也会倒逼硬件设计。
Schiller介绍了全新的Smart HDR 拍摄功能, HDR 拍照指的是在按下快门时,相机会拍下多张不同曝光的照片,将它们拼在一起,使得从高光到暗影的每一处细节都呈现更清晰。Smart HDR可以做到零快门延迟、有更多的高光和阴影、细节更丰富、逆光处理更好。这一切不是用通常的ISP+CPU实现的,而是由ISP+神经网络引擎实现,你每拍下一张照片,都会进行一万亿次操作。
同时,Smart HDR 拍摄功能也能支持后期调焦。苹果用单反相机拍摄的照片反复训练神经网络引擎,得到了可以先拍照再选择虚化区域的效果。可以说是相当惊艳了。
为了用机器学习带来更好的用户体验,苹果已经做出了很多尝试。比如在iPad上利用机器学习识别手写便签的文本、在iPhone上通过学习和预测用户的使用习惯来让iOS更省电、在照片app里自动创建的回忆相册以及面部识别, Siri也利用机器学习带来了更多贴心的功能和更流畅的对答。在今年的WWDC上我们也来看一些新的功能,比如:
智能化的照片分享功能。当用户在分享一张照片时,系统会把相关的照片都找出来,并且将照片中出现的人作为发送的推荐对象。然后,当对方收到照片后,系统会建议对方回复手机中相关的照片。这样一来,双方就能很简单地获得在同一个活动或者事件中的完整照片。
Siri Shortcuts。每个应用都可以将一些快捷功能提供给Siri,让Siri以更智能、更便捷、更符合用户行为习惯的方式执行。例如,通过设定短语“I lost my keys”帮助寻找钥匙的应用Tile App可以添加一个Shortcuts给Siri。然后当你说出这句话时,Siri可以自动打开Tile,并且在Siri的界面直接调动寻找钥匙这一功能,而无需去到应用里。
Siri Suggestion。Siri Suggestion更加智能,其能够根据你的使用行为来预测你将要做的事情,并且在相应的时间给出你建议。例如,你的日程里有一个聚会安排,但是Siri通过定位发现,聚会时间快到了你还离聚会地点很远,Siri就会弹出一个快捷的消息,给你的朋友发消息说你会晚一点到。
由于在WWDC 2018上,苹果已经发布了ARKit 2.0,这次大会AR虽然占据了一定的时间,但是并没有什么大消息,主要是软硬件的升级。
Schiller曾说,iPhone X是第一款专为AR打造的手机,摄像头专门为 AR 而校准,刷新率达到 60 fps,全新陀螺仪和加速计,以及准确的动作追踪。这一切都依赖于A11芯片的CPU、GPU和ISP实时光照,A12当然更进一步支持AR。我们已经知道,ARKit 2能够更精准地进行垂直和水平面检测,支持多玩家操作,新的空间测绘能力可以把3D物体放到真实场景里看到效果。
这次,最惊艳的或许是Directive Games团队带来了多人联机AR游戏《Galaga AR》,在WWDC 上,苹果展示了多人乐高游戏,内容很简单。而《Galaga AR》则是看起来十分炫酷的AR射击游戏,可以同时支持4个人,画面的渲染和音效的呈现都上升了不止一个档次。或许,我们在不久之后就能看到更多炫酷的AR联机游戏。
要想看到AR方面更重磅的消息,或许还得等到苹果在2021年发布AR眼镜。
有了这么强的芯片,一向喜欢打造封闭式生态的苹果自然也希望开发者在苹果的平台上开发AI应用,将苹果的AI能力落地。
在WWDC2017上,苹果介绍了Core ML。Core ML是能在苹果产品上使用的高性能机器学习框架,能帮助开发者快速地将多种机器学习模型融合到App中。WWDC2018,升级的Core ML 2,其可以使模型运行更快,处理速度提升30%,模型大小能减少75%。同时,苹果还发布Create ML,支持计算机视觉、自然语言处理等机器学习任务模型开发,能直接在Mac上完成模型训练。
A12 芯片搭载全新的神经网络引擎 Neural Engine 采用 8 核架构,它每秒可以进行 5 万亿次运算,是运行实时机器学习的利器。更好的消息是,A12仿生芯片上的Neural Engine 向第三方开发者开放,可以通过苹果的机器学习框架 Core ML 访问,Core ML的运行速度将能提升9倍,应用程序的启动速度提高30%,功耗只是原来的十分之一。
这样,开发者可以用Core ML来运行更复杂的AI模型,且能运行更快更流程。
AI时代,算法的提升对算力提出了更高要求。苹果虽然没有高喊AI的口号,但是iPhone显然是目前最领先的AI手机,Face ID的成功是苹果软件、算法与全新AI芯片无缝融合的胜利。目前,苹果的7nm制造工艺的A12仿生芯片配合上神经网络引擎已经成为移动终端最强芯片。苹果还通过Core ML和Create ML等机器学习工具,建立起AI开发者生态,将自己的AI能力开放给上千万苹果开发者,为iPhone开发更多的AI应用。苹果在AI软硬件布局上,不知道又已经领先多少年。
相关文章: