资讯 业界
此为临时链接,仅用于文章预览,将在时失效

开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

作者:量衡
2021/01/25 11:19

高通一改往年习惯,在2020年12月2日发布了骁龙888。作为2021年旗舰标配的移动平台,骁龙888最新的X1构架带来了25%的CPU性能提升,Adreno 660也给出高通GPU史上最大的35%性能提升。

不过近几年来,高通旗舰平台提升幅度最大的,一直都是它的AI性能。高通产品管理副总裁Ziad Asghar曾经表示,AI性能大幅提升的主要来自客户的需求,他们期待看到AI在新领域实现应用,比如视频、游戏、安全等。开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

但终端用户依旧不太了解AI的实际用途和影响,AI硬件的发展与大众观念的普及之间有明显的脱节。这次我们以首批搭载骁龙888的小米11和iQOO 7为例,看看移动AI能干什么,以及2021年旗舰的AI新玩法。

最强、出货量最大的移动AI计算平台

移动AI的核心,是各种用到神经网络/深度学习等AI算法。它们在图像、音频等领域有远超传统算法的效果,但需要专门的AI硬件加速器才能高效地工作。

而高通是首个将终端侧AI SDK商用化的公司,如今全球有超过5亿台安卓终端,在使用高通神经网络处理SDK提供AI功能。而高通的AI性能,从骁龙835时代就开始倍数增长,骁龙845是3TOPS,骁龙855是7TOPS,骁龙865是15TOPS。AI算力达到这个量级,本以为增长会明显放缓,结果骁龙888又把算力记录提升到26TOPS。


开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

骁龙888上的是高通第六代AIE,其最核心的Hexagon 780 DSP,把以前Hexagon 600系列中的标量,张量(Hexagon Tensor Accelerator)和向量(Hexagon Vector eXtensions)模块,融合成整体式IP,共享内存增加整整16倍。在每瓦性能提升3倍的基础上,Hexagon 780 DSP标量执行能力提高50%,张量执行吞吐量翻倍,核心切换时间比以前快1000倍。

骁龙888在机器学习基准测试MLPerf中,最高提升4倍,暴涨后的内存池可以让神经网络在Hexagon 780内部运行,无需占用额外内存,也能运行更大的机器学习推理模型。


开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

类似ARM平台“大小核搭配”的传统艺能,高通为了平衡性能和功耗,在骁龙888的第二代传感器中枢里,增加了专用的低功耗AI处理器。在功耗不到1mA的情况下,让AI性能提升5倍。

传感器中枢集成的AI处理器,负责低功耗、无需唤起的全天候语音响应、环境感知等场景的AI待命,宣称能分担Hexagon 780 80%的工作负载。需要AI的人眼识别亮屏、语音助手应答、汽笛声/婴儿哭声等语音事件检测功能的功耗也更低。

另外,它可以从不同的核心收集和解密5G、WiFi、蓝牙、位置流的连接数据,并创建全天候和带上下文感知的用例,例如手机识别周围声音自动调整铃声音量、在没信号停车场实时构建地图并追踪停车位置等情境感知功能。

不同厂商对AI的理解与应用

在骁龙888这一代,高通推出更加开放的AI Engine Direct,开发者现在可以用统一的API直接访问Hexagon 780、Kryo CPU和Adreno GPU等的硬件,并有更多的框架的支持。软硬件的提升,可以更好地支撑不同厂商,让厂商能根据各自对AI理解,做出不同的AI应用。

在首批搭载骁龙888的小米11和iQOO 7上,因为有更加强大的AI性能支撑,一大批下渗到日常场景,很接地气的AI应用,就是教科书式的“我很平凡,凡尔赛的凡”。

在小米手机上,运动健康领域MACE Micro AI引擎,使用深度学习算法提高数据准确精度并降低能耗,一整天的耗电量小于1%(24小时耗电量 9.6mAh)。

而DNN-HMM框架深度学习算法,被小米用在相机AI声控上,在拍照场景的音频流中,进行多指令词实时检测。而小爱同学语音助手的ASR语音识别、NLP自然语言处理、TTS语音合成,以及一系列的端侧AI功能,因为有骁龙888的支持,在小米11上的响应速度更快,但功耗却更低。

 

开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

GVoice & VOIP杂音比例对比

而iQOO的AI应用,自然是和游戏相关的。在iQOO联合腾讯开发的游戏Gvoice语音功能中,使用骁龙888的AI引擎和传感器中枢作为新的硬件载体,GVoice算法负责AI的回声消除和噪音抑制(ECNS),厂商与游戏端定制通信协议,适配客制化音频通路。

在提供更好的声音还原度和噪声抑制效果时,运行在Hexagon DSP的GVoice语音,可以让整机耗电下降20mA/s,其所占的CPU资源在原有基础上减少约30%。

另外,高通与NLP自然语言处理方案的头部厂商Hugging Face合作,为第六代高通AI引擎提供强大的NLP库。打字时的本地自动补全建议、AI语音助手对用户提问的理解、终端侧的实时AI翻译等功能,都将直接受益。

把单摄玩出花的Google,之前就用预训练的神经网络做到背景虚化、全景、Motion动图(类似iOS平台的Live Photo)、AR实时追踪贴图、超分辨率放大、超级夜景等多种功能。Snapchat通过AIMET量化其AI镜头模型,提高实时滤镜流畅度并增加滤镜多样化。

而增加对循环神经网络(RNN)和长短时记忆神经网络(LSTM)支持的AI模型增效工具包,被开发者做成了“手机拍照就能扫描皮肤健康”的应用。德国的trinamiX公司则是用红外光谱分析材料反光,以此做皮肤检测,甚至是垃圾分类。

AI拍照的新玩法

影像是AI最重要的用途之一,而最能看出不同厂商对AI的不同看法的,也是影像部分。小米11的夜景模式新增的夜景拍摄视频,利用AI大幅提升夜景视频的画面亮度和降噪表现。夜景视频可理解为每秒拍摄超过24张超级夜景照片,是ISP和AI算力暴力提升的直接效果。

开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

小米11在相册自带了证件照功能,自拍之后,交给AI一键抠图,选定规格和背景就能搞定,不需要跑照相馆,也不需要动用电脑。类似的还有AI智能去线、智能去人等功能。


开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

之前的AI魔法换天功能,在小米11直接被玩出花来了。其提供了晴空、雨云、彩虹、夕阳、晚霞、星空、月亮、闪电、银河等几十种可选内容,现在天空上的云朵能像现实一样随机变化。小米甚至还搞出“焰火版魔法换天”,烟火能实时“炸出”自定义的骚气祝福语。

 

开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

而对AI算力要求最高的,是多人物共存的魔法分身视频功能。其用法虽然很简单,而且无需三脚架,但背后结合了AI视频目标检测、实时SLAM场景建模、AI 视频实时人像分割三大算法,而且还要对视频实时逐帧对齐拼接。

相比小米11的趣味性,iQOO 7对AI拍摄的着眼点,要加实用化一些。iQOO 7使用自研RAW域AI空域降噪模型,对单帧RAW图进行空域降噪,用AI学习识别画面高中低频区域,再0.01lux分段处理的噪声模型标定,分别使用不同程度的降噪,有效提升画面纯净度,并保留画面中不同的明暗细节。

而iQOO的黑光夜视2.0是更加极限的AI算法,其做到了3倍ISO、远超人眼极限的“夜视仪”效果。针对拍照时的翻车操作,iQOO 7的相册有纯净度改善和处理人像模糊问题的后期修复能力。

 开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

老照片修复上色

褪色照/黑白照AI上色,是以前就有云端方案,但因为隐私、收费和处理时长问题,一直铺不开。在骁龙888的AI算力支持下,iQOO 7也引入情怀向的AI旧照修复、黑白照上色功能,同样是在相册里的一键操作。


 开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

AI 希区柯克变焦

视频方面,iQOO7做出了一键Vlog模板。里面最骚气的希区柯克变焦模板,使用AI进行目标检测、背景拉伸,缩放,完成以前需要多摄像头/变焦协同和人力移动的效果。

 

开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

AI滤镜风格迁移

常规的图片滤镜只能在给出的滤镜风格里选择,但AI已经能做到滤镜风格迁移,用AI识别和抽象化提取指定照片(甚至电影截图)的风格,自动生成全新的模板。


开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

虹软“傻瓜相机”

骁龙888上,高通首次将AI引入自动对焦、自动曝光和自动白平衡的3A算法。基于显著性特征分析的自动对焦和自动曝光的神经网络,提供前所未有的准确度之余,还有实物运动跟踪能力。

虹软 “傻瓜相机”功能,在全自动的3A之外,还能自动跟踪目标和自动缩放,连取景和构图都“傻瓜化”了。


 开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

视频实时分隔与融合


开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

4K 30FPS的实时背景抠图

在高通AI Engine的支持下,CV-ISP硬件计算视觉加速器也能提供60fps实时景深识别的人像、背景分割、替换、人体追踪、物体识别/追踪的效果。 

高通AI引擎运行和加速的Tetras.AI超级电影应用里,骁龙888可以做到4K 30FPS的视频实时背景抠图、分割和融合,然后还能用不同的形象代替视频中的角色,与里面的其他人物/角色进行互动,而且取景框上就能实时预览最终效果。

总结

数年间,高通的AI引擎已经发展到第六代,异构化和第二代传感器中枢,已经能让人眼识别亮屏、语音助手应答、语音事件检测、情景上下文感知等AI功能可以低功耗地全天候工作。

而小米11和iQOO 7,在相机上的超级夜景视频、抠图、魔法换天、旧照恢复、希区柯克变焦模板、自由滤镜等更加重度的AI新玩法,也在刷新我们对AI拍照的理解。一边是下沉渗入到日常使用的传统功能AI化,一边是新发掘的非线性、散点出现的AI新玩法。

但 “真正的科技就是让你感觉不到它的存在”,大众对移动AI实际用途的感知割裂,或许正是AI已经深入生活的注脚。当被新旗舰玩出花的AI功能,从点连成线、连成面之后,就是真的“我很平凡,凡尔赛的凡”了。

雷锋网文章,转载雷锋网文章请联系雷锋网

长按图片保存图片,分享给好友或朋友圈

开年旗舰的Al新玩法:我很平凡,凡尔赛的凡

扫码查看文章

正在生成分享图...

取消
相关文章