手机除了卷影像能力,还能卷什么?
2024年度发布的首款旗舰智能手机OPPO Find X7系列给出了答案——端侧生成式AI。
Find X7的4种配色:烟云紫、海阔天空、大漠银月、星空黑
2024年1月8日OPPO发布的全新旗舰Find X7,以全新一代同心寰宇设计,全新超光影三主摄实现的哈苏全焦段大师影像,OPPO自研潮汐架构所释放的超强性能,以及超明亮超护眼的新一代钻石屏,再度革新行业的旗舰标准。
OPPO Find X7 Uluta更是首创了双潜望四主摄构成哈苏大师镜头群,再次刷新移动影像天花板。OPPO首席产品官刘作虎称Ultra这个词代表的就是——极致,没有中间态。
影像能力已经领先,OPPO还率先为消费者展示了生成式AI手机的样子,全球首个端侧应用 70 亿参数大语言模型的手机有何不同?
手机的AI功能并不新鲜,AI美颜,AI助手已经被广泛应用,但是和生成式AI实现的功能还有两个明显的差异,更智能和更多样的玩法。
手机端大模型如何升级AI体验?
以AI图片消除来说,传统的AI修图,不够智能且效果不够理想。
比如在拥挤的景点拍了一张风景照,想要消除照片里的路人,传统AI的做法要手动精细选择范围,等待许久之后获得单纯被模糊掉路人的照片,观感很差。
如果是借助手机端的大模型能力,大致框定需要消除的范围,就可以轻松消除风景照里的路人,并且AI还会“生成”出路面,得到一张没有人潮的风景照。
这就是Find X7的AIGC消除功能,区别于传统的AI模型只支持人体识别,Find X7的大模型能力不仅支持超过120类主体的识别与分割,还可以实现发丝级的分割、高达6个的多主体分离,与此同时,还能实现超大面积图像的填充与自然生成,这是手机端生成式AI时代图像编辑的体验。
和AI编辑图片一样普及的还有AI语音助手。
现有的语音助手,大部分人用起来还是觉得不够智能,新鲜劲一过就会被遗忘。但有了手机端的AI大模型,体验也实现了跨越式的提升,AI助手能够更好地理解自然语言,对话起来更像人和人之间的聊天。
在AI大模型加持下,OPPO全新的小布不仅可以聊天,还可以回答各种问题,总共超过100种能力,包括文字生成图片、图片生成文字、AI 文章摘要等功能,能够在办公效率,生活服务,学习教育等不同维度为用户提供帮助。
比如你可以问小布为什么饼干上有很多小孔?并让小布以四岁孩子能理解的方式回答。
除了升级已有的手机端AI体验,生成式AI模型还给手机带来了全新的AI功能。
比如通话摘要,在Find X7系列的发布会现场,刘作虎展示了一段和理想汽车CEO李想电话交流结束后,AI大模型语音摘要功能,重点清晰的呈现出了通话的要点,并生成待办,极大提升了效率。
这得益于Find X7的端侧70亿参数大模型,相比其他的10亿参数模型,以更高“智商”的理解能力,可以更准确地理解对话内容并生成重点明确、细节不遗漏的摘要内容。
同时,借助OPPO安第斯大模型端云协同的智能调度,OPPO大模型语音摘要的处理全程经过加密处理,生成的摘要内容完全存储于终端本地,能够很好保护用户隐私。
隐私保护,更快速度都是端侧大模型带来的优势。
相比于同平台其他模型,Find X7 搭载的端侧 70亿参数大语言模型可以在200字首字生成带来20倍的更快响应,面向2000字首字生成也可以实现2.5倍的更快速度。
并且,Find X7 的端侧70亿大模型还可以实现最高14,000的摘要字数上限,达到了同平台其他模型的3.5倍,大模型的对话体验更接近人类对话的速度与容量。
全球首个端侧应用70亿参数大语言模型的手机如何炼成?
Find X7是全球首个端侧应用 70 亿参数大语言模型的手机,并通过端云协同的部署,实现了领先不止一代的AI体验。
“为什么我们能够第一个把70亿大模型真正在端侧运用起来?模型、算法与GPU、NPU如何适配和部署,不是简单的事情。”刘作虎进一步解释,“这个过程需要与平台厂紧密沟通,基于我们对芯片的理解和对用户的洞察,根据大模型和算法来定制芯片,用芯片的语言给芯片厂商提需求,这是我们的核心竞争力。”
刘作虎透露,“我们保留了一些核心的架构师,目的就是跟平台厂商,比如说高通和联发科的深度定制芯片。我们自己不做芯片,芯片平台厂非常愿意和我们深度探讨,实现强强联合。如果不懂芯片,没有做过芯片,只能停留在‘水上漂’不能进入到底层,比如我们自研的潮汐架构,比重新做的价值更大。”
潮汐架构是OPPO自研的芯片软硬融合技术的集合,是一群懂芯片的人打造的芯片优化技术。
潮汐结构深度触及了SoC的L3缓存和SLC(系统级缓存),传统SoC的SLC往往针对CPU和GPU等计算核心采用固定的分配方案,这种死板的分配方式会造成一定的资源浪费和拥堵。
潮汐架构可以根据应用场景的不同,灵活调整缓存配比。
比如当运行大型游戏需要图像渲染时,GPU分配更多的,降低对DDR和UFS的访存频率,提高应用运行速度,还能降低计算链路的整体能效。经测算,对于SLC的调度优化,能带来平均 8%的能效节约。
端侧大模型的部署,少不了潮汐架构,但端侧大模型面临着更极致的计算和存储挑战。
OPPO软件创新中心总经理张峻解释,70亿大模型正常的模型大小是28GB,为了真正在端侧部署,OPPO用高精度4比特对模型进行压缩和轻量化,模型从28GB压缩到最小的3.9GB左右。
即便如此,依旧对手机的性能、内存和功耗都是很大的考验。
“大模型在端侧性能消耗比较大,要通过并行计算的算子优化、对内存管理的优化等来降低损耗和系统资源占用。续航方面要根据用机的情况来看,我们端侧大模型的功耗控制在用户可以接受的范围内。”张峻表示。
“OPPO Find X7系列端侧化部署70亿参数的大语言模型,视觉模型也会端侧化部署,它会跟着我们的OTA随后上线。”张峻强调,“我们真正把70亿参数大模型同时在高通和联发科两个芯片平台上端侧化部署,OPPO是第一家。”
至于为什么会选择70亿参数的模型,张峻也给出了解释,“为什么选择70亿参数的模型,而不是10亿参数?我们在每一个场景都会选择最恰到好处的参数规模,它代表了这个模型在这个场景的聪明程度。”
技术能力之外,在手机端AI领域成功的关键是策略。
“我认为未来几年的实核心是用产品驱动。基于要做什么产品,确定大模型的训练,以及底层的算力,整体路线还是以产品驱动技术。”刘作虎认为,“通过用户洞察的方式来做产品最重要。谁对用户最理解,谁真正地懂产品,谁就能在竞争中保持差异化,始终拥有核心竞争力。”
雷峰网(公众号:雷峰网)了解到,OPPO在上周五成立了AI中心,聚集了公司所有AI相关的员工,目标是集中所有资源把AI做好。
OPPO已经拉开了手机生成式AI时代的序幕,未来端侧大模型还能给手机带来怎样意想不到的应用?