“之前到了上海 WAIC,几乎满世界都是大模型。”刚从 WAIC 2023回来的京东探索研究院院长何晓冬,如此说道。
生成式 AI 的风,从硅谷吹到北京上海、乃至全中国,也仅仅只过了半年的时间。这几个月,大模型公司如雨后春笋般疯长,前面的文章《行业大模型落地肉搏:谁先扎进行业,谁就先入“咸阳” 》就有提到,更多的大模型正在走向落地,面向 B 端做更深度的结合,并且已经取得了一些初步的成果。
自 ChatGPT 掀起生成式 AI 的热潮,各个大厂都已经纷纷掏出自己的大模型产品或平台,迎接 AI 2.0 时代。
而京东,在大模型的竞逐中,似乎“迟”了半步。
而直到7月13日的JDD,京东才公开了他们的“言犀”大模型,较之腾讯、字节,迟了一个月;较之百度的文心一言,则迟了一个季度更多。
实际上,了解京东的人会知道,早在2月,京东就提出了在筹备“产业版的大模型" 。而在大语言模型的探索上,2020年,京东就开始研究“知识注入”的 K-PLUG 十亿级模型。
有人会问,京东在 AI 大模型上,是不是“起个大早,却赶了个晚集”?
在 WAIC 逛展的时候,何晓冬几乎是被四周的大模型产品所“包围”。
有些展台,会为参会者提供大模型产品的试用,何晓冬看到,也难免好奇,便随手输入了一个问题:
“143的平方根是多少?”
他试用的大模型飞快地答出:
“11.58”
初看这个结果,似乎可以令人满意。毕竟144的平方根是12,143的平方根,结果应与12相差不大。
当时的何晓冬并没过多在意,就把这件事几乎抛诸脑后。然而坐上了返程的飞机,他才猛然发觉,143的平方根,不应与12相差0.42之多,至少该是11.9左右。拿出手机一检验,果然如此。
这其实也是何晓冬一直以来的严肃思考:如果一个会计,在看到这个“看似正确”的数字之后,并未多想,就将它填进了报表里,那数据上的纰漏将不可避免,而到了查账的时候,则不知道又需要多少道功夫,才能找到这个“千里之堤”上的“蚁穴”。
这就是产业大模型“最后一公里”的问题——当下,大模型已经开始解决内容生成、语义理解等等很多问题,但如果回答的正确率无法保证,C 端的用户,看到回答错了,最多发个微博、朋友圈,吐槽了事;而在 To B 的严肃场景下,最细微的错误,都可能成为大模型落地的“命门”。
回到开头提出的问题,到了今天,恐怕还有不少人认为,既然 ChatGPT 的爆红没有信息差,那么国内厂商跟风做生成式 AI 大模型,起跑线都是一样的。
殊不知,早在 OpenAI 在2022年取得阶段性成果之前,国内不少有技术远见的公司,早就“偷偷”地挪动了大模型的起跑线,在数年前就开始了“抢跑”。
京东要用 AI 技术推动业务增长,要解决好应用落地的“最后一公里”,就相当重要。
于是,早在2021年,京东自主研发的 K-PLUG 就应运而生,让使用者能够利用 AI 生成文案。相比其他产品85%的正确率,K-PLUG 生成文案的正确率达到了95%以上。
3年时间,AI 的技术范式也变了好几茬,从“Encoder-Decoder” 模式演进到“Decoder”模式。但对于“忠实度”(Faithfulness)的追求,本质上始终没变——这也成为了产业大模型落地,解决“最后一公里”难题的关键。
远见者“挪动”大模型的起跑线,除开技术的积累,战略和组织上的变革,也为他们的“抢跑”扫清了障碍。
2017年,刘强东在年会上,喊出的“技术!技术!技术”,至今还萦绕在许多京东人耳边。
也是那时,被分散在各个业务部门的 AI 技术力量被统筹进了“AI 平台与研究部”,包括何晓冬在内的一系列的 Fellow 级人物也被招入其中,为技术发展的高歌猛进添砖加瓦。
组织架构上的阻力,终究会成为企业技术发展的限制器。不少大厂吃过的亏,总结起来都是一本“血泪史”。而在京东,组织架构的设计,则是为大模型的发展“开了绿灯”。
而在生成式 AI 爆红之后,2023年年初,京东将大模型的研发上升到了集团层面,归技术委员会统筹,由集团统一抽调训练的资源和算力,供何晓冬和他的团队使用,并且将大模型的能力提供给京东内部的业务使用。
“在京东,有大量的前端业务,都希望使用大模型完成优化,”京东技术委员会主席曹鹏对雷峰网表示,“这些场景需求我们会在内部做评选,一些对业务很有帮助的项目,我们会直接升级到集团战略执行委员会层面,以公司层级做出决策调度。”
而为了加深言犀对京东现有场景需求的理解,不少其他事业群、事业组的人员,也纷纷被抽调出来进入大模型团队,这些来自业务团队的同事,一方面可以从业务需求出发指导模型训练;另一方面,也负责将训练好的大模型带回业务团队,来做对接和优化。
而这也是京东能够将产业大模型更好落地的保障之一。何晓冬对雷峰网说:
“严格上说,京东的大模型技术并不是‘从研究院走向产品部门’。而是在一开始,研究院和产品部的结合就非常紧密。”
让大模型团队更能从业务的角度出发,思考技术如何在企业里发挥价值。这也是京东比较独特的地方。
大模型要实现价值就必须落地,已经成为了当下 AI 2.0 赛道的一个共识。而大模型要落地,需要大模型的研究者具有更强的工程化和产品化意识;产业的从业者,也要有更好的技术 Sense,来拥抱生成式 AI 的产业变革,从而不至于被淘汰。
“发布大模型不是我们的目的——我们关注的,是能够把大模型能力真正用到场景中,真正地产生价值。”在谈到大模型对于京东的意义时,曹鹏如是说。
大模型的价值=算法×算力×数据×产业厚度的平方。这也是在JDD大会现场,京东集团CEO许冉重点强调的。
京东内部,有大量的适用场景,一边确实面临着人力带来的效率制约;一边也受到生产力的限制,需要突破现有模式的瓶颈。
做大模型,先用自己“做实验”,首先是为现有业务赋能,快速成为公司降本增效上的助力,证明和实现 AI 的价值;其次也是让大模型能快速用起来,完成“使用-反馈-升级”的闭环。
要把场景“击穿”,不仅要有力透纸背的技术积累,还得有足够深刻的行业洞察。
举例来说,在金融领域的AI营销运营平台,京东的言犀大模型能够让使用者通过简单的口头指示,就一站式生成营销互动。过去需要5类职能人员,涵盖产品、研发、算法、设计、分析师的工作量,如今压缩到只需要1人。过去2000次人机交互,现在也减少到少于50次。综合看来,营销方案的生产效率有了百倍提高。
在电商领域,京东云AIGC内容营销平台也能够大展身手。从一张商品图出发,它能够理解商品特征,快速生成电商运营需要的商品主图、营销海报图和商详图等,将每套图的制作成本能降低90%,制作周期也从7天缩短到半天。
而在健康场景,京东健康瞄准的是皮肤病和心理咨询,意在把专科“打透”,并以此为矛头,开展 AI 远程诊疗的探索。在多模态技术的赋能下,京东针对皮肤科完成了一套专有的 AI 识别算法,能够识别一百多种皮肤的皮损情况,完成线上诊断。而在心理咨询的场景下,据观察,相比“真人”医生,AI 医生的患者满意度反而更高。
在数智物流的实践中,利用大模型+预测、大模型+3DSCADA、大模型3D场景理解的技术,京东能进一步地增强针对物流的决策、仓储方案制定、运营改善调整等能力,让供应链的降本增效得以快速实现。
要完成高质量的专业能力,大模型之间,拼的就是高质量的专业语料和行业Know-How。而不同于过去有人提倡的“行业小模型”,京东训练模型仍以公域数据为主,占70%左右;京东自有的专有数据,占比约30%。
京东自有的行业 Know-how 和数据,虽然占比不大,但仍然是言犀大模型能够真正落地,为业务部门提供服务和赋能的“基础保障”。
曹鹏表示:“供应链产业链上的大模型更有价值,因为供应链的链条越长,带来的数据相关性更高,相关性高的训练数据越多,模型越大,才越有可能产生产业端的智能涌现。”
而泛化,对于产业大模型来说同样十分重要。
小模型对单一场景的依赖,很容易让 AI 服务提供方走回 AI 1.0 时代“项目制”的老路;
同时,对于常识的理解,能够处理与专业领域不直接相关的内容,也有助于提升 AI 的用户体验。
“其实模型能力,有点像对一个人的培养。”在这个问题上,何晓冬做了一个这样的比喻:
“比如说,一个人读了12年的书,有了基础的社会常识。高中毕业之后,好像去工作也行,但专业性可能差一点。
“而如果再加上四年的专业本科,这样可能既有常识又有足够的专业知识——这是我们觉得产业大模型应该具有的能力。”
言犀大模型在智能导购、智能客服、智慧金融、数智供应链、物流管理等领域有了不少落地的尝试,给业务侧增添了不少新的可能性。
时下,言犀大模型对于京东来说,更多扮演的是“技术1”——解决内部效率问题——的角色,距离“技术2”——技术服务对外赋能——还有一些路要走。
“我们现在还是聚焦在,我们怎么真正把这个东西用起来、用好,”曹鹏对雷峰网(公众号:雷峰网)表示道,“如果我们自己都用不好,谈模型对外提供服务我觉得有点早。”
这也符合京东对 AI 大模型“三步走”的期待:
第一步,基于内部实践构建通用大模型;
第二步,在零售、金融、健康、物流等京东内部高复杂场景大规模锤炼,融合重点行业解决方案对外合作;
第三步,针对严肃商业场景将大模型能力对外开放。
当下的言犀大模型,正走到第二步,迈向第三步的过程——在这个阶段,大模型的产品化、工程化,则是技术团队需要攻关的重中之重。
给 AI 降本增效,让 B 端客户能够真正用上大模型,中间的“门道”不少。
首先,是要破除对大模型参数量级的“迷信”。模型不是越大越好,更大的模型很可能更笨重——无论是响应速度、并发数量、还是调用成本,都无疑对客户的使用体验带来重大的影响。
“每问一个问题都两三毛钱,在实际应用里是不经济的。”曹鹏如是说道。
在目前的大模型 To B 赛道,MaaS 提供方准备多种不同规格,能够应对不同功能、不同场景的模型,让客户按需选取,已经成为了一个被不少人认同的“共识”。
从十亿到千亿,京东也在多种数据量级的模型上进行了布局,意在为业务部门,乃至日后的 To B 客户,提供更可用且好用的模型。
其次,是大模型“苦之久矣”的部署和优化问题。动辄百亿量级参数的大模型,要让使用者更简单、更便捷地完成部署,并且保证模型的更新,不同公司都有自己的解决方案。
而京东的“奇招”,则是模型的量化和压缩,以让模型的小型化部署成为可能。
这里的“小型化部署”,并非主动缩减数据“革自己的命”,而是在仍然保持模型足够大的情况下,进行量化压缩,把浮点数压缩成4个比特,并且完成一些“剪枝”,来完成模型的“瘦身”。
同时,本次 JDD 发布的言犀的大模型开发平台,也提供数据的安全保障,并且让使用者可以在平台上,使用自己的数据为模型做持续训练、持续调优,完成个人专属或行业应用场景的优化。
机遇和挑战,是何晓冬用来形容大模型的两个关键词。
一方面,当然要看到大模型为千行百业带来的机遇。在 AI 带来的生产力和产品体验跃升面前,有人说,“所有行业都值得被大模型重做一遍”,自然有其道理。不少公司或许可以在这个时代,借着人工智能的大浪,尝试弯道超车。
而另一方面,对于京东来说,以智能导购为例:根据用户需求,深度定制化的 AI 推荐,很可能对京东今天赖以生存的信息流模式,产生重大的颠覆。
对于大模型将为京东带来的改变,何晓冬十分乐观。京东的基因,并不只是停留在C端的电商,而是覆盖背后广泛垂直的供应链服务。在前端与消费者互动的环节以外,背后广泛的供应链环节,京东都有可能利用大模型做出优化。
“AI 大模型带来的,新型人机交互的价值,会远远超出人们的想象。”何晓冬说,“从最初的打孔纸带,到键盘交互,成就了IBM;从键盘到鼠标,成就的是微软;而从鼠标到触摸屏,又成就了苹果。”
每一代人机交互的变革,都会催生一个或更多新的巨头,撬动超过十万亿美元的价值。这也让人想起,言犀从一开始,就是一个新型“人机交互平台”。
回到最初的问题,京东的步子慢了吗?
从抢占媒体和公众的注意力的角度上,京东的确慢了;而在技术积累和体系建立的角度上,京东甚至还快了“半步”。
今天,AI 的‘赛道再次炙手可热,但眼见过上一波 AI “起高楼,楼塌了”的人们,此时仍在埋头猛进。
“热闹归热闹,”从 WAIC 回来的何晓冬感触颇深,“热闹之后还得看,最后什么东西能够真正地产生价值。”
(后续,雷峰网将持续关注这个足称伟大的 AI “英雄时代”,欢迎添加作者微信:william_dong,交流认知,互通有无。)