12月19日,京东在其亦庄总部召开了“天工计划2.0——物有形,界无限”大会。天工计划2.0代表了京东目前在ARVR上的整体布局,包括:京东天工AR开放平台、京东AR视界、京东试试。
AR开放平台提供AR技术、电商资源、场景解决方案,京东AR视界已覆盖100个三级品类的商品3D展示,京东试试支持美妆、服饰产品的试妆、试穿和试戴。
当然,贯穿发布会全程的关键词是——无界零售。在第四次零售革命正火的当下,京东也期待以ARVR助力其新零售升级,ARVR能扩张零售的场景,例如你想买家具,可以直接用AR把家具放进你的家里,ARVR也带来多种新型的交互。这能让零售向着多场景、多终端、多交互形态的方向发展,使得消费者获取商品和服务的方式将变得更加多样性,实现随想随买、所见即可所得的购物体验。
会后,雷锋网对ARVR业务部负责人赵刚进行了深度访谈,赵刚解答了京东天工计划从1.0到2.0的历程,京东将如何利用ARVR技术改变零售和物流。
2016年被视为VR的元年,这一年我们看到多款高端VR硬件推出,资本也迅速涌入VR。由于ARVR在改变购物场景、购物行为上的潜力,京东在2016年成立AR/VR实验室,联合30 多家 VR/AR 上下游企业宣布成立首个电商 AR/VR 产业联盟。
2017年京东在CMO体系上正式成立了ARVR业务部,意将ARVR的技术真正落地成实际产品。2017年5月,京东启动天工计划1.0,旨在打造全品类的3D模型数据库,与此同时,京东还发起了一场人工智能3D建模PK大赛。
之所以从3D建模入手,赵刚在之前的采访中解释到,目前VR硬件还不成熟,先要解决VR的内容生产问题,“用户首先要从 2D 进展到3D,而不是直接跳到 VR。”从2D到3D对购物体验影响很大,2D图没办法展示产品全貌就容易引起退货, 3D 则是无死角地展示产品。
这场3D建模大赛吸引了海内外108个团队参加。大赛结束后,有6家自动建模合作伙伴正式进入到我们实际应用的承接方,他们也就3D模型建立的统一的标准。
经过半年的发展,京东发布了全新的3D购物产品——京东AR视界。在原有的3D展示基础上,京东AR视界实现了商品的交互展示,例如当你浏览一款冰箱时,除了可以720°地查看,还能够打开冰箱门查看内部结构。
(京东AR视界)
据赵刚介绍3D引擎是3D展示的最关键的一步,也是京东AR视界的核心技术。京东完善了自己的3D引擎,因为在京东的手机App上,Unreal和Unity这些引擎都太过庞大,没法使用。截至目前京东AR视界已经覆盖至京东6大事业部,100个三级品类。
大会上,在3D建模大赛取得自动建模组第一名的畅景信息展示了他们的3D建模成果。CEO郭未现场演示用畅景的手持式的激光扫描仪对京东的音响“叮咚”进行建模,从扫描建模到材质贴图到光影渲染,整个过程加起来在三分钟左右。畅景目前已经成为京东的战略合作伙伴,将一起为商家提供京东AR视界3D产品展示的技术支持。
京东天工计划1.0着力解决生产力问题,在这一方面,我们已经看到了成效,但是要实现全品类3D化想必还需要时间。
天工计划2.0是天工计划1.0的升级,赵刚谈到,“天工计划1.0主要是解决3D内容生产力的问题,2.0今天重点推出了天工AR开放平台,将我们底层的技术像3D引擎进行开放,同时吸收更多的行业伙伴一起把这个做起来,再赋能给行业,成为这样一个互利互惠的平台,实际上也是符合现代互联网开放、赋能、共赢的宗旨。”
从2016年到2017年,VR在硬件和内容上并没有突破性的进展。AR却完成了硬件和内容的同时逆袭。苹果在6月发布ARKit,谷歌随后发布Arcore,解决了AR的基础技术问题,不少开发者在数周内就能开发出一款AR应用。国内互联网巨头BAT也顺势推出了自己的AR平台,好不热闹。
赵刚解释到:“在初期京东就更看重AR的应用。去年AR由于底层算法、SLAM等技术不完善无法实现AR体验。今年苹果ARkit和谷歌ARCore对AR的推动非常大,把底层的算法能力提高一块。但是目前市面上顶级的手机才能支持,我想明年主流手机都将会支持AR。”
京东的AR开放平台应运而生。“今年AR/VR非常火热,明年会更火,我们要趁热打铁”,赵刚道,“现在到处都是AR平台,我们的 AR平台有什么不一样呢?我们推出AR开放平台是不一样的,因为我们有用户,有流量,有场景。一些AR开放平台推出了只有工具、技术,没有应用场景。京东AR是一个完整的生态链,是要带着大家一起发财的。”
雷锋网了解到,京东的开放平台包括三大块:基础技术, 内容聚合平台以及行业解决方案。京东AR开放平台的硬件模块包括:识别、3D引擎、跟踪&定位、交互以及硬件。赵刚介绍到,京东AR平台的核心技术京东一直在研发,美国的团队专门研发SLAM技术。京东也采用ARKit和ARCore,但是由于ARKit和ARCore只支持高端手机,京东也正在往中端、低端手机上努力。内容聚合平台可以开放京东的品牌商、供应商资源。提供行业解决方案则是在除了电商场景以外在其他AR垂直领域的扩展。
如果说苹果的ARKit和谷歌的ARCore主要提供基础技术和硬件,供开发者使用,缺乏大型落地场景。那么国内BAT其实和京东一样是缺乏硬件,淘宝的AR布局与京东也是很相似,在2016年发布了VR Buy+,2017年升级为AR Buy+,推出“造物神计划”。谈到友商,赵刚认为:“我们走我们自己的路,双方的优势不同,京东将充分发挥全流程业务场景的覆盖,以及3D建模数据库的优势,将我们的技术、内容和服务进行开放。”
大会现场京东还邀请了百度AR和网易AR进行分享。百度分享了其在AR基础技术上的进展,基于其AI技术积累,目前正在往语义SLAM上发力。网易分享了其AR游戏《悠梦》的制作过程。
在雷锋网看来,BAT都发力AR技术、AR平台和AR场景,这将对AR行业起到很大的促进作用。京东的AR开放平台重点不在底层技术,而在于技术+内容+场景对AR生态链的影响。
目前我们能看到的京东的AR产品最直观的是京东试试,包含了AR试妆、AR试穿、AR试戴等。AR试妆目前在京东App的彩妆页面都能看到。在大会现场,京东还用互动屏展示了AR试戴、AR试穿。
(京东AR试妆)
不少人都对AR试妆感到满意,因为解决了线上无法直接感受到口红的颜色、质地,上唇效果的问题,这是人脸识别技术与AR技术结合的成果。但是互动屏的AR试穿还处在Demo阶段,效果还有待提升,这有待人工智能的进一步发展,将来还将融合语音交互、手势识别等。
(京东AR试穿)
近来,京东刚推出了线下的无人零售店,进军线下市场。赵刚认为这些互动屏也将可能放置在线下,突破线上线下购物的界限。“如果大家还只是用手机不叫无界零售,无界零售是处处是场景的,比如洗脸的时候发现需要一些护肤品,你就可以通过镜子下单。我们的产品要扩展到各种场合,这才叫无界零售,这肯定是重点,只要这个事情可以发生,我们就让它发生。”
目前这些3D的体验都是基于手机的,赵刚解释到,“这些产品虽然还没有基于新的设备,也就是说并不是基于ARVR眼镜的,还是基于手机,但是我们实际上是为下一代新的设备做好准备,我们在现有的设备上实际上也能够体验到新的设备带来的体验。我们说我们是在为这一代的互联网做增强,为下一代的互联网做准备。”
除了京东试试,京东也想在更多的场景应用AR,这是他们做AR开放平台的初衷。雷锋网注意到一个重要的进展是,京东正积极布局AR眼镜在物流和仓储的进展。赵刚透露京东会配合AR硬件厂商做物流场景的解决方案,目前京东正与多家AR眼镜厂商接触,但是没有说明具体会采用哪一家的硬件。