很多年以前,leap motion用基于深度感知的手势识别技术将科幻场景中的人机交互手法带入了现实。如今,基于双目视觉等方案的深度感知技术,已经在相当广泛的应用场景中生根。
锋时互动就是这样一家公司,成立于2011年的锋时互动,最初以深度感知和机器人相关技术起家,并将产品植根于PC端以及VR、AR等消费类领域。但雷锋网·新智驾与锋时互动的交流,却缘起于这家公司最新的业务尝试。
今年4月的上海车展上,锋时互动的展台展出了最新车载领域人机交互产品——微动Vdrive。截至目前,Vdrive产品方案能够支持6种车内手势模型识别,并应用在包括地图、空调、音乐、电话等中控界面控制中。这也开启了锋时互动手势识别方案在车载领域的市场探索。
对于这个场景的切入,锋时互动CEO刘哲对雷锋网·新智驾说,这其实是市场需求反推给他们的自然而然的选择。
*锋时互动CEO刘哲
Vdrive车载手势识别方案,是一种基于双目视觉的深度感知技术,并将算法写入FPGA芯片,以车规级标准进行研发。目的是与整车厂和Tier 1厂商联合,最终将产品接入前装市场。
技术上而言,Vdrive的手势识别解决方案,采用120Hz高频双目深度传感器,结合SoC架构的FPGA芯片,将图形图像、人工智能算法都跑在车载Vdrive内部完成,与上位车机进行指令级通信。支持I²C、Uart、USB等物理接口,以及WinCE、Linux、Qnx、Android等系统。
截至目前,Vdrive已发布的产品可以通过手势识别完成与车内导航系统、音响系统、空调系统和电话系统的功能交互。
*观众在展会现场体验Vdrive产品
*Vdrive手势识别操作界面
刘哲告诉雷锋网·新智驾,目前,在影响人机交互体验的几个核心参数,如识别精度、延时上,Vdrive已经分别达到了平均低于1毫米识别精度,以及延时在20毫秒以下。
同时,锋时互动已经与一些不具名的车企和Tier 1厂商开始了产品具体定制化性能的合作研发阶段,按照进入前装市场量产的时间表规划,锋时互动将预计在2019年-2020年左右,在量产车上实现Vdrive的第一代方案落地。
据Vdrive开发人员介绍,现阶段,Vdrive主要支持6种手势,分别为单指顺/逆时针旋转、手掌左/右挥,以及单指点击等。雷锋网·新智驾现场体验了其手势识别的操控效果,例如,进入音乐播放界面,使用手掌右挥即可切换下一曲,双指前戳可暂停播放,单指旋转则可以进行音量调节。总体而言,Vdrive在手势识别的敏感度上表现稳定,但对于不习惯于手势操作的用户也需要一定的学习和适应成本。
在具体的产品优势上,刘哲对团队和产品的技术实力保有信心。他表示,Vdrive的解决方案基于FPGA芯片研发,整体模组解决了图形处理和相关计算问题,大大减轻了对车机运算和数据传输的负载,同时,由于团队较早(2015)切入类似产品研发,占领了一定的先发优势。此外,由于核心深度信息获取方案是基于双目视觉,刘哲认为这将帮助他们在未来把产品成本做到最低。
本月初,博世与PNP联合在国内发起的汽车人工智能加速器计划,最终敲定了15家企业进入首批入选名单,锋时互动与包括地平线、驭势和商汤科技等公司一道在列。
但事实上,这不是锋时互动第一次与传统汽车产业链的厂商结缘了。2016年初,在锋时互动完成A轮融资时,上汽公司旗下投资公司上汽创投作为投资方参与其中。这也是锋时互动在战略上备战汽车市场的打法之一。据CEO刘哲透露,在其Vdrive产品的合作方中,上汽顺理成章的是其中之一。
而对于此次加入博世加速器计划的缘起,刘哲告诉雷锋网·新智驾,锋时互动与博世在近期的几次大型汽车展会上深度洽谈后达成了这次合作。在此次入选的 15家创业公司,分别覆盖了汽车创新和智能产业链中的各个领域,如激光雷达、车及系统、人机交互、HUD、ADAS等等,在狭义的车内交互上,锋时互动算是唯一一家。
在入选博世加速器后,据刘哲介绍,博世将陆续为入选企业提供一定的资源和指导,加速这些公司的成长,甚至在之后引入一些产业和行业资源进行支持。
在问到博世对于锋时互动这家唯一入选的车内交互公司的战略期待时,刘哲这样说道,
“首先他们认可从半自动驾驶向自动驾驶发展的趋势,也在规划2023-2025年的事情,所以博世正在做一个相对长期的规划,加速器是其中的一个布局。这次博世在国内遴选加速器企业,表现了中国这个巨大市场的看重,与此同时,目前博世与国内厂商或汽车自主品牌都有深入合作,但这些合作可以更深入,更前沿科技,所以在这方面,博世倾向于寻找中国本土的优质供应商,满足他们长远的规划需求。”
不过在几年前,手势识别技术还大多出现在炫酷的2C消费级应用场景中。但是今天,它们已经在备战一个更大的市场。
刘哲认为,车内人机交互正处于过渡期,传统交互以按键、旋钮等实体为主,但最近几年,语音交互也逐渐被载入车机系统。语音交互作为自然交互中比较重要的部分,技术、产品的成熟度较高,但仍不可否认,在一些特殊场景,如嘈杂、风噪、方言等情况下的表现仍然有限,所以,市场仍需要其他交互方式进行补充,手势识别就是其中之一。
而手势识别在车内交互的应用和产品还比较初级,已经实现量产的,只有在诸如去年新宝马7系这类豪华车型中。所以,在刘哲看来,手势识别很可能与语音识别、人脸识别等技术一道,成为未来车内自然交互方式中的重要组成部分。
而刘哲和他的团队也看好手势识别技术在未来车内交互中不断上升的地位,并对这种交互方式成为主流,保有信心。这也成为了锋时互动决心切入车载领域的初衷,“这个行业(汽车)给我们带来的需求越来越多,而且离我们的契合点也越来越强”。刘哲如是说。
在初期的产品设计上,Vdrive的产品研发人员也表示,将尽量考虑综合手势和语音两种自然交互方式,实现不同场景下的互补,而不是相互取代的关系。
另据介绍,打造车规级的手势识别方案也为这一技术带来了更高的要求,例如车内强光、黑暗等不同工况下如何保持产品稳定性,同时,产品元器件,如芯片等也需要复合车规需求,根据此调整供应链体系。
雷锋网:目前你们与整车厂、Tier 1的合作模式是怎样的?
刘哲:与整车厂更多是对功能需求的对接,目前这个方向还没有走到量产阶段,在量产前我们需要经过一些汽车行业标准测试。与Tier 1厂商更多是通过沟通,看它的创新意愿以及背后的整车厂客户。对于短期3-5年规划,或是长远规划,这一点在产品需求上差异还是很大的。
雷锋网:您指的创新意愿的厂商是互联网造车企业还是传统车厂?
刘哲:互联网汽车代表着一种创新力量,但回归整个汽车行业来讲,我认为传统汽车厂商仍是中坚力量。互联网车厂提供我们更多附加功能,但传统汽车的核心仍是驾驶系统、安全系统,所以我们短期内还是与传统车厂合作,而一旦这些传统车厂有创新动力,我认为应该是围绕驾驶系统、安全系统等展开的。
雷锋网:自动驾驶是汽车行业公认的未来趋势之一,您如何设想未来人机交互在其中的新玩法?
刘哲:如今汽车还需要驾驶员实时操作并观察路况,这时用户对于中控系统之外功能的需求非常有限。但自动驾驶将改变这一切,未来,在无人驾驶到来后,车内已经变为一个移动、封闭的空间,能做的事情就更多,这个空间可以承载娱乐、办公等各种功能需求。所以,交互会在其中体现越发重要的题为,但趋势上我认为是自然而然的、简单易学的,即学习成本低同时用户体验好的交互方式,随着交互场景和功能越来越复杂,未来将有更多的交互方式出现。
雷锋网:从公司的整体规划讲,锋时互动在汽车领域计划如何投入?
刘哲:我们现在从市场层面主要有三个方向:一个方向是VR、AR,这个领域经历了一个低谷,现在慢慢回暖,行业回归理性,这种显示方式在未来也会形成规模市场,同时这个市场对手势交互的需求是很强的;另一个是对传统交互场景的变革,包括智能家居、智能终端等,目前我们可以用非常低成本的方案,如单目视觉实现对空调、冰箱等电器的手势交互,这种产品不像车规级要求高,可以短期内达到量产;在汽车领域的布局就是车载电子,这个行业相对成熟,市场容量大,同时自动驾驶和车内人机交互是一个很好的趋势,这个领域属于我们的中长期规划。
在问到锋时互动游走于新兴VR、AR等消费级领域以及传统老牌的车厂之间,是否感到巨大的落差时,刘哲思考过后,否认了这一点。他说,虽然固有印象是这样,但真正进入汽车行业,通过交流,会感到近两年来这个产业的剧变,创新的动力也越来越强。刘哲认为,未来,行业间的渗透会越来越明显,曾经保守的行业也会发生改变。
最后,刘哲不由得感叹说,曾经老派的车企早已不是他们想象中的样子。这也助推了锋时互动对车载领域的信心,因为变革早已不簇拥在新兴消费类产品上,也发生在了那些更加根深蒂固的地方。