作为智能驾驶解决方案服务和产品提供商，福瑞泰克能够提供给主机厂包含硬件、算法、软件集成等在内的完整的ADAS系统解决方案。
其为主机厂提供的ADAS产品，具备对中国场景高度的适应性及快速灵活响应能力。目前福瑞泰克已经与国内多家主机厂进行合作开发项目，并已开始实现产品在主机厂量产车上批量供货。
在智能驾驶时代，对于如何定义一套好的ADAS产品，福瑞泰克有着自己的见解。为此，雷锋网新智驾邀请了福瑞泰克视觉算法专家吴国苏州进行业内分享。
以下是吴国苏州的演讲内容，新智驾进行了不改变原意的整理：
各位晚上好，在这里想跟大家探讨一下智驾时代如何定义一套好用ADAS产品。
“好用”这个词其实比较难以描述。所以今天会围绕以下几方面来讲：第一ADAS产品在中国的发展现状与趋势；第二是ADAS产品的技术发展与中国路况的优化；第三是售后与标定问题；最后会探讨产品常用的测试场景以及长尾问题。
很多人认为ADAS是2016年后才逐渐有的概念，但其实ADAS在国外发展得很早，欧洲的一些厂商在上世纪就已经开始研究主动安全，比如做一些碰撞减轻的系统，用摄像头来做车道偏离报警系统。
在中国，所谓的ADAS系统量产元年其实在2012年。当时第一款ADAS量产车型是红旗H7，搭载了一个不是很高清的前视摄像头，具有简单的车道偏离预警功能。还有一个24GHz的毫米波雷达，以及两个侧角雷达。
但真正意义上，用户量比较大的一个ADAS系统其实是2015年吉利推出的博瑞车型，这款车上市时候引起了不小的轰动。
它搭载的摄像头和前向毫米波雷达，实现了灯光的自动切换、紧急制动等功能。这款车上市销量一开始挺大的，让很多人第一次真正意义上体验到了先进的ADAS系统。但摄像头和毫米波雷达系统相互独立，数据没有融合。2018年是中国ADAS真正的意义上的一个里程碑，出现了横纵向联合控制系统，也是由吉利的博瑞车型改款而来。
搭载的摄像头和毫米波雷达实现了两者数据融合。它能够提供车道居中、低速交通拥堵辅助、交通标志识别等功能，成为中国首个意义上的多传感器融合车型。从全球范围来看，量产时间也是比较早的。
进入2020年，可以看到很多主机厂包括传统车企和造车新势力，纷纷宣布了进入L3时代。
当然，真正意义上的L3不仅感知系统、控制系统都要实现冗余，底盘控制器系统也要有可靠的设计。目前从整车的角度来看是达不到的，但是功能上基本可以达到体验式的L3。
讲完了历史，接下来讲一讲为什么会有这样的发展，以及ADAS系统今后的发展方向是什么？
ADAS的发展上，技术需求和法规升级是相互促进的。从欧洲标准ENCAP新车评定规程来看，2016版的评定规则比较简单，只有针对车辆的横穿行人提醒功能、车道功能、限速提醒功能，并且只要求一个52°的前视摄像头和前向毫米波雷达就足够了。
2018年开始，ENCAP法规有了重大变化，开始考虑到横向穿越的自行车，同向纵向行人这些交通场景，所以技术也在升级。这也是为什么今天各个大厂开始抛弃原有的52°摄像头，开始做前向100°摄像头的原因，就是特地针对横穿的二轮车设计的。业内的检测算法也在进步，原来可能只能检测规则车道线，后来路边草丛、护栏、没有车道线的道路边缘，都逐渐可以被检测到,用以应对RoadEdge场景。
2020年之后，倒车行人保护、十字路口等场景，都被纳入考虑范围。这样一来，系统的临近车道以及侧后方检测上都会有一些新要求，同时后角雷达也会慢慢成为标配。
2021年，包括自动转向避障、十字路口横穿车辆，都会逐步纳入法规。所以“好用”这个词，是要根据时代的要求来不断演进的。用当下的标准来看三年前的系统，肯定不好用，所以ADAS系统必须跟上时代。
而法规的发展趋势也推动了技术的升级。
2018年以前，深度学习还没有用在辅助驾驶场景上，那时还是基于传统的CV算法，所以能实现的功能都比较简单。就是采用类似于HOG、HAAR这类算法，然后通过一些分类器来实现车辆、行人的检测，车道线则是通过对比度等方式做一些边缘特性的提取，然后拟合曲线实现车道线检测。
所以2018年以前的摄像头产品，如果要检测横穿车辆或二轮车，不是说完全不可能，但总体比较难。
2018年以后，随着深度学习的小型化发展，很多国际的传统厂商在新一代视觉芯片里加入了新的CNN处理能力。国内也有初创公司推出了自己的AI视觉芯片，用于ADAS前视摄像头。一些集成度较高的产品不仅集成了传统算法功能，也引入了全面的CNN算法，支持真正意义上的目标和语义检测，能够处理的像素也越来越高。
2020年开始，会陆续有大量的引入广角摄像头产品市场。
2022年以后，全向360度感知、视觉定位、类似V2X这些功能，那都会慢慢进入大众视野，这是技术和法规趋势互补的演进路线。
在具体的功能上，可以说，大部分用户对ADAS的认知都是从AEB系统开始的。很早以前欧洲很多车就配备了这个系统，主要靠雷达来实现的。众所周知，雷达对静止物体的感知能力并不好，同时一些金属反射也可能会造成误触发，所以大家认为这个系统不靠谱。但根据最新的用户调研，车主对AEB的信任程度超过70%。
大家认为AEB系统不靠谱的另一个原因是行人检测。即便是特斯拉，也没有很高的行人AEB触发率。所以我们要探讨，是不是所有场景、任何时候都能实现制动？
我们认为AEB设计的初衷是避免损失或减轻损失。
这和车辆的动力学特点有关系。 车辆动力学特点就是，在低速场景下，最迟转向点是早于最迟制动点的。一辆车在低速情况下接近前车，如果过了最迟转向点而驾驶员没有打转向，就有可能会撞上这辆车；到了最迟制动点，系统触发制动就可以避免碰撞。
但在高速场景下，最迟转向点和最迟制动点是反过来的。因为在高速场景下，面对低速前车，通常驾驶员会选择转向来避让而不是制动。当用户明明可以选择转向避让，但是AEB系统却触发了，这种行为在高速上其实是非常危险的。
所以，AEB要保证低速做好刹停，而高速应该要减掉一定的速度，而不是一下子减速到0。 所以，我们对AEB的认知应该是它能够减轻碰撞，但不是说百分之百避免损失。
谈到这个，也可以来看一下避免碰撞技术的发展。2012年开始，其实ENCAP就规定要做AEB Car-to-Car rear 来防止追尾。2015年增加了行人保护。2018年包括横向穿越二轮车，纵向行人，纵向二轮车都被纳入了范围，但由于技术本身的局限性，它不能在所有情况下完全避免碰撞。
2020年，会有一些领先的厂商推出辅助速转向避免碰撞ESA，防止来车和侧后方车发生碰撞，覆盖高速场景。
用户在高速场景下更倾向于打转向。但如果两车车速差距过大，用户打转向的路径也不一定合理。如果系统做得足够好，可以在转向过程中，知道用户的意图是避免前车碰撞。如果用户转向不足，可以通过系统的路径规划来为用户规划一条可以避免碰撞的转向路径。就是进行一个有限的干涉，帮助用户补足转向需要的扭距，从而避免碰撞，这也是一个技术发展方向。
从ADAS的执行角度目前没有统一的标准和法规，用户依然是责任方，而不是车辆自主决策，如果用户分神没有转向，那么系统也是不能及时反应的。
那么考虑这些问题，2022年ENCAP最新的草案里也开始提到了，要引入三个技术：加入AEB-head on，AEB-junction 和AES。但因为欧洲疫情比较严重，可能会往2024年去推，但总的来说趋势是不可避免的。
ADAS的算力、功耗与成本
不同等级的驾驶系统，对传感器和算力有着不同的需求。通常，辅助驾驶需要的算力是1~2Tops，传感器配置应该是一个视觉传感器加1~5个毫米波雷达；L3有条件自动驾驶通常要20~64Tops的算力，更多的视觉传感器、毫米波雷达、V2X、高精度地图以及激光雷达；L4需要更多的激光雷达，需要至少320Tops的算力。
当下辅助驾驶销量最大，那么它到底需要一个什么样的配置？以视觉为例，通常摄像头放在车前玻璃顶上的，需要在空间很小并且处于太阳暴晒的地方集成视觉传感器和车身通信。
它需要集成好几方面的资源：包括CNN引擎，处理复杂的神经网络来做视觉算法；要有内存系统，包括SRAM、DDR等用来做一些传统算法和追踪工作。
不同的神经网络类型对资源的占用以及处理器的算力应用差别很大。所以评估CNN引擎不能只看算力，现在市面上有很多CNN引擎的芯片，对一些特殊网络的加速并不好。在选择CNN芯片的时候SRAM、DDR也是要考虑的方面，因为计算时候大量的乘加不可能在DDR完成，所以CNN引擎要配上一个比较合理尺寸SRAM才能工作，这个SRAM的大小要考虑到框架做得好不好，视觉处理区域网络有多大，这些都是要考虑的。这个目的是尽量避免DDR的消耗，特别是 DDR带宽的消耗，如果DDR消耗过大，成本就会上去了，发热量也会特别大。
从ARM和DSP的配置来看，很多国外的传统引擎厂商做的都不错，都有一些传统视觉算法加速器，而且工具链做的也不错。由于没有DSP积累，一些新的厂商往往通过算力比较高的ARM来弥补这一点。当然如果要用传统算法要提取特征点或者做相机标定的话，可能要熟悉DSP、熟悉厂商给的DSP库，或者对ARM的并行优化做的比较好，否则对算力的要求会非常高。
在检测方面，从法规需求也可以看出，2018年后有重大的更新，这个更新在2021年的CNCAP版本会体现出来。就是说传统相机52度视角度可以顺利通过前向测试场景，但是很难通过横穿二轮车这些场景。
所以厂商会将摄像头视觉的中间区域尽量做到和传统的一致，传统区域要用来检测车辆、行人、二轮车、车道线、交通标志这些，并且探测距离要求比较远。而周围的区域就只检测横穿的二轮车（包括未来做横穿车辆检测），只要满足法规要求就可以了。通常来讲一般只要检测到30米以内，就可以满足2021年的CNCAP要求。
在这里重点讲一下CNN加速器的类型，目前业界很多厂商做的CNN加速器都不一样。从原始类别来看，CNN加速器可以分为两大类，第一类就是利用ASIC来做一些CNN加速，里面有固定的kernel和size。有一些大厂用的芯片就是这种情况，所以其CNN能力会有问题的。比如说做一个point wise的卷积，因为其固定的kernel size是5x5，只有1/25的算力用得上，效率非常差。因此在设计网络的时候要避免这种情况的发生，根据处理器的特点来设计神经网络，然后实现性能的优化。
另外一类就是高位宽的SIMD。它的一个特点是，能实现比较好的卷积加速，但像upsample、softmax、pemute这些都干不了，所以得占用别的资源来做。这就涉及到资源的消耗问题，怎样把DSP/ARM的内存带宽利用好，怎么排时序，不能ARM在运行的时候等DSP，DSP运行的时候等ARM，那就把整个算法的时间都浪费掉了。
当然也有厂商集成两者的优点，做了一个混合的芯片。如果厂商自己做算法、芯片，那么内部的适用性是比较高的；但如果想提供通用芯片，就得对未来几年网络发展的概况有很好的了解，否则做出来的芯片模组做出来没人用，就会造成浪费，导致竞争力下降。
讲完芯片，来讲一下视觉算法。目前视觉算法其实做的非常复杂，大家也有一个共识，就是不能只靠CNN来做。因为目前CNN在视觉算法里的应用仅仅是图像级的检测，比如说通过CNN来实现画面中目标框、特征点、属性的回归，当然对像素的分割也是比较好的。
但这些毕竟是在图像坐标系里发生的，即便真的检测到了人和车，也是在图像坐标系下。为了获得对象在车身坐标的具体位置，必须得精准知道一些摄像机的标定参数。而一些相机姿态的动态计算，目前还得通过传统的CV引擎来做，如果一些芯片没有传统的CV引擎，就要想办法把它挪到CNN引擎的并行加速库，如果再没有，就要将上面的指令集优化做到极致，才能把这些东西全部做好。
另外，比如白天、黑夜识别需要的特征统计工作，都需一些传统算法。并且灯光检测也是ADAS必不可少的一个部分，目前这个领域CNN用的不是很广泛，所以也还需要传统算法的算力。可想而知，在ADAS领域要用一个这么小的低功耗引擎，同时集成这么多任务，难度是非常大的。
那有了这样的系统，如何优化ADAS的用户体验仍然充满挑战，这可能跟中国道路问题的顽疾有关。举一些场景例子，第一个场景是在车辆在ACC的状态下被近距离切入，用户本来开着ACC，一看有后车切入比较危险，只能把ACC取消掉了，所以用户体验不好。
第二是施工区域，通常来讲欧洲的施工区域都比较规范，用黄线来覆盖白线，规则也比较好写；但在中国，施工区域往往都是就扔几个桩桶就完事了，如果开着TJA路过这种场景，系统进行横向控制，比如横向地往桩桶上拉，也导致用户体验差。 第三，国内的异形车辆特别多，路上也有石块等非规则物体。
具体看ACC下的cut in例子。一些用户对cut in感觉不好，主要还是因为目前已上市的ADAS产品基本上还是用传统CV引擎来做图像识别，也就是说，它能识别车的正面和背面，但识别不了车的侧面。毫米波雷达能够通过聚类追踪得到的反射点是车辆后方的正中心。
因此摄像头和毫米波融合之后就能够知道车辆的后方在在什么位置，但不知道车的长度是多少。所以前方车辆的行驶轨迹能够预估出来，但不可能真实地测量出每个时刻的目标车辆的航向角，毕竟猜测总是有一定的滞后性，所以ACC cut-in 不太好做。基本上只能根据后方车辆的侵入、自车行驶轨迹的范围比例来判断车辆的跟车目标，这种情况下做不好ACC很正常。
但如果有CNN加速的话情况可能会好一点。目前来看，新一代算法基本可以做到3D车辆检测，不仅能够检测车尾，车的侧面条线也能检测出来，实现真正意义上的3D感知。做的比较好的情况下，车辆的3D位置以及航向角和车辆入侵的前方的比例，都是可以算出来的。如果我们把fusion做好一点，控制策略做得激进点，完全有可能解决这个问题。
我认为，2021年后会有大量的新一代摄像头产品上市，特别是中国本土的厂商，比较熟悉中国路况，这个问题未来会大有改善。
再看看道路上的不规则物体，不规则物体相对来说比较麻烦，因为视觉算法也很难搞定的。业内也有一家做的比较好的企业，很早就开始研究画面中的特征点和趋势，把路面的危险预测出来。但如果实地测试一下，会发现在白天不下雨的情况下，只有50%的概率是可用的，并且位置精度不够准确。
很多毫米波雷达厂商也开始发展垂直分辨率，但对于远距离探测路面10厘米高的物体情况，毫米波雷达的用处也不大。除非走的是成像毫米波雷达路线，但短期来看，业内还没有哪家的成像毫米波雷达能够实现量产。相反，我认为未来固态激光雷达完全有可能解决这方面的问题。
福瑞泰克内部也测试了一些固态激光雷达，用某个厂商的250线固态激光雷达，可以看到在80米范围内的一些石墩。如果是一个20厘米高左右的物体掉在地上，固态激光雷达未来完全有可能解决这个问题。但同时也还是要考虑固态激光雷达的量产时间、可靠性和成本，否则很多普通乘用车是装不起的。
接下来讲售后问题。什么样的产品称之为好用？不是说装车试验一下就行。通常情况下，ADAS产品的传感器安装是有误差的。根据福瑞泰克的工程经验，摄像头毫米波雷达在主机厂的初始安装误差在±2°。从生命周期来看，10年20多万公里的风吹日晒，产品内部的机械结构可能会发生老化变形，通常会有±1.5度的偏差，累计起来就是±3.5度的偏差。这是所有的ADAS产品装车之后可能出现的误差范围。如果想要做的比这个更好，那成本会更高。
另外，如果车上坐了人，传感器的pitch也会发生变化，特别是悬架比较高的车辆。某些车辆500千克的负载在车上，车的悬架会降低5厘米，最高可能导致5cm的相机安装高度变化。但如果相机算不出来，对车道线的检测精度肯定会不准。
0.5度的航向角偏差，可能会导致100米外的车辆横向距离相差0.87米。毫米波雷达纵向距离检测比较好，横向检测基本靠摄像头。如果横向位置偏差0.87米，有可能导致fusion的失效，或者ACC目标选择错误，这基本上是不能容忍的。
所以标定的算法得是动态的，不能只在出厂时标定一下。众所周知，相机本身的支架在生命周期内会老化，用户也有可能进行维修换件，那4S店的操作工人可能没有用激光把车轴对准就开始标定了，最后标定的距离有可能就会产生偏差。另外，相机雷达的外参比较好标的，但内参就比较难。在10年的生命周期内，镜头有可能发生热胀冷缩。以前有一句话叫内参不够外参来凑，这对窄角相机来说，畸变比较小还是可以的，但对于未来100度甚至以上广角的相机，内参如果变得太多，外参怎么样也弥补不好。所以不仅算法要好，工艺控制也要到位。
谈到标定算法，现在基本上市面所有产品，都能够实现根据车道线道路边缘的消失点来标出相机的俯仰角。 但在非结构化道路上，就不能通过车道线来标定，可能得根据光流的连续追踪，寻找消失点，从而计算标定角度。但大部分厂商对于翻滚角roll基本都是标不出来的。当然如果结构化道路好的话，算法做得好，在变道的过程中积累了一些case，翻滚角roll也能算出来。
但是最厉害的还是把相机高度给算出来，业界做的比较好的，可以通过引入车身传感器信号和画面的比对，把相机的高度给实时算出来。这是一个难点，但很多厂商已经开始这么做了。
讲完售后和标定问题，再来从测试和Corner case的角度讲一讲ADAS功能的需求是什么。从功能来看可以分为两大类，一类是安全类功能，另外一类是舒适性功能例如定速巡航这类。
安全类功能上，很多人关心的是在多少时速下AEB能刹停。但这不是首要考虑的问题，首要考虑的是AEB的误触发率，这是一个影响非常大的问题。通常来讲，要在保证误触发指标没有问题的基础上，每30万公里，Full Break误触发次数小于1，Half Break 误触发次数小于1.5之后，才能讨论正触发能力。
一般来说，在严格满足误触发概率的基础上，在自车40公里每小时的速度下，对前方的静止车辆能够刹停；如果自车的速度是60公里每小时，对前方车速为20公里每小时的车辆能够避免碰撞，就可以说是做的不错了。
类似自适应巡航的舒适类功能，首先要考虑的是驾驶员的感受。关于主观感受的比较好，也有一些评测机构定了一些标准：比如前车静止，自车能够在时速70的情况下缓慢跟停而AEB不触发；对切入的车辆，再自车车速30公里每小时，前车15公里每小时或者自车是65公里每小时，前车35公里每小时的情况下，能够缓慢车，而不需要驾驶员干扰；对于横向控制，一般车道居中能保证±20厘米就可以了。 过弯方面，一般时速100公里能够通过转弯半径250米的弯道，我们就认为这套系统比较好了。
当然，对于变道换道，一些评测标准大家都还在研究。
至于Corner case，可以来看看基本所有量产ADAS产品量产过程中都会遇到的Corner case。
第一个就是上桥下桥路面不平，很多相机在测试时候都假设路面是平的，一旦发生路面不平的，车道线要么检测不出来，要么就交叉到一起。这种情况下，是不是一定要把路面曲率预估出来？我觉得未必。如果功能策略做的好，过桥的时候把横向控制稍微缓一缓，或者干脆退出横向控制用户体验会改善。
第二个是车道线，在车道交汇处有这么多条线，车辆到底选择哪条线作为左车道。驶出匝道的时候，到底直线车道先被检测出来还是弯车道被检测出来，如果先检测到直线车道，方向盘就会晃一下，造成用户体验不好。说实话这跟深度学习没关系，基本上只能靠做测试，不停修改策略、打补丁才能做好。
第三是单雷达导致AEB误触发问题。虽然现在都是fusion系统，但过程中可能会发生ACC减速的情况。怎么样通过雷达的反射把尽量把ACC做的更舒服一点，也是很大的工程经验。未来毫米波雷达厂商可能会推出垂直分辨率的毫米波雷达，这个问题自然而然也就能解决了。
最后一个是进出隧道的场景，虽然车载相机一般都有120dB的动态范围，但这到底够不够？我们也在一些调好曝光、极限的场景做过测试。通常来讲，很少真的因为过曝或者欠曝导致没有办法产生对比度的情况。摄像头成像要给深度学习或者给视觉算法用，sensor
出来的raw图像，得经过ISP的色彩还原和tune mapping等处理，通常才能给CNN使用。这个过程如果有任何一个过程做得不好，最后还是检测不出来，这也是工程能力的一个体现。
最后总结一下，到底怎样才能做一个好用的ADAS产品？
从福瑞泰克的角度，我们认为有几个方面：一是感知能力要全面且要精准。 二是传感器融合。视觉还是有局限性的，如果不做融合，如果在下大雨的场景下，视觉是没有毫米波雷达可靠的，所以多传感器融合也一大趋势。
第三，作为一个好用的ADAS产品，不仅传感器要能够好，融合策略够好，整车控制也要做得好。因为ADAS毕竟作为整车的一个功能，如果车辆的执行器不好，最终带来的用户体验还是不够好。
第四，产品要稳定可靠，保证在10年25万公里的生命周期内，传感器的感知维持一致。如果在某些场景出现失效，超出了算法认识的范围，一定要有能力让用户知道该进行维修了，同时将详细的故障内容记录下来，让用户及更换。
另外，要下苦功夫进行充分测试。国内的产品就得在中国的所有道场景下，都得有充分的测试案例数据。
最后是人机交互，在未来功能越来越复杂的情况下，如何通过一个人机交互界面，在AEB这些发生之前给用户一两秒钟的反应时间，都能极大改善用户体验。
综上所述，这些都是一个好用的ADAS产品需要考虑的范围。
福瑞泰克定位为一家“立足中国本土”的ADAS系统和解决方案供应商，公司成立至今超过3年多的时间，我们的第一代的摄像头产品已经在乘用车和商用车上实现了量产，包括实现 ACC、AEB、LKA、TJA等多种L2功能。
针对新一代的法规需求，我们正在开发新的产品，完全满足2021年法规的需求。新一代的摄像头产品采用了3mega BSI技术的COMOS Sensor，同时配合一个100°广角摄像头，完成支持C-NCAP2021的法规技术。
在LKA以及TJA等功能上，对于车道线不清晰以及没有车道线的道路边缘，福瑞泰克的新一代产品也能够识别并通过控制方向盘响应，提升用户感受。
（雷锋网） 雷锋网
正在生成分享图...
nebula