在ADAS和自动驾驶中，车载视觉系统使用的长处和短处

雷锋网按：本文作者朱玉龙， 汽车行业工程师。朱校长每天分享一篇业界文章，内容虽短，亦是一种认真探讨后的分享，希望对汽车从业者们有所帮助。

接上篇文章《聊一聊电动汽车的消防灭火》，本文主要探讨现在的ADAS和未来的自动驾驶，在使用视觉系统作为环境入口的长处、短处和需要克服的难点。 

| 视觉系统的长处和必要性

视觉系统在车道线识别LDW、信号灯识别TSR、行人识别里面作为必要手段。其中AEB里面的行人识别将会对视觉系统提出更高的要求。

备注：

• 车道线识别和居中，可以与高精度地图和定位居中互补

• TSR可以与V2I的通信进行互补

• 行人识别是真的很难，靠多线Lidar代价太高

• 视觉系统的核心优势在“人”和物体的区分，是优先级的区分
  

• 视觉系统分辨率远远高于其他类型的传感器=》提供道路环境的细节=》建立完整的环境模型
  

• 视觉系统可识别物体的形状和外观=》读取外部信息

  

这里重点拿V2I来说下，理论上，在一个完整的V2X的世界里面，是完全可以用互联互通与视觉系统进行完美互补的。

今天交流一圈下来，网联难免有理想化的成分，把两个完美的融合在一起，本身需要大量的心力，你不做你是不知道那么多的。

当然，视觉还有大杀器，基于视频流，通过环视建立外部环境模型。

1）E2E DNN

2）分层DNN学习

这个方向就需要大量的运算能力，通过各个层级进行学习，从新司机到老司机的过程……

在产业初期，建立一个完备的驾驶行为学习机制，也需要内部的视觉系统进行记录和比对。

人脸看眼神分没分心需要记录

• 选配：方向盘操作需要记录（这个也可以传感器记录）

• 选配：油门和刹车操作（这个也可以通过传感器记录）

本质上这种其实是一种学习模式，建立模型之后对比和学习。

| 视觉系统的短处和难点

概括来说，系统的面临的问题包括，以下有些能解决，有些能改善，有些则没办法，外部的基本可以做个归类

1、干扰和限制比较多

1）隧道口车辆与隧道重影

2）正面强光炫目

3）Camera前方的水滴

• 挡风玻璃外雾、雪、灰尘、粉尘或霜附着、

• 挡风玻璃内凝露水滴或灰尘

4）各种奇怪的车型

2、环境的影响比较大

• 恶劣天气（如暴雨，暴风雪或浓雾）

• 能见度差，雾霾，烟或水蒸汽
  

• 雨天道路车辆倒影

• 环境照度比较低（黑夜&隧道）+前车无灯

3、外部环境车辆和车道线、标识的情况

• 车辆倾斜和不同的角度场景

• 掉色的车道线、在雨雪覆盖下难以辨识的车道线可能无法识别

• 前车覆雪，使得车辆颜色均匀

• 路面在坡度比较倾斜的地方
  

其他，还有个有趣的事情，是以下两个案子。

这个图像反了。

这个来自系统外，系统用刹车灯开关来采集人介入刹车，奈何开关失效自动把系统关了

camera内部及camera处理芯片的失效问题后面找资料展开。

| 小结

1）视觉系统的软硬件提升好快，很多东西需要持续更新

2）V2X我觉得我们单独可以拿出来好好对比一下，明天我们再来仔细看看，如何在系统中看待这两个东西

雷锋网注：本文为作者系列更新文章，转载请联系授权并注明出处和作者，不得删减内容。