自动驾驶之眼——摄像头是如何认识交通标识的？

雷锋网按：本文作者史高拔，汽车电子工程师，供职于国内某汽车技术中心，从事汽车智能网联技术研发。本文由雷锋网独家发布。

近日，自动驾驶领域的明星公司Mobileye发布了2016年的财报。依靠在ADAS视觉解决方案的飞速增长，mobileye2016年总收入为3.582亿美元，同比增长48.7%； 净收益1.084亿美元，同比增58.3%。其提供的“单目摄像头+视觉处理芯片+图像识别算法”的自动驾驶综合解决方案被誉为“自动驾驶汽车的眼睛”，这项技术使Mobileye在这一领域保持着70%以上的市场份额，基本成为了自动驾驶汽车的标配。

↑ mobileye已成为自动驾驶摄像头领域的绝对霸主

摄像头在自动驾驶中有着举足轻重的地位，就像人的眼睛一样，摄像头结合图像识别技术，能快速识别车辆、行人和交通标志，可以给现阶段的自动驾驶技术提供足够的环境感知保障。那这颗装在前挡风玻璃上的摄像头到底是如何工作的？让我们从交通标志识别这一应用场景入手，来一探图像识别技术的奥秘。

一、交通标志的易识别特性

由于交通标志采用特定的文字、图形和符号，在一定范围内具有标准、醒目、信息明确的特性，一直是图像识别技术在交通领域应用的首选。从图像识别技术诞生之日起，交通标志识别的算法和模型就一直受到广泛的关注，也让这一技术发展相对成熟，并应用到自动驾驶领域中来。

↑ 交通标志识别技术

我国的交通标志一共有一百余种，按类别可分为黄底黑边的警告标志、白底红圈的禁令标志、蓝底白字的指示标志，形状上以三角形、圆形和矩形为主。明确的形状和颜色区分、有限的标志数量，都为图像识别提供了一个相对稳定的应用环境。

↑ 我国的交通标志

二、交通标志识别技术的原理

利用图像识别技术的交通标志识别系统一般分为以下几个工作步骤：

↑图像识别的步骤

1. 图像预处理：

在实际的交通场景中，由于运动抖动、自然光、天气条件等各种因素的影响，不可避免的会在采集的图像中引入一定程度的干扰和噪声，所以首先需要将这些不利因素消除，对采集到的图像进行一些预处理。通过图像均衡、图像增强和图像去噪等算法，将图像的光线均衡，突出关键信息。这一步基本和美图秀秀中的那些工具类似，都是将图像变得清晰、易辨认。

↑ 对图像进行预处理，去除噪声、提高亮度和对比度

2. 交通标志分割：

预处理后的图像仍然包含很多信息，交通标志在其中只有很小的一个区域，为了减小处理的数据量，加快处理速度，一般都会先将交通标志的区域检测出来，再去判断这个区域中的交通标志的具体含义。交通标志在颜色和形状上都有一定的特殊性，并可按照下图进行一定程度的分类，所以一般通过这两个特征去检测交通标志。

↑交通标志按颜色和形状分类

• 颜色分割：

颜色按照国际标准可划分为RGB、HSV、HSI等颜色空间，并进行量化分析，以RGB空间为例，将颜色按照红色、绿色、蓝色三种颜色进行分割，通过给定交通标志牌中常用的蓝色、黄色、红色的色度坐标范围，即可过滤掉与之不相关的颜色信息，快速检测到交通标志牌。

↑通过RGB色彩空间处理，快速定位红色区域

• 形状分割：

仅仅检测颜色显然又是不够的，由于光照、背景色的影响和干扰，还需要在颜色检测结果的基础上对相应区域进行形状检测。交通标志具有边缘清晰、形状简单易辨认的特点。这些特征在排除颜色影响后的灰度图像中更加明显，因此通过一定的边缘检测算子去判断图像像素中出现的灰度阶跃变化，一般就能较为准确的检测出交通标志的形状和轮廓特征。

↑对检测区域进行灰度处理，再通过灰度阶跃检测其形状边界

3. 交通标志特征提取

在图像检测完成以后，图像中基本就只剩下了交通标志的关键信息，这些信息简单直观，但计算机依然不会知道这些信息的具体含义，这时候需要再进一步对这些图像特征进行提取和比对，才能对具体的信息进行识别。

图像的关键特征，是识别具体信息的关键因素，特征的好坏直接决定了识别的准确度。一般说来这些关键特征需要具有可区分性、简约性和抗干扰等几个要素，可区分性即不同标志的特征要具有足够的差异性，简约性是在保证可区分性的前提下用尽量少的数据表示图像特征，这可以保证检测的速度和效率，抗干扰度即图像特征信息要保证尽量少的会被噪声、自然光和图像畸变影响。

在交通标志识别上，一般会提取颜色特征、线条变化特征、矩特征、灰度直方图统计特征等等，并会在事先维护一个足够样本数量的特征库，包含现有交通标志的图像特征信息。在识别的时候将采集到的图像的特征提取出来与数据库中的条件进行比对，即可判断出该交通标志的实际意义。

4. 识别结果匹配

目前有多种方法实现图像特征与特征库数据的比对，最为简单直接的方式是模板匹配：即在特征库中将不同交通标志的特征参数规定为某些特定的参数，当所采集图像的特征参数在某个范围内，就判断是这个交通标志信息。但由于图像在采集的时候难免发生形状畸变、颜色失真等误差，在实际使用场景中用模板匹配来识别的成功率和准确度并不是特别高，即便优化了图像处理算法，也还有很多局限。

↑ 通过匹配特征库信息识别标志

近些年机器学习技术的发展，让图像识别也有了很大的变化，通过设定一些简单的判断条件，并在特征库中加入各种形态和场景下的学习样本，让系统不断加深交通标志识别的认知和识别概率。机器学习让识别不再依靠具体固定的参数，而是通过一系列的条件判断让系统找到概率最大的目标，以此提升识别的准确度和灵活性。这一技术在目前成为研究的热点，并有效提高了图像识别的准确率。

↑ 机器学习在图像识别中的应用

三、总结

交通标志识别是图像识别技术在自动驾驶领域较为成功的应用，其情景相对简单固定，识别准确度和成功率都让人满意。现在自动驾驶中摄像头识别车辆、行人、自行车、车道线等其他目标的工作原理基本和交通标志识别类似，只是针对不同的对象所用的的算法和模型也会进行一定的调整和优化，并维护一个更为多样的样本学习库。Mobileye在自动驾驶摄像头领域已经耕耘了17年，其算法集成优化、样本库丰富度、识别精确度都处于绝对领先，也为自动驾驶的普及带来了巨大的福音。

↑图像识别技术在自动驾驶中的应用

利用摄像头进行自动驾驶图像识别已经在部分量产车中应用，但也依然需要面对很多困难和挑战，例如图像信息处理数据量大、实际场景情况复杂、世界各地交通标志不统一等等，在实际使用中也出现了像特斯拉无法识别大货车这样的事故和问题，实际的交通场景中，参与对象太多太杂，要依靠一个摄像头去解决所有问题显然是不现实的。也正是为此，目前业界出现了很多新的技术：英伟达图像理平台、V2X、双目摄像头等等，这些新技术的应用给自动驾驶带来了更多新的可能性，自动驾驶系统也将越来越完善。