激光雷达、摄像头加持也没辙，3D打印就能恶意攻击L4自动驾驶汽车！

加州大学尔湾分校自动驾驶系统

作者：我在思考中

2021/08/16 15:00

AI科技评论报道

编辑 | 陈大鑫

这年头自动驾驶还安全吗？

想必大家懂得都懂

......

那难道目前业界就没有一个很好的安全防范措施吗？

或许是有的，比如目前 L4 自动驾驶里用的最广泛的用来提高系统鲁棒性的多传感器融合感知（Multi-Sensor Fusion based Perception）技术，即融合不同的感知源，比如激光雷达（LiDAR）和摄像头（camera），从而实现准确并且鲁棒的感知。

然而最近来自加州大学尔湾分校（UC Irvine）的一个专攻自动驾驶和智能交通的安全研究团队，在实验研究了「工业级L4自动驾驶系统里的感知模块的安全」之后，发现，多传感器融合感知技术存在一个安全漏洞，使得攻击者可以3D打印出一个恶意的3D障碍物。

图注: 3D打印出来的恶意障碍物

只需把 3D 障碍物放在道路中间，就能让自动驾驶车辆的 Camera 和LiDAR机器学习检测模型都识别不到，从而从根本上绕过多传感器融合感知模块让其识别不到这个障碍物并且撞上去，造成严重交通危害。

OMG！这实在是太危险⚠️了！

这项研究工作在今年已经正式发表在 IEEE S&P 2021（计算机安全四大顶会之一）。

论文链接：https://arxiv.org/abs/2106.09249

研究工作概览和亮点

现如今 L4 自动驾驶系统正在被逐渐商业化。百度已经在北京、长沙和沧州开始大规模测试无人驾驶出租车，百度获得加州全无人驾驶测试许可，Waymo 甚至已经开始在美国凤凰城测试不需要安全驾驶员的完全自动驾驶出租车。

在自动驾驶系统里，「感知」实时周围物体，是所有重要驾驶决策的最基本前提。感知模块负责实时检测路上的障碍物，比如：周围车辆，行人，交通锥（雪糕筒）等等，从而避免发生一些交通事故。

因为感知模块对无人车安全的重要性，商业高级别（L4）无人车系统普遍采用多传感器融合的设计，即融合不同的感知源，比如 激光雷达（LiDAR）和摄像头（camera），从而实现准确并且鲁棒的感知。

在这样的设计中，根据「并非所有感知源都同时被攻击（或可以被攻击）」这一假设，总是存在一种可能的多传感器融合算法，可以依靠未被攻击的源来检测或防止单感知源攻击。这个基本的安全设计假设在一般情况下是成立的，因此多传感器融合通常被认为是针对现有无人车感知攻击（单感知源攻击）的有效防御策略。

然而研究者发现，在识别现实世界中，这种多传感器融合的障碍物感知存在漏洞。通过这个漏洞，研究者可以同时攻击不同的感知源，或者攻击单个感知源（只有LiDAR或者camera的检测），使得无人车无法成功检测前面的障碍物并直接撞上去。

在这项工作中，研究者首次对当今无人车系统中基于多传感器融合的感知进行了安全分析。研究者直接挑战了上述基本的安全设计假设，证明了「同时攻击自动驾驶多传感器融合感知中所有感知源」的可能性。

这使研究者第一次具体了解到使用多传感器融合作为无人车感知的一般防御策略能提供多少安全保障！

具体来说，研究者发现恶意3D障碍物可以被用作针对基于多传感器融合的无人车感知的攻击载体，同时具有隐蔽和物理上可实现的特点。研究者的关键发现是，3D障碍物的不同形状可以同时导致 LiDAR 点云中的点位置变化和camera图像中的像素值变化。

因此，攻击者可以利用形状操作，同时向 camera 和 LiDAR 引入输入扰动。

这样的攻击载体还有另外两个优点：

(1) 它很容易在物理世界中实现和部署。例如，攻击者可以利用3D建模构建这类障碍物，并进行3D打印。目前市面上有很多在线3D打印服务，攻击者甚至不需要拥有3D打印设备。

(2) 它可以通过模仿能合法出现在道路上的正常交通障碍物，如交通锥或障碍物（如石头），并伪装为比较常见的磨损或破损的外观，实现高度隐蔽性（如图1）。

图1：生活中比较常见的磨损或形状破损的交通物体和看起来比较奇怪的石头

为了使其既容易部署又能造成严重的碰撞，攻击者可以选择较小的障碍物，如岩石或交通锥，但用花岗岩甚至金属填充，使其更硬更重。例如，一块0.5立方米的石头或一个1米高的交通锥，里面填充一些铝，很容易超过100公斤，如果汽车在高速行驶时撞到，有底盘损坏、撞碎挡风玻璃甚至失去控制的风险。

另外，攻击者还可以利用某些道路障碍物的功能（如交通锥作为标识的功能）。例如，攻击者可以设计一种仅针对无人车的攻击，将钉子或玻璃碎片放在生成的恶意交通锥障碍物后面，这样，人类驾驶员能够正常识别交通锥并绕行，而无人车则会忽视交通锥然后爆胎。在这里，安全损害并不是需要由碰撞交通锥体本身造成的，因此在这种情况下，恶意的交通锥体可以像普通交通锥体一样小而轻，以使其更容易3D打印、携带和部署。

2

MSF-ADV 攻击

为了评估这一漏洞的严重性，研究者设计了 MSF-ADV 攻击，它可以在给定的基于多传感器融合的无人车感知算法中自动生成上述的恶意的3D障碍，研究者提出创新性的设计提升攻击的有效性、鲁棒性、隐蔽性和现实生活中的可实现性（如图2）。

研究者选择了3种障碍物类型（交通锥、玩具车和长椅）进行测试，并在真实世界的驾驶数据上进行评估。研究者的结果显示，在不同的障碍物类型和多传感器融合算法中，研究者的攻击实现了 >=91%的成功率。

研究者还发现，研究者的攻击是：

（1）基于用户研究，从驾驶者的角度看是隐蔽的；

（2）对不同的被攻击车的位置和角度具有鲁棒性，平均成功率>95%；

（3）制作出来的恶意的3D障碍物可以有效转移并用于攻击其他MSF算法，平均转移攻击成功率约75%。

基于优化的恶意的3D物体生成概述

如下图所示，给到一个初始化的良性的3D障碍物（如交通锥），首先要对其做一些鲁棒的变换，然后和目标道路的照片和点云一起输入到渲染模块。在这个模块里，可以利用可导的渲染技术，将3D障碍物渲染到照片和点云里。

该模块的目的是为了实现模拟现实环境中摆放3D障碍物，并获取传感器数据。然后这些数据会输入到特征提取模块来提取相应的特征，再把这些特征输入到相对应的神经网络。

根据神经网络的输出设计目标函数，即降低3D障碍物在网络中的置信度，从而达到让物体消失的目的。同时本文还有一些隐蔽性和物理可实现性的设计，最终我们可以根据梯度来更新这个3D障碍物从而生成恶意的3D障碍物。

图2：基于优化的恶意的3D物体生成概述

实验评估与攻击演示

为了了解攻击在物理世界中的可实现性和严重性，研究者3D打印了生成的恶意障碍物（下图3所示），并在使用了多传感器融合感知得真车上进行评估。

图3: 3D打印出来的恶意障碍物

下图4 是研究者使用的装配了LiDAR和 camera 的测试车辆。研究者发现恶意的障碍物可以在总共108个传感器帧中的107帧中（99.1%）成功躲过多传感器融合的检测。

图4: 安装LiDAR和camera的真车设置和检测结果

攻击演示视频：

在一个微缩模型的实验环境中（下图5所示），研究者发现研究者的恶意的障碍物在不同的随机抽样位置有85-90%的成功率逃避多传感器融合感知的检测，而且这种有效性可以转移。

图5: 微缩模型的实验环境和检测结果

攻击演示视频：

为了了解端到端的安全影响，研究者使用产品级的无人车模拟器LGSVL进一步评估MSF-ADV（图6）。

在100次运行中，研究者的恶意的交通锥对Apollo的无人车造成100%的车辆碰撞率，相比之下，正常交通锥体的碰撞率为0%。

图6: Apollo 和 LGSVL 在端到端攻击评估的截图

攻击演示视频：

3

多传感器融合不是自动驾驶安全的万全之策

本文研究的一个比较大的贡献是让大家意识到多传感器融合感知同样存在安全问题。很多前人工作事实上把多传感器融合当做对于单个传感器攻击的有效防御手段，但是之前却并没有文章去系统性的探究这一点。

研究者的工作填补了这一个关键的知识空白，证明其实并不完全是这么一回事。研究者生成的3D恶意的障碍物可以让多传感器融合感知系统失效，从而导致无人车撞到这种物体上并造成交通事故。

研究者认为比较切实可行的防御手段是去融合更多的感知源，比如说更多的不同位置的camera和LiDAR，或者考虑加入RADAR。但是这不能从根本上防御MSF-ADV，只能是说让MSF-ADV生成过程更加困难。

研究者已经就这个漏洞联系了31家自动驾驶公司，同时建议它们应用这些缓解手段。研究者觉得不论是研究者还是自动驾驶公司都需要投多更多精力去系统性地探究自动驾驶里的的安全问题。

4

常见问题与解答

AI科技评论：为了实现同样的攻击目标，为什么攻击者不能直接向无人车扔石头或者直接在无人车前面放钉子或玻璃碎片？

研究者是计算机安全研究人员，所以研究者的目标是研究特定于计算机技术（在研究者的例子中指的是自动驾驶）的安全漏洞。研究者的最终目标是在计算机技术层面修复它们。

扔石头、放钉子或玻璃碎片并不是针对于无人驾驶这种特定技术的攻击，非无人驾驶车辆也会受到损害，同时这样的研究也无助于暴露出无人驾驶技术中的安全隐患相比之下，研究者的恶意的障碍物可以被人眼正确识别出来，但无人车系统却无法正确识别，这个才是研究者需要研究的技术问题。

通过发现和解决此类问题，无人车技术可以更好地接近人类驾驶的水平和性能，从而实现无人车技术的最终目标：代替人类驾驶。

AI科技评论：一般车上都有的紧急刹车系统可以防御这种攻击吗？

紧急刹车系统可以减轻它的的风险，但既不能完全防止此类攻击，也不能消除防御攻击的需要。首先，无人车系统必须设计为能够自行处理尽可能多的安全隐患，而不是完全依赖紧急刹车系统。紧急刹车系统仅设计为紧急情况或者备用安全保护措施；它永远也不应该用来代替无人车警觉性。就像司机驾驶一样，没有人完全依赖紧急刹车系统来确保安全；

研究者必须始终保持谨慎并尽可能的主动做出安全决策，然后仅依靠紧急刹车系统作为在极端情况下尽力而为的后备保护。因此，研究者必须要想办法在无人车系统级别上解决这种漏洞。

其次，现如今的无人刹车系统本身际上远非完美，并且可能具有很高的漏报率。例如，AAA 报告称，很多车（例如雪佛兰迈锐宝、本田雅阁、特斯拉 Model 3 和丰田凯美瑞）的紧急刹车系统故障率为 60%。此外，即使无人车的紧急刹车系统能够成功紧急停车，但是也无法避免无人车被后面的车追尾。

AI科技评论：研究者有对无人车公司进行漏洞报告吗？他们是怎么答复的？

截至 2021 年 5 月 18 日，研究者对 31 家开发或者测试无人车的公司进行了漏洞报告，其中 19 家（约 61%）已经回复了研究者。

根据答复，大多数公司目前都在调查它们是否会受到影响以及受到的影响程度。有些公司已经与研究者开会讨论他们的调查。

5

研究者介绍

本次研究作者团队，来自加州大学尔湾分校、密西根大学安娜堡分校，亚利桑那州立大学，伊利诺伊大学厄巴纳-香槟分校，英伟达 Research，中国百度深度学习技术与应用研究和国家工程实验室，嬴彻科技，一共有9名研究人员。

四位同等贡献第一作者来自加州大学尔湾分校，密西根大学安娜堡分校，亚利桑那州立大学和英伟达Research，分别是 Ningfei Wang, Yulong Cao, Chaowei Xiao 和 Dawei Yang。三位教授分别是 Qi Alfred Chen, Mingyan Liu, Bo Li。以及两位来自于百度和嬴彻科技的研究人员，分别是 Jin Fang 和 Ruigang Yang。

激光雷达、摄像头加持也没辙，3D打印就能恶意攻击L4自动驾驶汽车！

2MSF-ADV 攻击

3多传感器融合不是自动驾驶安全的万全之策

4常见问题与解答

5研究者介绍

相关材料