雷锋网新智驾按：从6月开始，新智驾联合雷锋网 · AI慕课学院、网易云课堂企业版举办了智能驾驶系列讲座，邀请业界、学界顶尖专家一起分享关于自动驾驶现在与未来的多样见解。6月13日，清华大学计算机系教授，博士生导师邓志东用一个半小时为自动驾驶从业者们讲解了《“未来汽车”大讲堂第一期：构建自动驾驶的关键》，雷锋网新智驾对课程内容进行了整理，并做了不改变原意的调整。
嘉宾介绍
邓志东，清华大学计算机系教授，博士生导师。现为中国自动化学会理事，中国自动化学会智能自动化专业委员会主任。曾任国家 863 计划智能机器人主题专家组组长助理（1998-2001）。主持8年国家级无人驾驶项目，为国内包括腾讯自动驾驶实验室在内的顶尖团队输送培养大量人才。
自 2009 年开始，在国家自然科学基金重大研究计划重点项目「无人驾驶车辆人工认知关键技术与集成验证平台」和培育项目「面向城区综合环境的无人驾驶车辆关键技术及试验样车研发」的资助下，近 8 年的时间内，邓志东教授主持研发了三辆具有自然环境感知与自主决策能力的无人驾驶汽车，即 THU-IV1 原理性实验样车、THU-IV2 技术验证样车和 THU-IV3 全线控试验样车。
目前的研究方向包括：人工智能、深度神经网络、计算神经科学，先进机器人、无人驾驶汽车等。曾从事的研究领域：虚拟现实（1998－2001）、无线传感器网络（2001－2009）、计算生物学（2002－2010）。
在自动驾驶发展的初期，比较典型的事件是美国 DARPA 资助的 Grand Challenge（2004、2005），Urban Challenge （2007） 以及意大利帕尔马大学的新丝绸之路（2010）。
从2009年上路以来，Google Waymo 已经安全自主行驶了超过300多万英里（483公里），人工干预次数仅为1.25次/万公里。
2011年，德国柏林自由大学的 MIG 无人驾驶汽车在城区里自主行驶了20公里，经过了46个交通灯，两处环岛，全程无干预安全地回到了目的地。
2013年，意大利帕尔马大学的自主车 BRAiVE，在帕尔马城区自主行驶，顺利通过单向双车道等狭窄的城郊道路，其间涉及行人横穿马路、交通灯、人工凸起路面、行人区、急转弯等，同时实现全程无人工干预。
在国内，2009年开始，国家自然科学基金委员会启动了“视听觉信息的认知计算”重大研究计划，并且连续举办了八届“中国智能车未来挑战赛”，对中国无人驾驶汽车研发水平的提高起到了很大推动作用。这是中国的追跑阶段，国内很多高校和研究单位参与了这个计划。8年的时间里，发生了很大变化，被视为中国智能车发展的里程碑。
2016年，百度的18辆“云骁”无人车亮相乌镇子夜路，在开放的城区道路上行驶了3.16公里。百度称其为 NHTSA L4 级别的完全自动驾驶汽车。
总的来说，这一时期是科研主导的时期，不考虑成本，（一台车的成本可能要二百多万、三百多万）只要求走通技术路径，但在第二幕整个情况就不同了。
第二幕是以市场为主导、企业为主体来推动自动驾驶发展的，必须考虑设备成本、落地实践、商业模式的因素，这其中有三个重要组成：
新车企：特斯拉、蔚来、奇点、小鹏、乐视、车和家等
老车企：福特、雷诺-日产、戴姆勒、大众、宝马，国内的长安、奇瑞、长城、北汽、比亚迪等
跨界科技企业：Google Waymo，Uber，Apple，百度，腾讯，华为等巨头；初创企业如驭势科技、智行者、地平线、图森、商汤科技等
所谓新“四化”，即电动化、信息化、智能化、共享化。
1. 电动化
德国政府已经宣布，2030年后将禁止内燃机车上路；2016年10月8日，国务院常务会议决定，中国原则上不再核准新建传统燃油汽车生产企业。
2. 信息化
信息化包括数字化或软件化，以及（内部）总线化或（外部）网联化，它是智能化的基础和条件，很多新能源汽车都实现了网联化，OTA 和软件定义升级现在都开始成为标配。
3. 智能化
智能化就是我们今天正在做的事情——自动驾驶或者无人驾驶。
目前来看，这个方向有两种选择，一个是基于视觉主导的方案，主要利用人工智能、大数据驱动，以单目视觉为主，典型代表是特斯拉。因为第二幕已经不是视觉路径走通就可以了，还要追求低成本、高可靠度，真正实现商业落地，而要实现这些也只能以企业为主体，由市场来主导。另一种方案是以激光雷达为主导，典型代表是 Google Waymo。
4. 共享化
共享无人驾驶和智能增值服务是眼下汽车产业发展的终极目标。共享无人驾驶汽车作为智能移动终端或智能网联的一个节点，将推动共享经济和智慧城市的发展，从根本上颠覆人类的出行方式。
汽车的空间更大，承载能力更强，可以产生并实现对大数据的需求、能够提供更加多样化的增值服务，它将成为比智能手机更大的移动终端，并且形成一个共享网联，从而驱动形成一个无人驾驶生态。无人车将使安全、共享、绿色和节能发挥到最大化。
更安全
人类80%的车祸都跟情绪波动、疲劳驾驶、酒后驾驶有关，自动驾驶就降低了这方面的危险，事故发生频率可以从10万公里一次大幅减少到1000万公里一次。
去年特斯拉的两次事故，让很多人对无人驾驶的安全产生了顾虑，但是根据世界卫生组织（WHO）的数据，全世界每年车祸致死的人数有125万，平均每天就有3425人在车祸中丧生。从这个数据来看，无人驾驶汽车无疑是更加安全的。
汽车共享
无人车可使城市汽车保有量降低到目前的5%-10%，可从根本上解决交通拥堵等问题。
普遍采用新能源，更加环保
可以优化无人车的调度与全局路径，从而节省能源消耗
自动驾驶的产业化步伐正不断加快，很多人将2021年作为自动驾驶的产业元年。典型的例子是特斯拉的 Autopilot 2.0。
目前，特斯拉所有量产新车都可安装“具有完全自动驾驶功能”的硬件系统 Auopilot 2.0，并能通过 OTA 进行 ECU 软件升级，自动驾驶功能从 L2 直接跳跃到 L4 及其以上。这一点能不能成为现实，今年年底就可观察到部分结果——马斯克宣称2017年年底之前特斯拉将以完全自动驾驶模式从洛杉矶开往纽约，包括最为困难的出城、入城，并且4500公里全程无干预。
现在也有很多企业在进行公开路测。2016年8月25日，nuTonomy 在新加坡推出了全球首台无人驾驶出租车免费载客服务，但范围限定在2.5平方英里的商业住宅区内；9月14号，Uber 在匹兹堡市区推出了大范围无人驾驶出租车免费载客服务。而Google Waymo、沃尔沃、福特、宝马、百度、英特尔等全球20家企业均已宣称，4年后的2021年将会是无人驾驶汽车元年，部分 SAE L4 将实现量产。
同时，产业竞争也在不断加剧。这里有两个主要指标，一个是基于大数据的自动驾驶里程数，一个是千英里内的人工干预频率。去年，美国加州车辆管理局公布了几家车企的数据，排名第一的是 Google Waymo，其自动驾驶行驶里程是300万英里，干预数为0.2次/千英里。第二名通用的 Cruise 是18.5次/千英里。
美国一个杂志刚刚公布了一个排名，它将全球的自动驾驶企业分为三个梯队，并从技术、人才、商业模式三个维度进行打分，每个维度5分，满分15分。第一梯队有 Google Waymo，它的技术是满分，人才是4.5分，商业模式仅3.5分；紧跟其后的是Uber，Uber虽然技术做的不是很好，但商业模式是最好的，为满分5分，它已经在匹兹堡整个城区推出了无人驾驶免费载客服务；第三、第四分别是戴姆勒和德尔福。
1. 活跃的人工智能初创企业。包括 Zoox，drive.ai，被通用收购的 Cruise Automation，Comma.ai，日本的 Preferred Network，ZMP 等。
2. 雄心勃勃的新车企。比如特斯拉，经过半年的努力，近期已经顺利完成了将路测数据从 Mobileye 过渡到运行于 Nvidia Drive PX2 上的 Tesla Vision 软件系统上，并已于今年3月底发布了 Autopilot 8.1 软件升级。
特斯拉是离商业化更近的。首先它本身是新能源车企；其次，它有OTA，可以进行软件升级；第三，它拥有的大数据也是世界上最丰富的（有超过3亿英里的路测数据）；最后，它所有的硬件都已经成为量产车的标配。因此，只要将每一个已完成的自动驾驶功能进行严格路测，成熟一个，就可以完成一个 OTA 软件升级。
3. 加速发力的跨界科技巨头。比如 Google 去年将自动驾驶部门分拆成立了Google Waymo ，通过建立团队独自研发，激光雷达成本削减了90%以上，现在差不多在7000美金左右，量产之后，相信这个成本还会更低。Waymo 现在已经在美国凤凰城地区对500辆克莱斯勒 Pacifia MPV 插电式混合动力无人驾驶汽车进行了社会公测，这也被视为其商业化落地的前奏。此外，百度推出了阿波罗计划，计划对自动驾驶代码进行开源；还有英伟达的 Xavier 开源计划，它与丰田合作，计划今年7月开放 Xavier 平台入口，到9月份实现完全开源。
4. 仍具优势的传统车企。如福特、通用、雷诺日产、戴姆勒、大众、宝马等传统车企都加速了自动驾驶汽车产品的研发与测试进程，国内如长安、奇瑞、长城、北汽、比亚迪等，也都在积极开发自己的自动驾驶汽车技术。
这是自动驾驶的第二幕。我相信 SAE L4 自动驾驶时代很可能在2021年前后就会到来，但其功能与区域并非一步到位，而是会逐步迭代。
一. 技术上的挑战
这里面主要有两个困难：如何从 L2 跨越到 L3？如何从 L3 跨越到 L4？分别考虑对极端环境的感知和对紧急情况的预判决策。衡量产业化落地则有两个主要指标，分别是自动驾驶的大数据行驶里程数和每万公里的人工干预次数。
二. 应用场景和商业模式的选择，包括低速和高速的选择
自动驾驶有两个分级标准，一个是比较老的美国高速公路交通安全局的分级，将自动驾驶水平分为 L0 ，L1，L2，L3到 L4；另一个是美国汽车工程师协会（SAE）的分级，从 L0 到 L5 。
SAE L0-L5 六级其实可以归纳为三个阶段，第一个阶段叫做辅助与半自动驾驶，包括L0和L1。L0就是我们现在完全由人开车的状态，只不过可以前装或后装告警式的开环 ADAS，如 LDW，FCW，BSD 等；L1则是一个有单项闭环的 ADAS，如 ACC，AEB，LKS，IPAS 等；
第二个阶段就是自动驾驶第一幕所能达到的阶段，属于过渡期的无人驾驶，包括 L2 和 L3。如果不考虑成本的话，现在已经普遍达到了这个阶段。L2 需要安全驾驶员和监控驾驶员在无人车里面，安全驾驶员主要负责行车环境的感知监控，手不离开方向盘，以便对极端环境进行感知与认知干预，L2也被称为部分自动驾驶。L3 则把感知干预全部取消了，仅对紧急情况的出现进行预判决策及认知干预，属于有条件的自动驾驶。
第三阶段是真正的无人驾驶，包括 L4 和 L5。L4 为无任何人类驾驶员，但限定区域或功能。换句话说，即使是在极端环境与对紧急情况，均不存在人的接管或干预问题，属于高度自动驾驶。L5 则与人类驾驶无异，是全区域和全功能的。同样地，即使是在极端环境与对紧急情况，也均不存在人的接管或干预，并且已没有方向盘、踏板和后视镜，属于完全自动驾驶。
1. 应用场景和商业模式的选择
低速L4的自动驾驶，就是在相对封闭的环境中，比如景区、港口、机场、开发区等空旷且交通流稀疏的区域进行的固定线路自动行驶的落地实践，包括摆渡车和游览车等，这部分应主要关注的是商业模式。在开放环境下实现全城区的 L2 到 L4 的技术跨越，就已经不仅仅是商业模式，主要还是要看技术上的突破。总的来说，低速追求商业模式，高速则涉及高可靠、低成本技术路线的选择，技术的挑战性要大得多。
2. 困难与挑战
首先，L2 到 L3 如何跨越？人在开车时，对周边道路环境是有理解的，看到的目标不仅仅是一个检测、分类与识别的结果，而且还是有语义的，是有内涵和外延的。人工智能如果在语义理解方面不实现技术突破，就很难超过人的感知水平。其实 L2 到 L3 的问题就是可靠感知的问题，不管是视觉主导的方案，还是激光雷达主导的方案，都是在解决极端环境下的可靠感知问题。
其次，怎么从 L3 跨越到 L4？这就涉及到认知干预的问题。出现紧急情况怎么去预测、去判断？怎么去替代人进行认知干预？现在对紧急、极端情况的预测也有一些方法，比如基于深度学习的端到端的自主行为决策与人机混合智能。
总之，这两个问题都非常困难，具有很大的挑战性，因为需要处理极端与紧急情况，同时要求绝对可靠，并且考虑低成本实现，这也是做无人驾驶的一个特点。摄像头的设备成本最便宜，特斯拉的技术方案就是以环视单目摄像头为主，另外一种就是 Waymo 以低成本激光雷达为主导的技术方案，这两种都是低成本方案。
还有目标检测与识别的问题。对交通流稠密的复杂城区，如何进行极端环境下周边障碍物的检测与识别，特别是行人等小目标？还有精准导航，怎么替换掉高成本的高精度组合导航系统？怎么结合激光 SLAM 和视觉 SLAM，把成本降下来？但不管是目标识别还是精准导航，最大的问题还是信息融合。虽然采用视觉主导或激光雷达主导的方案，但仍需融合其他异构的感知或导航设备。这方面可采用深度学习的方法，进行多传感器的信息融合。
最后一个挑战就是商业落地，要在保证绝对安全的前提下尽可能地降低成本，这是现在的大难题，这个问题的解决也许会导致技术路线的根本改变。
很多人认为自动驾驶是最具商业价值且有可能最早落地的垂直领域之一。商业价值无需再强调，共享无人驾驶汽车未来可能是万亿美元的市场，将颠覆整个人类的出行方式，意义十分重大，但要实现落地就必须保证绝对安全和低成本。其次，还要进行垂直整合，要有一个完整的解决方案，形成一个产业生态。
深度学习源于原始的大数据，其实时性也正在得到诸如 GPU、TPU、ASIC、 FPGA 和类脑芯片快速发展的支撑，已成为自动驾驶感知、决策与控制的基础技术。目前，三大芯片巨头也都在向人工智能方向转型，尤其是布局自动驾驶，这是兵家必争之地。
深度学习已经成为自动驾驶感知与决策的主流方法，其主要包括两个方面：一个是深度卷积神经网络，另一个就是深度强化学习。
深度卷积神经网络迄今的革命性进展，再加上低成本激光雷达、高精地图、5G 通信、V2X 以及智能交通系统和智慧城市的合力支撑，将可能使极端条件下周边行车环境的可靠感知与低成本、高可靠精准导航成为现实，助推自动驾驶从 L2 向 L3 跨越。而实现 L2 到 L3 的跨越，解决了具有人类水平的环境感知，迈向真正无人驾驶之路就走了一大半。
基于深度强化学习的 AlphaGo 可以达到人类水平，甚至超过人类水平。由 AlphaGo 强力助推的深度强化学习的最新进展，有可能使自动驾驶汽车拥有类似人的自主学习能力，获得包括具有紧急情况预测在内的端到端自主行为决策系统和数据驱动型智能控制系统，从而助推自动驾驶从 L3 跨越到 L4。
人工智能可望使自动驾驶落地成为可能，主要涉及算法（深度卷积神经网络+深度强化学习）、数据（目标及行为意图视觉大数据/激光点云大数据，驾驶行为大数据等）、计算（如移动端、云端、离线训练深度学习加速器）、细分场景（目标及行为意图感知，认知地图与导航，信息融合，自主决策，智能控制等）和垂直整合等5个维度。
支撑自动驾驶落地的深度学习算法与开源代码框架：谷歌的 TensorFlow，加州伯克利的 Caffe，Bengio 的 Theano，Facebook 的 Torch，微软的 CNTK，Amazon 的 MXNet，百度的 Paddle Paddle；
共性关键技术：深度学习+环境理解，深度学习+信息融合，深度学习+决策/控制；
前沿核心技术：基于深度监督学习的目标及行为意图检测与识别；基于深度监督学习的高精度地图创建；基于深度监督学习的多模态导航信息融合；基于深度强化学习的自主决策与控制；
如何替代人进行环境感知：基于深度 CNN 的环境感知，与 HD 地图结合；基于深度 CNN 的极端环境下道路感知\车道线与可行驶路面检测；基于深度 CNN 的障碍物检测与识别；
如何替代人进行自感知：基于深度学习的多模态自主导航，与认知地图结合；基于深度强化学习的端到端自主决策，与认知地图结合；基于深度强化学习的 Actor-Critic 控制，与知识驱动结合。
另外，专有大数据是 AI 产业致胜的关键和法宝。深度学习采集与喂食的大数据越多，越能获得更好的驾驶直觉。
科技巨头都在疯狂追逐大数据，谁拥有与利用的大数据越多，谁的产品成熟度就越高，或者离商业化就越近。但是需要解决的还有大数据的完备问题，比如把识别率从99.999%提高至99.99999%，需要的是指数级增长的大数据，需要极大的资源付出。
支持自动驾驶落地的计算引擎：基于超级 GPU/TPU 的离线训练；
基于云平台的在线应用：GPU/FPGA 深度学习处理器；
终端应用：NVIDIA 的深度学习芯片 Tegra X1 及 Jetson TX2，深度学习芯片 Tesla，深度学习芯片 Drive PX2，以及开源 Xavier DLA；
新汽车芯片制造商：英特尔 Apollo Lake A3900 的“智能互联驾驶舱平台”，高通骁龙 820A 处理器；
类脑芯片：例如 IBM TrueNorth，高通（Qualcomn）Zeroth；
支撑自动驾驶落地的其他基础条件：如基于目标理解的认知地图，特别地，高精（栅格\认知）地图未来可能成为巨大的产业。此外还有基于 5G 和移动物联网 NB-IoT 的智能网联技术（如支持云端和路测设备通信），智能交通系统（ITS）和智慧城市等，形成合力，支撑自动驾驶产业的落地实践。
L2 跨越到 L3 的挑战是：如何利用深度卷积神经网络替代人进行极端条件下周边行车环境的可靠感知。
L3 跨越到 L4 的困难是：如何利用深度强化学习替代人进行紧急情况预测的自主决策。
深度学习近期的革命性进展，再加上高精地图、5G通信、智能网联以及 ITS 和智慧城市的支援，形成合力，将助推自动驾驶产业落地。
共享无人驾驶与智能增值服务将成为智慧出行的终极发展目标。
问：无人驾驶中出现紧急情况要如何干预？
答：Uber、Waymo 测试的车上都有工程师，尤其对 L2 这种级别的自动驾驶汽车，司机的位置上都坐着人，并且手不离开方向盘，遇到紧急情况就可以随时接管。
如果是认知干预的情况，驾驶员则可以按下紧急制动按钮控制车辆。不管是通过车上有线还是车外无线的方式，人都可以在判定决策后，进行紧急制动干预。
问：认知地图是一个什么概念？
答：认知地图是开车时，周边行车环境中各个交通元素之间的时空关系，人类就是利用认知地图来开车的。人眼可以轻易地分辨出物体以及它们相互之间的时空关系，机器则需要进行检测和识别，其实这部分是最困难的。
问：现在共享单车破坏这么严重，共享无人驾驶汽车未来如何避免这种尴尬？
答：共享无人驾驶汽车可能不会有这样的问题，因为它一定是一个公司或企业来运营的，由于设备成本比较高，相信企业也会有更好的运营和组织模式。其实现在说这个问题还为时尚早，重要的是要先发展，之后出现问题再解决问题。
问：自动驾驶的安全性怎么管控？
答：自动驾驶的安全性一定比人开车要高。人开车时会有疲劳驾驶、酒后驾驶、情绪化的问题，但无人驾驶汽车就避免了这些。
我们现在担心的只是它能不能达到人类的感知水平。目前确实达不到，前面也说了，深度卷积神经网络有一个缺陷，就是只能解决分割和分类的问题，做不了语义理解。但这个局限性，可以通过多传感器融合，有效利用高精地图的先验知识，以及5G、NB-IoT 等组成的智能网联与 ITS 的合力来进行突破。总的来说，自动驾驶是提高了驾驶的安全性，而不是降低。
问：谷歌、英伟达、英特尔的自动驾驶芯片和算法各有什么优势？
答：谷歌本来是做算法的，现在也有了 TPU 芯片，并且在试图挤入芯片的三大巨头。它的算法和 TPU 都做得很好，优势很明显。在技术上，谷歌肯定是第一。英伟达本身不做算法，主要做芯片，在人工智能时代，它的芯片非常有优势。英特尔眼下也在做人工智能芯片的布局和转型。
问：人工智能汽车最后是不是就是机器人的一种？
答：是，从某种意义上说，自动驾驶汽车就是一个室外轮式移动机器人。
问：自动驾驶是基于地图、划线实施计算的，那么对于越野地理环境，没有路基，没有划线，要怎么实现自动驾驶？
答：高精地图只是一个基础支撑条件，但不是必须有。没有车道线也没关系，越野环境没有车道线，但有可行驶路面等，驾驶时也可融合 GPS 或北斗导航信息等做辅助。
问：百度开源对创新型企业有什么指导作用吗？
答：它是一个完整的解决方案，但我想它只会开源第一幕的代码。第一幕只是把技术路径走通，但可能会不计成本，因此商业价值不大，不过对刚刚开始做自动驾驶的初创企业，也是有指导作用的。第二幕真正有商业价值的程序，百度未必会开源。
重磅预告：本系列讲座的第二期，我们邀请了高德汽车高精度地图产品总监谷小丰，分享了高精度地图在自动驾驶中的作用，课程总结文也将在近期发布。
接下来，地平线机器人技术智能驾驶商务总监李星宇、硅谷自动驾驶技术公司 Vector.ai CEO 蔡长柏（Andrew Tsai）还将为学员分别带来更多精彩分享，课程内容将于6月28日、7月12日陆续上线，敬请留意雷锋网慕课学院。
正在生成分享图...
nebula