智能驾驶深度学习初探

智能驾驶深度学习初探从长期调试中的困惑谈起……人调车？车调人？如何做自主决策？每个传感器负责任地给出自己的三种算法的结果导航信息障碍物信息SLAM信息如何将信息有效地融合到驾驶态势图中？如何根据驾驶态势图做路径规划，以及精准导航和车辆控制？如何让车辆在保证速度的情况下，在各种任务模式下都做出最切合中心线的精准控制？进一步考虑面临越来越多的驾驶行为模型，如何有效地判断和切换模式？决策规则、决策方法如何才能做到以不变应万变？如何才能让车开得让人舒心、放心？无人驾驶决策如何做决策系统的本质是一个行为转换的状态迁移系统规则：三元组Aconditions

B超车进行中紧急停车超车完成放弃超车初始状态局限性人工编写代码开销太大程序规模逻辑庞大无人驾驶安全性无法得到保障一种能够自主完成这个调试过程的系统人调车？车调车无人驾驶自学习ALVINN——CMU的NavLabALVINN一张图片

一个车辆转角缺陷：对于不同的人有着不同的架势行为，难以进行统一量化的学习这种低层次的驾驶行为决策难以抽象描述一些人类驾驶行为，比如换道学习算法需要考虑到图像中哪些部分是关联的，而仅仅有着转角的这种行为反射模型，无法做到这一点神经网络深度学习的潮流Feature:SIFT,HOG...Detection,ClassificationRecognitionCNN,RNNSoftmaxOutputTheanoKerasLasagneDeepDrivingGameTORCS(TheOpenRacingCarSimulator)Angleofthecarrelativetotheroad,Distancetothelanemarkings,Distancetocarsinthecurrentandadjacentlanes.安全场决策规则复杂拟人化决策驾驶特性学习基于驾驶人特性的参数在线学习基于量化安全场的拟人化决策智能决策决策方法单一不符合驾驶人习惯难题方法+基于安全场理论，提出自动驾驶车辆的决策训练方法。拟人化决策驾驶特性学习+智能决策机器学习安全场半对数量化训练集图片拟人化决策并通过安全场参数的调节，学习并适应不同驾驶员的驾驶特性。拟人化决策驾驶特性学习+智能决策驾驶特性分析不同驾驶特性端到端自动驾驶CNN可从原始输入图像自动学习车辆控制变量融合感知、决策与控制任务，实现端到端的自动驾驶回到双总线架构我们希望实现怎样的自学习呢？驾驶态势融合双驾双控自学习/调试总线CAN总线认知板块雷达数据预处理图像数据预处理导航数据预处理控制板块执行板块自主决策感知板块驾驶员干预和自学习/调试总线相连的软件模块1KMbps进程监控2虚拟交换2自学习板块驾驶记忆棒生成搜索匹配引擎比对库生成交互板块程序员调试模块远端车主干预日志管理交互控制远端服务响应乘员交互轮式机器人向经验驾驶员学习开车的过程经验驾驶员通过视觉等形成的当前驾驶态势图3路机器视觉综合形成的当前驾驶态势图驾驶员操控油门制动方向盘驾驶态势——认知箭头图对库生成驾驶态势认知箭头抽象当前的认知3路机器视觉综合形成的当前驾驶态势图驾驶态势驾驶记忆棒搜索匹配引擎认知箭头机器人操控油门制动方向盘自学习过程过去经历的场景宇通客车实验数据每一天车辆产生数据：10.0GB(10,786,856,759字节)Can总线车身数据：59.2MbLux雷达数据：588MbMobileEye数据：30.4MbNavigation数据：54.0Mb3个Sick数据：1482Mb图像数据：8.21GB(8,823,053,329字节)每天可以采集4小时的数据每天采集数据一共提取了153,924帧图对图对信息：态势图：导航轨迹、道路边沿、车道线、障碍物车辆行驶轨迹认知箭头：车辆底层数据如何进行自学习用深度学习生成驾驶记忆棒通过CNN、RNN设计特有的学习网络驾驶态势图-CNN提取隐含层特征，通过RNN得到车辆规划路径交叉验证：用已有驾驶态势图计算搜索认知箭头参数调整LossFunction如何设计，通过什么输出实现决策模式指令/车辆行驶轨迹/车辆控制参数Optimize