无人车决策控制-驾驶认知的形式化课件

——驾驶脑设计与实现驾驶认知的形式化FormalizationofDrivingCognition一、从象棋脑、围棋脑到驾驶脑3和计算机下国际象棋4黑白世界，棋子无功能之分，目数多者胜和计算机下围棋5和计算机下围棋难在哪里？象棋的目标是“杀王”，子越下越少；围棋的目标是“圈地”，子越下越多，多者取胜。象棋可以从一个目标状态不断搜索最合理的走法达到下一个目标状态；围棋难以锁定下一个目标状态。和计算机下围棋难在哪里？象棋可以有目的地向着某一目标状态不断搜索最合理的走法；围棋具有更大的不确定性。象棋更注重逻辑思维；围棋想围住对方，在某个状态下应对的步骤比象棋要多得多，有手筋、弃子、劫争等战术战略运用，更注重形象思维，更大局观。对一个特定的棋局（态势）,国际象棋有35种可能的走法（决策），沿每种走法深下去可达80层，需要3580种遍历搜索；而围棋比赛，对一个特定的棋局常常需要有250150种遍历搜索，计算和推理量巨大。围棋因其巨大的搜索空间和困难的棋局态势表达，被认为千古无同局，历来是人工智能的最大挑战。和计算机下围棋难在哪里？AlphaGo突破了传统程序，搭建了两套模仿人类思维的深度卷积神经网络：valuenetworksandpolicenetworks，学会了向人类棋手学习，

从海量样本的胜局和败局中学习，并自动提取规则，进行推理。分析这次人机大战的棋局，并没有看到来自“天外来客”的奇招。大样本和自学习支撑AlphaGo取胜AlphaGo以4:1战胜9段围棋高手李世石，全球为之震撼，世界一片哗然!

震撼之后的思考：AlphaGo程序，比赛前后变了没有？能否让AlphaGo和李世石来一次复盘？如果AlphaGo以后一直和棋篓子下，棋商会不会退化？

棋类高手与人工智能发展成果积累的对决，是让棋手充当测试员的一次科学试验一个人与一群人（棋类高手+AI高手）的对决一个生物人与“人与机器混合生物”之间的对决人机大战常常是：人机大战本质上是人机--机人大战！AlphaGo的局限性AlphaGo仅仅是个围棋脑，还不是一个围棋手，更不是一个围棋机器人，根本就没有眼和手，没有感知和行为能力AlphaGo没有情绪，没有情感，不能分析对手的心理状态，不能现场和对手展开心理战，缺失交互认知能力AlphaGo的局限性用于对大数据样本学习的卷积神经网络，太多的学习参数具有随意性，不能保证算法的收敛性，缺少反馈机制，大量案例也不具有累积性，深度学习不可能是人工智能的终结者。目前也还没有听说AlphaGo具有个性，并有进化学习的能力。驾驶脑:驾驶认知的形式化从汽车到轮式机器人：发明汽车130年来，先从汽车的行为能力做起，在确保车辆动力学和人机工程学的基础上，配置感知的零部件，实现自动驾驶，进而研发驾驶脑，完成自主行驶，走着一条完全不同于“围棋脑——围棋手——围棋机器人”的技术发展道路！围棋机器人来日方长，轮式机器人和飙车手的比赛将会更加激动人心！驾驶认知的形式化，强调如何用人工智能技术代替驾驶员的感知、认知和行为，确保车辆自主行驶，而不必纠结于机器驾驶脑和驾驶员脑是否在微观上具有相似性！智能驾驶等级区分离线辅助驾驶自动驾驶（局部时段、局部区域）自驾驶/自主驾驶/无人驾驶以人为本的人机协同共驾ADAS,HUD高德导航碰撞预警等ACC自动紧急刹车等城际高速行驶等类似骑士和马人马骑士与马

如果人脑特定问题域的认知能力可以通过大数据认知先局部地形式化，构造出驾驶脑、围棋脑、文秘脑、聊天脑等，哪怕在微观上不具有组织结构的相似性，但在宏观上不亚于特定人的智商和情商。那么，当千千万万的特定问题域的认知能力局部形式化之后，用人工智能技术构建千千万万“一脑一用”的认知脑，并通过移动互联网、云计算，就可以倒逼并逼近一个“一脑万用”的人造生物脑。从“一脑一用”到“一脑万用”二、驾驶认知的形式化约束

“Google无人驾驶汽车有上百万英里的测试经验，大致相当于人类75年的驾龄。”

——2015年5月15日从Google公司的一则报道谈起驾驶认知如何度量？如果经验驾驶员一年开车1.2万英里，需要75年！驾驶认知的本质是统计和进化驾驶认知不是一次完成的，需要多次反复，在反反复复感知-认知-行动的过程中学习积累，形成相对稳定的认知，形成不确定性处置中的基本确定性。因此，驾驶认知是个动态的演化过程。驾驶认知本质：CognitionbyCases驾驶认知形式化约束

从人的视听觉感知切入研究脑认知，尤其是模拟人脑中的记忆智能、计算智能和交互智能，用机器模拟人脑对安全驾驶的自学习和驾驶技能积累能力，模拟人脑对驾驶环境的感知、认知、决策和行为控制。尤其重要的是驾驶脑并不模拟在驾驶过程中与安全驾驶无关的驾驶员的其它认知活动，如对路边美女、对周边车辆品牌等，机器驾驶脑都不会有任何兴趣！驾驶脑将驾驶活动从人的认知活动中抽象并剥离出来,

不少做,更不多做，专门模拟人脑完成低级、繁琐、持久的驾驶认知，选择性注意，永远专注，永不疲倦。驾驶脑的差异反映个人智力和运动协调能力的差异，世界上没有两个完全相同的驾驶脑。

驾驶认知的形式化，也许不必一开始就弄清驾驶员认知的微功能、微结构、人脑内各种连接关系的复杂组织；也不必一开始就弄清高并发、大流量、大数据信息编码以及脑精细组织跨区域的关联，要懂得忽略和聚焦，懂得抽象和分离。驾驶认知形式化的尺度选择驾驶认知的形式化，强调如何用人工智能技术代替驾驶员的感知和认知，确保车辆自主行驶，而不必纠结于机器驾驶脑和驾驶员脑是否在微观上具有相似性！驾驶认知坐标系的形式化作为认知主体，轮式机器人在运动过程中始终以“我”为中心，对周边环境信息体现选择性注意和简约，时时刻刻进行同步定位和映射（iSLAM），这是脑认知形式化的重要内容。心理物理学定律人的一切感觉，包括视觉、听觉、肤觉（含痛、痒、触、温度）、味觉、嗅觉、电击觉等都遵从感觉不与物理量的强度成正比，而是与对应物理量的常用对数成正比的法则。该法则成为心理物理学的奠基性理论，为对数视力表等感觉强度的规范制定了量化标准，并一直延用至今。韦伯——费希纳定律（1850年左右）：

S=K1

logR=K2lnR

反映驾驶认知的对数极坐标系loga1=0，直角坐标系中半径为1的小圆内的所有点，在对数极坐标中全都塌缩为零点栅格角度1°最大环数100径向长度204m最小栅格径向0.1m面积1cm2最大栅格径向3.4m面积6

m2以车速36km/h为例视野100°200m（100环）100m（91环）10m（61环）5m（52环）注视点（聚焦点）：18m车速V与预瞄点f的关系：f=5.0771*e0.0254V

拟合系数=0.88灯下黑Grid1,

1°（a）Grid100,1°（b）车速

Km/h视野（视觉区）注意高度（与地平面夹角）注视点（聚焦点）动视力（能见度）0210o30o3m1.518120o25o9m1.236100o20o18m1.15480o15o27m1.07270o12o36m0.810840o10o54m0.6驾驶员视野和车速相关车速V与注视点焦距f的关系：预瞄点f=5.0771*e0.0254V

拟合系数=0.88感知、认知的多坐标系和坐标系变换椭球地心坐标系（贝赛尔1841坐标系）GPS全球定位系统WGS-84坐标系（地心空间经高斯投影分带形成的大地直角坐标系）车姿惯导器件用坐标系雷达用坐标系（极坐标系）摄像头用坐标系驾驶员认知的坐标系（对数极坐标系）

驾驶员的认知坐标系近似为随车而动的对数极坐标系，充分体现了选择性注意！

在对数极坐标系中统一标定，不必对单一摄像头或者雷达进行SLAM,可分类3个视觉通道分别完成GPS-SLAM、图像SLAM、雷达SLAM，进而完成iSLAM，融合驾驶态势形成驾驶态势图！

驾驶员的先验知识，无论是驾驶地图，还是车辆的动力学性质，都映射到驾驶员的认知坐标系中！三、驾驶脑架构设计原则

回顾近十年来我们参加的比赛和里程碑试验，智能车各种感知和认知手段，相互依存，彼此缠绕。在各类比赛场、测试场，智能车表现千奇百怪、反反复复，我们困惑过，迷茫过，试来试去，换车、换平台、加电源、换模块，通过多车交叉验证和常态试验，终于理出了头绪，形成全新的驾驶脑设计!

和各种车载传感器相比，驾驶脑的架构设计、模块划分和界面约定才是智能车的生命力，进而决定智能车产业的核心竞争力！架构设计原则系统原则模块原则表现原则快乐编程原则系统原则模块原则表现原则NVIDIA

嵌入式超级计算机iDRIVE

机器驾驶脑系统原则

明确任务目标和系统约束，首先是明确不做什么，最大剔除，坚持最简，其次才是明确做什么，尤其是做强什么。这一点成为驾驶脑架构的特色和亮点。架构师应该确保驾驶脑架构设计的普适性，当某一传感器或者某一认知计算软件性能提高后，仍然能够保证驾驶脑的扩展和智商的提高。对架构师而言，传感器的多少、驾驶智商的高低不应该影响架构；换一个新型传感器或者软件模块新版本，如同汽车换一个车灯，换一个车辆平台，甚至换一种驾驶风格，都不会影响架构。

不做什么？为什么不做？要不要全地域的高精度地图？要不要识别全程交通标志牌？要不要做图像和雷达的全程点云SLAM?要不要识别周边行人姿态和情绪？要不要识别前方车辆种类和品牌等？先觉后视视而不觉边视边觉先视后觉根据前一时刻已拥有的路权，关注当前路权的变化对周边自然风景、建筑风格、行人年龄姿态行为、是不是美女、行人和宠物的差别、前方车辆品牌，是不是时尚等等，一律熟视无睹。常规的、带GPU加速的计算机图像处理强选择性，利用记忆主动感知，主观寻找特定驾驶情境强调已有认知协助当前感知！做什么？做好什么？做强什么？专注驾驶和驾驶安全做好为智能车和驾驶员服务的驾驶地图做强选择性注意做强已有认知协助当前感知做强认知工程学明确任务目标先跑通驾驶脑架构，再优化、升级模块性能系统架构要有普适性，既适用商用车，也适用乘用车，还适用特种车，最好适用所有轮式机器人架构要稳定，模块可维护、可重用、可扩展，可多车交叉验证，界面友好分层与模块化是智能车软件工程的重要思想，上层对下层有数据依赖，纵向分开的并列部分不直接关联，不从模块中导出函数，“绝招”和“脏”的代码都被孤立在模块的里面核心是工作总线和调试总线的切分，以及调试总线和自学习总线的复用确立“没有哪个软件模块不会被再修改”的原则模块切分原则表现原则感知的结果表现为反映时序的点云图簇，认知的结果表现为驾驶态势图簇，决策的结果表现为认知箭头簇。三类时空序列的2.5维的表现形态（CT图）成为驾驶脑的特色和亮点。通过三类存储的时空序列的缓冲区隔离，防止死锁，确保共享

软件工程随着遗产代码的积累和进化，新系统的架构设计已经取代传统编码成为软件工程的核心问题，软件开发已经演变为配置为主、编程为辅，驾驶脑研发也不例外。

尽管架构中模块配置的过程本身还是通过模块化编程的方式来完成，但本质上这些模块只是在定制成熟算法的运作方式，其技术难度要比编写平台自带的、或者可以移植过来的高质量的成熟算法（如函数库）至少低一个数量级。悲催的是，多数人在认真地做着相反的事。快乐编程原则基本算法不创新，尽量使用广泛认可的、成熟、开源算法，移植到相应软件模块明确算法中的输入量和输出量，自变量和参变量尤其明确试验中要调整的参变量（如预置阈值、权重、优化系数、选择性开关等）以及参变量冻结的试验时间序编程AB角，离线调程序，在线调参数体现人类认知的驾驶脑的架构设计，是智能车项目的精髓。只要架构适用，传感器缺陷也好，软件脏代码也好，算法创新也好，车辆平台的动力学性质也好，都是局部性的、暂时性的！

智能车传感器的添加可以从少到多、从低级到高级，例如从单目相机到深度相机，甚至到雷达相机。但是，体现人类认知的驾驶脑架构仍然不变。只要架构合适了，智商提高的关键，转向特定传感器或特定模块内部的优化，架构师依然很轻松很潇洒。驾驶脑数据流程图软件模块在双总线中的连接关系图驾驶脑软件模块逻辑架构图驾驶脑软件模块列表驾驶脑板卡物理构成图弄清驾驶脑设计的四图一表四、分区记忆和驾驶脑数据流程类脑驾驶如何受脑科学启发？

驾驶脑性格短期记忆长期记忆情绪学习和思维动机情绪：拒绝人脑中的情绪进入驾驶脑，永远不因情绪而分散注意力，始终专注。工作记忆：体现驾驶员的选择性注意，仅仅关注刚刚过去的以及当前的周边驾驶态势。动机：完成出行任务从起点到终点的一次性路径规划。学习和思维：通过可用路权和相似性匹配，完成自主决策，控制下一时刻的行为动作。长期记忆：如驾驶地图，表示驾驶员的知识和经验。性格：由人的基因决定，反映开车是保守还是张扬，还体现小脑动平衡能力。瞬间记忆视觉残留

遗忘是人类智能的一个显著表现。驾驶员在周边环境世界里，有丰富的瞬间记忆，短期适度的工作记忆，以及反复的长期记忆。越是长期的越抽象越难忘，越是瞬间的越具体忘得越快，表现语言不同，表达粒度也不同。

受脑科学研究成果的启发，总架构强调记忆认知，建立瞬间记忆区、工作记忆区和长期记忆区。三区的数据空间大小、表达语言、时序间隔等完全不同，要解决三区记忆数据在双总线和计算模块之间传送和存储的效率问题。

分区记忆和记忆共享奠定了驾驶脑架构的基本形态！分区记忆和记忆共享在已有认知（路口地图和路段地图）的协助下，类比人的视觉通道，三类传感器通道各负其责,又只能尽力而为，形成视觉残留：GPS+IMU通道：定位、路权检测、导航

雷达通道：定位、路权检测、导航

图像通道：定位、路权检测、导航三类传感器通道我在什么地方？周边有什么？下一步怎么走？SLAM认知箭头可用路权感知理解和瞬间记忆

感知理解要充分借助驾驶地图数据库即时生成的、对数极坐标表达的路段地图或者路口地图，还要与视觉残留关联，感知理解的结果形成新的瞬间记忆，记忆中的数据隐藏着三个通道各自对定位、路权检测和导航的力所能及的贡献。脑科学研究表明，工作记忆和长期记忆形成的差异可以从海马体的神经突触细胞的化学变化反映出来，通过突触形状记录信息，当CPEB69蛋白质处于元粒态才能执行存储。工作记忆与长期记忆

点云不进入工作记忆，工作记忆的形态是驾驶态势图；长期记忆是对驾驶态势反复形成的抽象，是用语言对驾驶态势做语义标注，以经验和规则的形态表现。决策记忆瞬间记忆动态感知态势分析自主决策精准控制态势记忆计算流程读数据流程反馈—已有认知帮助当前感知，感知不受已有认知的影响几乎是不可能的！工作记忆长期记忆

1/2路段记忆

1/16路口记忆险情记忆困境记忆泊车记忆反馈读读反馈反馈反馈反馈反馈瞬间记忆瞬间记忆态势记忆态势记忆决策记忆决策记忆搜索匹配引擎写写写反馈速度变化量转角变化量点云中隐含着导航、周边障碍物和SLAM数据可用路权及其变化驾驶态势图驾驶态势融合模块自主决策模块控制模块在线执行模块态势记忆池决策记忆池瞬间记忆池驾驶态势图驾驶态势图驾驶态势图驾驶态势图驾驶态势图驾驶态势图驾驶脑数据流程图GPS雷达摄像头感知理解模块长期记忆池1/2路段记忆1/16路口记忆险情记忆困境记忆泊车记忆反馈反馈反馈反馈五、驾驶脑外延——记忆棒

考驾照时驾驶员的理论考试，并不要求对交通道路地图的理解和积累。但驾驶员的经验很重要，在高速路上偶尔会看到驾驶员将车停在一边问路，是他的驾驶技术不熟练吗？要不要把全城、全省、全国、全球的高精度道路地图统统搬到一个特定的驾驶脑中去？为什么近年来如此多的地图公司提供我们的驾驶地图始终没有被用上？质疑1：

在智能驾驶中，传统电子地图和数字地图处于什么位置？起什么作用？地图是不是个传感器？智能车在第一次出行任务之前是否一定要预先实地学习行驶一遍或多遍？现场跑究竟跑什么？质疑2：

每一个特定的驾驶员，每一辆特定的轮式机器人，他走过的路服从二八定律，包括驾驶地图在内的先验知识是以他为中心坐标系的长期记忆认知而已，可以分别用路段和路口组成的驾驶地图记忆棒实现。解决方案：驾驶地图记忆棒

智能驾驶中的双二八定律：80%的时间在路段上跑；80%的技术难度在路口驾驶地图记忆棒1/2路段记忆棒1/16路口记忆棒路段驾驶例:

在城市或城际道路上，一般地说，同一路段内具有相同的车道数，且车道宽度保持不变；还具有相同的诸多物理和几何属性。对路段驾驶而言，常常要求较高的横向精度和较低的纵向精度。

借助驾驶地图记忆棒中的路段数据库，融合三路传感器信息，即时生成在车辆前进方向上的对数极坐标表示的驾驶态势图。路段名称起止位置坐标限速km/h车道数据路面数据道间及路边数据车道数车道宽度车道曲率规则程度道路坡度路面质量规则程度隔离带种类路肩高度规则程度翠微段(a,b)8033.5m0好+1°粗糙好绿化5cm好路段地图碎片化、个性化

——1/2路段地图数据库例路边社情路边建筑物推荐速度高峰时段平常城乡结合部高楼林立3070路段地图在感知中的作用举例再次确认：雷达识别出道路中间的绿化隔离带，被地图确认；GPS-IMU给出本车所在的地图车道位置，被摄像头检测到的车道线确认互相补充：地图告知进入事故多发区，雷达点云数据反映道路流量增大；地图告知经过流动商贩区，摄像头发现许多行人冲突消解：雷达识别出道路前方疑似横向路肩，地图告知是大陡坡要上桥；地图给出道路大转弯曲率，摄像头丢失车道线；摄像头看出是下坡，地图告知是怪坡。以路段驾驶为例:提醒帮助：地图告知前方是隧道，提醒GPS可能会丢失信号，不再怀疑GPS失锁；车辆到达坡顶前，提醒前向雷达可能无信息可用，提醒摄像头无法检测到车道线，但地图仍可提供地形坡度等信息，辅助决策。过滤噪声：地图告知正在通过粗糙路面，雷达出现抖动噪声数据需要过滤；地图告知要通过城乡结合部路边家禽菜市场繁闹区，雷达发现过多、过小、过杂的移动障碍物属性关联：地图告知正在通过大弯道倾斜路面，雷达检出前方所有移动目标都在减速以路段驾驶为例:路段地图在感知中的作用举例路段驾驶态势图例属性值限速80推荐速度30道路坡度+1°路面质量粗糙隔离带绿化带路肩高度5cm认知箭头十字形交叉路口路口地图碎片化、个性化

——1/16路段地图数据库例1/9T形交叉路口1/25环形交叉路口路口地图碎片化、个性化路口数据碎片化：1/16路口地图数据例路口名称路口属性限速km/h本车道对应路口数据路口路面数据道间及路边数据停止线坐标斑马线坐标二次停止线对应红绿灯位置道路坡度路面质量规则程度道路间隔物路肩高度周边障碍物轮廓翠微万寿路口十字路口30(a,b)(a,b)(a,b)(a,b)+1°粗糙好绿化5cm(a,b)路口地标路口周边建筑物本车道对应对方车道数据停止线坐标斑马线位置坡度(a,b)(a,b)+1°城乡结合部低矮平房行车方向——由南向北在路口左拐：1/16路口驾驶态势图例对应红绿灯周边障碍物停止线本车道对应车道1/16路口地图数据库例路口名称路口属性限速km/h本车道对应路口数据路口路面数据道间及路边数据停止线坐标斑马线坐标二次停止线对应红绿灯位置道路坡度路面质量规则程度道路间隔物路肩高度周边障碍物轮廓翠微万寿路口十字路口30(a,b)(a,b)(a,b)(a,b)+1°粗糙好绿化5cm(a,b)路口地标路口周边建筑物本车道对应对方车道数据停止线坐标斑马线位置坡度(a,b)(a,b)+1°城乡结合部低矮平房路口驾驶态势图例对应红绿灯周边障碍物停止线本车道对应车道驾驶记忆棒特定车驾驶记忆棒1/2路段驾驶记忆棒1/16路口驾驶记忆棒泊车记忆棒险情记忆棒困境记忆棒……在自学习总线中会有进一步说明驾驶记忆棒是通过自学习生成的险情、困境记忆棒示例困境记忆棒陡坡起步陷入泥潭爆胎处置……险情记忆棒弯道超车汇入车流雪地行驶雨中行驶山路行驶……六、

双总线架构实现交互认知

从智能车架构1.0存在问题谈起……“猛狮4号”智能车传感器等硬件物理连接图后毫米波雷达CAN线GPS惯导

串口线顶8线激光雷达前8线激光雷达前1线激光雷达后1线激光雷达交换机网线网线网线网线网线左耳摄像头右耳摄像头USB线USB线OBD诊断接口串口线车内左摄像头车内中摄像头车内右摄像头1394视频传输线1394视频传输线1394视频传输线下位机控制器串口线工控机工控机工控机以太网工控机3+操作系统工控机2+操作系统工控机1+操作系统支撑模块进程监控虚拟交换日志管理交互调试应用模块图像预处理GPS预处理感知雷达预处理认知路径导航道路要素映射路口记忆棒危险场景记忆棒泊车记忆棒人工干预决策行为油门控制制动控制其它控制方向盘控制信息融合驱动模块激光雷达毫米波雷达超声波雷达红外雷达GPSIMU图像类传感器驱动模块雷达类传感器驱动模块GPS类传感器驱动模块单目相机双目相机BDSIMU智能车软件模块逻辑架构图发送者物理层千兆以太网接收者应用层传输层UDP网络层IP物理层千兆以太网应用层传输层UDP网络层IP智能车架构1.0存在问题分析由于UDP是一种面向事务的简单不可靠信息传送服务，尽管传输效率高。但它不对数据包进行排序，无法确知是否安全完整到达，造成基于UDP的虚拟交换的先天不足！虚拟交换虚拟交换人机交互和在线调试占用了智能驾驶实时信息处理的计算资源和带宽，又没有规定基于组播技术的虚拟交换中交换的优先级，当通信量增大时出现阻塞和丢包现象，重要小包的丢失会造成车辆失控的严重后果！智能车架构1.0存在问题分析驾驶脑中的工作总线和自学习总线构成双总线设计，确保了轮式机器人智能驾驶的实时性不受影响，又保证了人机交互和协同。

双总线中的交互认知

双总线架构既不影响传感器数据的实时性处理，又能够调整软件模块中的相关参数，便于试验调试，还可以在线学习驾驶员的驾驶经验，成为驾驶脑架构设计又一个亮点！感知板块认知板块控制板块交互板块自学习板块驾驶脑各板块都基于双总线工作工作总线自学习总线每个板块都在双总线下工作：驾驶态势融合双驾双控工作总线CAN总线认知板块雷达数据预处理图像数据预处理导航数据预处理控制板块执行板块自主决策感知板块交互板块驾驶员干预和工作总线相连的软件模块1KMbps进程监控1虚拟交换1交互控制程序员调试模块黑客干预远端车主干预乘员交互日志管理程序员在线调参数的过程，可理解为程序员在教轮式机器人如何学开车，如同棋手教围棋脑下棋国际象棋，对一个特定的棋局（态势）常常有35种可能的走法（宽度），沿每种走法深下去可达80层，即有3528种可能可选；围棋比赛对一个特定的棋局常常有250150种可能走法，计算和推理量很大。然而对开车过程中一个特定的驾驶态势，可能的操作要少！

驾驶活动更多的是技巧、记忆和经验，而不是知识、推理和计算！真正能够教机器人开车的应该是驾驶员，有经验的驾驶员长期与车互动，熟练到已经把车同化为人体的一部分，成为与身体无缝对接的真实外延因此，机器驾驶脑在驾驶员开车时应该能“悄悄地”自学习，将“脑和机器融合在一起”，实现这样一个可望而不可及的人类梦想！我们将调试总线扩展为自学习总线，开创自学习板块，完成统计学习和进化学习（CognitionByCases），让轮式机器人像人一样开车，研发有个性的智能车！

一旦当前的认知与过去经历的记忆进行了混合比对，驾驶脑便能对不确定未来做出最好的决策，完成大脑的创造性、运动的灵巧性以及对车无穷无尽的同化过程。如果方程式赛车手在以240km/h的速度疾驶时，甚至能觉察出赛道沥青表面的细微改变，如果足球运动员的大脑认为足球只不过是其脚的延伸。这个过程体现了神经生理学的一个原则：可塑性原则（PlasticityPrinciple）不妨通过统计学习和进化学习，研发可塑驾驶脑。驾驶脑不再是完成特定任务的程序，它具有终身学习的能力驾驶脑通过自学习可汇聚多人驾驶认知，智商提高的速度要远远高于单个驾驶员驾驶技巧自然进化的速度驾驶态势融合双驾双控自学习/调试总线CAN总线认知板块雷达数据预处理图像数据预处理导航数据预处理控制板块执行板块自主决策感知板块驾驶员干预和自学习/调试总线相连的软件模块1KMbps进程监控2虚拟交换2自学习板块驾驶记忆棒生成搜索匹配引擎比对库生成交互板块程序员调试模块远端车主干预日志管理交互控制远端服务响应乘员交互

人工驾驶时，将经验驾驶员对油门、制动和方向盘的操控量抽象为认知箭头，与机器视觉形成的驾驶态势图进行一一对应，“悄悄地”生成碎片化的驾驶态势-认知箭头图对，4然后通过深度学习，生成驾驶记忆棒；

机器人驾驶时，利用搜索匹配引擎，通过驾驶态势以图搜图，实时地在记忆棒中近似搜索，找到符合当前驾驶态势的合适认知箭头，形成控制指令输出。充分发挥碎片化（大数据）认知的作用，克服形式化的困难，细分约束区间，缩小在线推理范围。自学习模块正学习：机器人向经验驾驶员学开车经验驾驶员通过生物视觉等形成的当前驾驶态势图3路机器视觉综合形成的当前驾驶态势图驾驶员人工操控油门、制动和方向盘驾驶态势——认知箭头图对库生成驾驶态势认知箭头抽象机器驾驶3路机器视觉综合形成的当前驾驶态势图驾驶态势驾驶记忆棒搜索匹配引擎认知箭头机器人操控油门、制动和方向盘人工驾驶认证提取通过深度学习实现自学习：统计学习和进化学习负学习：机器人向事故驾驶员吸取开车教训经验驾驶员通过生物视觉等形成的当前驾驶态势图3路机器视觉综合形成的当前驾驶态势图驾驶员人工操控油门、制动和方向盘驾驶态势——认知箭头图对库生成驾驶态势认知箭头抽象机器人吸取教训3路机器视觉综合形成的当前驾驶态势图驾驶态势事故记忆棒搜索匹配引擎认知箭头机器人操控油门、制动和方向盘事故驾驶员驾驶认证提取通过深度学习实现自学习：统计学习和进化学习X轮式机器人学习泊车经验驾驶员通过生物视觉等形成的当前驾驶态势图3路机器视觉综合形成的当前驾驶态势图驾驶员人工操控油门、制动和方向盘驾驶态势——认知箭头图对库生成驾驶态势认知箭头抽象机器人泊车3路机器视觉综合形成的当前驾驶态势图驾驶态势泊车记忆棒搜索匹配引擎认知箭头机器人操控油门、制动和方向盘人工泊车认证提取通过深度学习实现自学习：统计学习和进化学习自学习总线交互板块汽车CAN总线工作总线感知板块认知板块控制板块虚拟交换2进程监控2虚拟交换1进程监控1程序员调试交互控制乘员交互远端服务响应自主决策红绿灯检测导航路权检测导航路权检测定位导航路权检测定位图像数据预处理雷达数据预处理GPS数据预处理导航路权定位驾驶态势融合1KMbps1KMbps驾驶员干预执行板块软件模块与双总线连接关系图定位远端车主干预调试总线双驾双控自学习板块驾驶记忆棒生成比对库生成搜索匹配引擎日志管理

尽管每个模块都连到工作总线和自学习总线，但从物理支撑看，工作总线在以太网1上，自学习总线在以太网2上，两者是分开的；从信息流向看，只有交互控制模块对双总线是双跨的！对其它模块而言，双总线在逻辑上是隔离的！唯有交互控制模块可实时干预智能车的行为控制！基于双总线的人机协同共驾“轮式机器人”驾驶位上的驾驶员（可空缺）程序调试员、试验员乘员互联网远端的车主包括黑客在内的互联网远端服务请求六种人之间的交互双驾双控在线干预机器人的认知能力目的地表达责任人，拥有最高指挥权，日常调度维护自主驾驶出发地和目的地表达云端

双总线中的交互认知

双总线架构实现了六种人之间的交互，体现人机协同共驾，为车联网打下基础，为提高移动生活品质留有足够空间,并堵死黑客的攻击。七、驾驶脑软件模块逻辑架构应用工作总线交互认知自主决策模块导航综合模块路权信息融合模块定位信息融合模块控制油门控制制动控制方向盘控制其它控制感知GPS导航GPS路权检测GPS定位雷达导航雷达路权检测雷达定位红绿灯检测图像导航图像路权检测图像定位驱动激光雷达毫米波雷达超声波雷达红外雷达GPSIMU图像类传感器驱动模块雷达类传感器驱动模块GPS类传感器驱动模块单目相机双目相机BDSIMU工作总线软件模块逻辑架构图程序员调试支撑进程监控2虚拟交换2交互控制自学习/调试总线应用驱动激光雷达毫米波雷达超声波雷达红外雷达GPSIMU图像类传感器驱动模块雷达类传感器驱动模块GPS类传感器驱动模块单目相机双目相机BDSIMU调试/自学习总线软件模块逻辑架构图感知GPS导航GPS障碍物检测GPS定位雷达导航雷达障碍物检测雷达定位红绿灯检测图像导航图像障碍物检测图像定位认知自主决策模块导航综合模块路权信息融合模块定位信息融合模块支撑进程监控2虚拟交换2交互控制控制其他控制方向盘控制制动控制油门控制自学习搜索匹配引擎比对库生成决策记忆棒生成交互远端车主干预远端服务响应乘员交互程序员调试日志管理感知计算模块

用三类传感器通道类比人的视觉通道，形成对数极坐标下各自丰富的点云图片库，数据量大，可实现传感器数据的瞬间感知理解，还可通过深度学习、尤其是卷积神经网络模拟生物视觉神经，也可以通过GPU加速计算，提高瞬间感知能力；还要从瞬间记忆、工作记忆和长期记忆中获得帮助，协助当前感知。认知计算=态势融合+二次规划基于路权思想，重数据认知，融合三类传感器通道尽全力输出的定位、路权和导航信息，形成驾驶态势，发现当前可用路权。根据可用路权、一次规划、以及本车参数（如车轴距、轮距、方向盘传动比等）做出二次规划，输出认知箭头。难点在认知箭头的方向角，即当前行车方向与注视点焦距方向行成的夹角；而二次规划的路线长度，即为此时的注视点（预瞄点）焦距。记忆认知、计算认知和交互认知三位一体感知理解认知理解认知积累感觉记忆工作记忆长期记忆前馈前馈反馈反馈抽象抽象演绎演绎记忆认知计算认知交互认知构造不同尺度连接组的、三位一体的多层认知网络瞬间记忆工作记忆长期记忆前馈前馈反馈反馈抽象抽象演绎演绎感知理解（小尺度连接组）认知理解（中尺度连接组）认知积累（大尺度连接组）WORD八、驾驶小脑——控制板块驾驶脑形式化分工在驾驶认知的形式化过程中，驾驶脑承担驾驶这个特定问题域中的视听觉认知、注意、记忆、思维、决策、交互等任务；驾驶决策体现在横向的方向角控制和纵向的加速度控制（动力学）把驾驶协调性技能分配给相当于小脑的自动化和车辆运动学，继承汽车通过轮胎速度反馈的自动控制成果，如ＭＰＣ等。汽车的自动控制汽车电子比汽车发明晚了100多年，汽车电子不是电子汽车，更不是数字汽车，目前汽车的自动控制是对模拟信号的控制，正在