无人车 交互认知初探

交互认知初探ThePrimaryStudyonInteractiveCognition1.我们为什么要研究交互认知？

人类通过交互、记忆和计算获得认知。和研究计算认知、记忆认知一样，中国人工智能学会要成立专委会，研究人与人、人与自然、人与机器人之间的交互认知。

交互认知不专门研究人机工程中的交互界面设计和智能交互。计算认知记忆认知交互认知从自闭症看交互认知

自闭症，又称孤独症，是交互认知障碍的一种典型疾病，表现为不同程度的语言发育障碍、人际交往和情感交流障碍、兴趣狭窄、行为方式刻板、焦虑、抑郁等。遗传因素对自闭症的作用趋于明确，早期治疗尤其重要。自闭症的主要症状不合群，对集体活动无兴趣，常常落单语言表达有障碍，与别人也无目光对视不分亲疏，没有期待别人拥抱、爱抚的需求和情感表情行为刻板重复，程序固定不变，习惯孤独有智力缺陷从教育看交互认知教学教学，就是教和学的交互，教育的本质是交互认知和交互认知的方法学！交互认知带给从幼儿园到大学的教育的最核心的精神是“改变”！

云计算和大数据成就了人工智能，慕课、微课、翻转课堂和个性化教学等交互认知手段，实现“教”和“学”即时地、个性化反馈和有效沟通，将逐渐把教师转型为教练，今后的大学里也许会出现更多的教练机器人替代人类教师！脑认知的内涵:脑认知的主要外在表现：如何听说、如何看、如何感觉？图像交互语言交互计算认知记忆认知交互认知语言可理解为是对交互认知的语义标注，图像可理解为是对交互认知的情感标注，体觉可称之为肢体语言。交互认知的度量可用情商和智商表示。体觉交互艾伯特定律美国心理学家艾伯特.梅瑞宾指出：在利用语言实现交互认知的过程中：

语义的作用=7%语音的作用=38%面部表情和肢体语言的作用=55%言外之意：语音是情感的流露气沉声缓气缓声柔气舒声平气提声抖气满声高气少声淡气足声重气粗声硬悲伤高兴爱慕安静惧怕冷漠怨恨愤怒语音情感表达不确定性中的基本确定性语调平稳——说话人显得客气大方、流露真情；语调上升，带拖腔——满不在乎，无可奈何；语调下降，语速短促——命令式，有敌意；声音响亮，慢条斯理——说话人地位高；语无伦次，结巴——缺乏自信，言不由衷；用鼻音哼声——高傲、冷漠交互是脑认知的重要形态在选择性注意过程中，前馈的视觉感知刺激驱动和反馈的脑认知记忆视图也刺激驱动，这两者之间形成基于视知觉组织的选择性注意相互作用模型。交互是脑认知的重要形态脑认知是脑不同区域不同粒度的认知可以往返跳跃、并行处理。大脑皮质中形成的知识积累（粗粒度），海马体中当前学习和思维的主题（中粒度），以及视觉神经中残留的感觉和观察（细粒度）可同时发生交互与关联，反映在不同尺度间的灵活转换。交互认知的二重性脑认知通过感知和外部世界交互，通过视觉、听觉、触觉、嗅觉、味觉五感，单模态或者多模态地交互，在交互过程中和其他自然人、机器人、外部世界互动，尤其是理解自然人的表情、心理、意愿、动机等，相互启发、学习，交互作用使得认知更准确，自己更聪明。如果没有这种交互，自身难以获得这样的认知。一瞥之间，到底发生了什么？视网膜被称为外侧脑，在视网膜中有1.3亿个光感受器接收光信号，均匀分布在视网膜上的小细胞、大细胞和尘细胞神经元有不同的感受野，对光照、形状、颜色、深度和运动等具有敏感偏好性。视力≈洞察力≈活动力≈社交力和听觉、触觉等相比，视觉主导着我们的情感知觉，并影响我们的思维方式。因此，生物视觉图像交互的情感表达，成为交互认知的核心，而语言交互可看作是图像交互在不同抽象层次上的语义标注，当然，语音语调里也充满情感。图像交互是交互认知的主体记忆认知记忆是脑认知的核心，是人类智能的显著表现，记忆力强、记忆量大，人才聪明；记忆是依靠经验获得认知，匹配问题，提取答案；遗忘也是人类智能的显著表现，为维护脑的正常认知需要积极遗忘，抑制记忆。遗忘不可或缺，否则不堪重负；记忆又可分为瞬间记忆、工作记忆和长期记忆，记忆的时间特性各不相同，形成记忆的动态演化过程。记忆≠存储记忆不是简单的存储，伴随有取舍，取舍的过程就是计算、简约或抽象，记忆和计算同时发生。通常，时间越长丢失信息越多。记忆常常有联想和搜索，联想和搜索也是计算。无论语言记忆还是图像记忆，本质上都是统计记忆，越是长期的、大量的、反复的，越难遗忘，也有一次性或者少量的难忘记忆，但不会很多。感知≠认知看到和认出迎面而来的人，代表不同的脑神经功能回路，大脑中很多部位都参与了对容貌影像的信息处理，成人脑中有记忆功能的大脑皮层大约有2200平方厘米！looking≠

seeing；

touch≠

feeling；listening≠

hearing记忆认知的形态和动态演化人在周边环境世界里，经常有瞬间的、丰富的感觉记忆，短期的、较丰富的工作记忆，以及反复多次的、简约的长期记忆。海马体在工作记忆和学习中具有重要作用。瞬间的、丰富的初次感觉记忆在前脑中很快遗忘，较丰富的、偶尔的短期记忆在丘脑中容易忘却，反复的、简约的长期记忆留在大脑皮质中难以遗忘；相对短期的记忆如果反复被检索可演变为长期记忆感觉记忆、工作记忆和长期记忆也许在脑区里没有明确的分界面。

短期记忆和长期记忆形成的差异可以从海马体的神经突触细胞的化学变化反映出来，通过突触形状记录信息，当CPEB69蛋白质处于元粒态才能执行存储。长期记忆与短期记忆长期记忆是短期记忆反复形成的抽象，记忆内容的粒度不同，时间越长越宏观。记忆认知的形态和动态演化当前的感知能否在未来得到回忆，最终取决于在大脑皮质被选择性记忆留下多少痕迹——长期记忆。感知理解认知理解认知积累感觉记忆工作记忆长期记忆前馈前馈反馈反馈抽象抽象演绎演绎计算认知概念、判断、推理的形成过程，就是思维的过程，是对多感知信息的觉悟，是对语言和图像的处理（加工），当前感知常常要和记忆中已有的认知相互作用，即计算认知，也称认知计算。认知计算也许只有一种算法：相似计算交互认知不同于记忆认知和计算认知，但又一定伴随着记忆认知和计算认知！2.研究交互认知的突破口在哪里？

如果能够针对特定问题域的交互认知，分别构造出驾驶脑、围棋脑、聊天脑等，各自都具有较强的交互认知表现，体现特定人在特定问题域的智商和情商，并寻求交互认知的共性。那么，用人工智能技术构建千千万万特定问题域的机器认知脑，并通过物联网、云计算和大数据，就可倒逼并逼近一个人造生物脑的交互认知。基本思路：选择交互认知的突破口聊天是最常见的社交活动，有着特定的社交场景，是一种浅层次、短时长的社交沟通。

聊天智能是几乎所有服务机器人的必备。可否从研发特定社交场景的聊天机器人开始研究交互认知？不懂人情事故，没有常识。巧妙转移话题。正常聊天，有社会常识储备。再次改变话题。聊天机器人是独立的、活生生的认知主体，千万不能是一个“问题自动回答”系统，要有个性，有强的情感和语言交互能力，有社交的技巧，背后是与特定场景相关、或者不相关的缺省知识和常识知识的获取学习、和表示。

①从聊天的语境和语用入手，②优先考虑交互环境，优先考虑情感交互，③强调沉浸感、交互感和构想感（Immersion,interaction,andimagination)，④关注交互认知环境中的选择性注意，⑤研究不确定性交互认知中的客观性、普遍性和积极意义，寻找不确定性中的基本确定性。交互认知可从研发“互联网+聊天机器人”开始短时长，浅层次

特定的聊天背景鲜活的聊天双方，都是有故事有个性的人

机器人动画体现情感交互、语音交互、文字交互聊天话题不确定，社会常识知识可缺省聊天机器人的形式化约束交互认知还要研究三人聊天和群聊中的认知障碍早期发现机器人我们正在和东南大学合作研发聊天机器人，是脑科学和人工智能交叉的共同载体，有望成为：通过手机聊天，尽可能早地发现幼儿自闭症、多动症、中青年抑郁症和老年痴呆症的迹象！3.智能驾驶交互认知研究的实践百年汽车工业核心竞争力转移图19世纪20世纪21世纪时间汽车工业核心竞争力底盘结构机械轮胎传动车身能源碳排放发动机被动安全电气模块化线控和数控主动安全汽车电子新能源电动汽车轻量化

数字汽车自主驾驶轮式机器人自动驾驶

无人驾驶可望不可及，涉及到法律、法规、伦理和车联网安全，不看好完全不设方向盘的无人车，主张双驾双控，推广自动驾驶模式。

汽车人的渐进式路线：自动驾驶

启动计算机程序，让汽车自动开，如果程序不合适，则由人来调程序。本质上是程序员通过程序教机器人开车,汽车成为软件定义的机器，实现自动驾驶。?无人驾驶的基本问题：

驾驶员在驾驶过程中与环境和周边车辆的交互认知哪里去了？驾驶员的作用在无人驾驶中由谁来替代？车企纷纷在自己品牌车型中添加自动驾驶要素

千方百计提高传感器性价比，重点放在传感器的感知处理芯片上，实现软件固化，感知信息直接进入CAN总线，降低成本，保持品牌优势，拉长汽车产业发展的繁荣期。自动驾驶辅助系统举例车道偏离预警系统(LaneDepartureWarningSystem)防前车碰撞预警系统(ForwardCollisionWarningSystem)盲区检测系统(BlindSpotInformationSystem)

后车超车提醒系统(RearOvertakingWarningSystem)驾驶员疲劳预警系统(DriverFatigueMonitorSystem)行车记录仪(DigitalVideoRecorder)自动驾驶辅助系统举例下坡控制系统(HillDescentControl)坡起辅助控制系统(Hill-startAssistControl)牵引力控制系统(TractionControlSystem)车身电子稳定系统(ElectronicStabilityProgram)自动紧急制动(AutoEmergencyBraking)……自动驾驶科目举不胜举，渐进添加：

倒车提醒

语音导航疲劳驾驶提醒后景前视自动换道

自动泊车

自适应巡航

夜间自动行车

城际高速自动驾驶自动防侧碰撞

自动跟随行驶自动防追尾

湿滑路面自动驾驶

……谁教谁？

人教程序员，再让程序员完成程序,让机器自动驾驶。然而，……多辆自动驾驶车和2辆人工驾驶车混合行驶，自动车受到人驾车干扰，要实时判断人驾车的各种驾驶行为，选择合适的道路与驾驶方式，预设的自动驾驶模式立马全部崩溃！自动驾驶陷阱

自动驾驶科目越来越多，但启用自动驾驶的窗口条件不能保证启用后仍然满足，因为驾驶活动充满不确定性，窗口条件太脆弱，容易被打碎，随时要求驾驶员接管！

自动驾驶表面上释放了人的手脚，但没有释放人的注意力，本质上是辅助，不是自动，仍然是驾驶员担责。自动驾驶陷阱AlphaGo以4:1战胜9段围棋高手李世石，全球为之震撼，世界一片哗然!

震撼之后的思考能否让AlphaGo和李世石来一次复盘？在比赛之前和比赛之后，AlphaGo程序变了没有？让相同版本或者不同版本的AlphaGo对弈，结局如何？能否提高AlphaGo水平？如果AlphaGo以后一直和棋篓子下，棋商会不会退化？程序定义的机器受到质疑，机器人应该有学习能力，让轮式机器人和赛车手来一次比赛，有完整感知-认知-行为能力的“人机大战”将会更加激动人心！

车辆行驶过程中充满不确定性，汽车如果是软件定义的机器，任何满足当前驾驶条件的自动驾驶窗口，无法知晓会维持多久，要随时随地准备切转到人工驾驶。因此，“自动驾驶”难自动，只是个陷阱而已。

回顾近十年来我们参加的比赛和里程碑试验，智能车各种感知和认知手段，相互依存，彼此缠绕。智能车表现千奇百怪、反反复复，我们困惑过，迷茫过，试来试去，换车、换平台、加电源、换模块，调参数，通过多车交叉验证和常态试验，悟出一个真理：

难为程序员了，智能车不是程序定义的机器，真正能够教机器人开车的应该是经验驾驶员！

驾驶活动是人在回路的交互认知，更多的是技巧、记忆和经验，而不是知识、推理和计算！

经验驾驶员长期与车互动，熟练到已经把车同化为人体的一部分，成为与身体无缝对接的真实外延。

驾驶员对道路环境和周边流量交互认知的差异，反映个人智力和运动协调能力的差异，世界上没有两个完全相同的驾驶员。

轮式机器人在驾驶员开车时应该能“悄悄地”自学习，把驾驶大数据转化为价值，把驾驶员在线交互认知转化为机器驾驶脑，并和机器行为融合在一起，让驾驶员调教机器人开车！让大数据开车！谁教谁？自动驾驶和自主驾驶的根本区别，在于机器人有没有向人类驾驶员在线学习的能力。

百年汽车制造业的成功，是汽车运动轨迹横向（转向变化）和纵向（速度变化）的解耦，是人对方向盘、油门和制动可以凭感觉定性地操作，让人在认知层面定性而不是定量地实现人在回路的不确定性的时间滚动预测控制!汽车人机工程学的成功举例：驾驶员的定性操作

车在急匆匆赶往机场的路上，前方有强光刺眼，离前车的距离（可用路权）又突然变小，驾驶员只好猛刹，尽快把车速减下来。驾驶活动中交互认知的不确定性天气条件（气温、光照、阴影、风雨雾雪霾变化等）道路条件（道路材质、道路宽度、道路弯曲度、道路坡度、道路侧倾度等）交通设施（交通指示牌、交通标志、交通信号灯等）实时交通（交通流量变化、周边车辆和障碍物的随机性、环境噪声、突发事故等）驾驶员行为（驾驶员性格、情绪、疲劳程度、对周边环境熟悉程度，驾驶经验、习惯等）驾驶活动中交互认知的不确定性没有哪两个驾驶员具有完全相同的驾驶技能。驾驶的不确定性和驾驶员随时间滚动的在线交互认知，正是人工自主驾驶的魅力所在！

驾驶员行为和事故预防研究

多年来，交通事故防治工程学和驾驶员行为心理学的研究，提出交通肇事高发人群的基因变异，怀疑存在事故倾向性基因，甚至研发出《情绪易激检测仪》、《不宜开车人群检测仪》等。

智能车研发的困难，不仅仅是汽车动力学的性质和各种各样的传感器要求，更重要的是要研发和驾驶员一样在线的“机器驾驶脑”，模拟实现人在回路的自主预测和控制，应对车辆行驶中的不确定性。

把人在回路中的自主驾驶让车厂去模拟，是难以承受之重！把机器驾驶脑的研发让车厂去做，是难以承受之重！自主驾驶=∑自动驾驶模式ii=1N?轮式机器人要学习人在回路中的交互认知，应对驾驶活动随时间滚动的不确定性，确保安全行驶！学什么？

预测控制作为反馈控制策略之一，驾驶员在有限时域内的预测和随时间滚动优化，始终用当前的预测值刷新优化问题，并重新求得下一个有限时域内的解，仅仅将解控制序列中的第一个元素形成的反馈控制率作用于车。人工驾驶：人在回路的交互认知车速

Km/h视野(视觉区)注意高度（与地平面夹角）注视点（聚焦点）动视力（能见度）0210o30o3m1.518120o25o9m1.236100o20o18m1.15480o15o27m1.07270o12o36m0.810840o10o54m0.6驾驶员视野、预瞄点和车速相关车速V与注视点焦距f的关系：预瞄点f=5.0771*e0.0254V

拟合系数=0.881234案例：超车并道工况中的预测和控制生成超车并道动机，按动机行驶超车过程中，因1号车加速，中途放弃换道，回原车道换道之后，因3号车加速，并回原道仍在3号车之后强化动机，轻点油门，迅速完成换道，然后回原车道1635123416351635轻点油门换道后所在车道可用路权大，迟迟不驶回原车道1234MPC：基于可用路权模型的预测控制驾驶脑模拟在线驾驶员的交互认知：轮式机器人还要学习人的驾驶经验，根据驾驶员的脚感、手感、路感、体感，如何操作可以让乘员舒适，让车省油！学什么？怎么学？机器驾驶脑:驾驶员认知的形式化计算认知记忆认知交互认知寻“的”驾驶——轮式机器人涉及时变、非线性、有时滞，

是多约束条件下的目标优化

安全性高

舒适性好

耗油量低驾驶认知的形式化，强调如何用人工智能技术代替驾驶员的感知、认知和行为，确保车辆自主行驶，不必纠结于机器驾驶脑和驾驶员脑是否在微观上具有相似性，也不必纠结于人工驾驶和自动驾驶频繁的切换！学习和思维动机长期记忆1/4/8/32/64线

激光雷达雷达传感器24/60/76GHz

毫米波雷达静止

及运动

障碍物运动

障碍物交通标线交通信号灯中&左右耳摄像头右摄像头交通标志牌及道路二维码左摄像头视觉传感器定位传感器位置数据北斗GPSRTK

轮速计惯导CAN总线数据OBD接口车速车姿惯导车姿传感器小脑肢体驾驶地图驾驶脑执行机构控制人工干预自主决策人机交互驾驶先验知识：各类记忆棒一次路径规划驾驶态势CT图工作记忆驾驶态势图簇SLAM驾驶态势CT图驾驶态势CT图驾驶态势CT图驾驶态势CT图驾驶态势CT图驾驶态势CT图驾驶态势CT图驾驶态势CT图驾驶态势CT图认知行动位置数据位置数据交通标志牌及道路二维码交通标志牌及道路二维码交通标线交通标线交通信号灯交通信号灯CAN总线数据CAN总线数据车速车姿车速车姿静止

及运动

障碍物静止

及运动

障碍物运动

障碍物运动

障碍物感知感觉记忆在三个不同记忆区，构造不同尺度连接组的、三位一体的、多层认知网络感觉记忆工作记忆长期记忆前馈前馈反馈反馈抽象抽象演绎演绎感知理解（小尺度连接组）认知理解（中尺度连接组）认知积累（大尺度连接组）WORD速度变化量转角变化量点云中隐含着导航、周边障碍物和SLAM数据可用路权及其变化驾驶态势图驾驶态势融合模块自主决策模块控制模块在线执行模块态势记忆池决策记忆池瞬间记忆池驾驶态势图驾驶态势图驾驶态势图驾驶态势图驾驶态势图驾驶态势图驾驶脑数据流程图GPS雷达摄像头感知理解模块长期记忆池1/2路段记忆1/16路口记忆险情记忆困境记忆泊车记忆反馈反馈反馈反馈我们将调试总线扩展为自学习总线，开创自学习板块，完成深度学习和进化学习，让轮式机器人像人一样开车，研发有个性的智能车！

一旦当前的认知与过去经历的记忆进行了混合比对，驾驶脑便能对不确定未来做出合适的决策，完成大脑的创造性、运动的灵巧性以及对车无穷无尽的同化过程。

人工驾驶时，将经验驾驶员对油门、制动和方向盘的操控量抽象为认知箭头，与机器视觉形成的驾驶态势图进行一一对应，“悄悄地”生成碎片化的“驾驶态势-认知箭头”图对，然后通过深度学习，生成驾驶记忆棒。自学习模块

机器人自驾驶时，驾驶脑利用搜索匹配引擎，通过驾驶态势图，以图搜图，实时地在记忆棒中近似搜索，直接找到或者推理求出符合当前驾驶态势的合适认知箭头，学以致用，形成控制指令输出。充分发挥大数据碎片化认知的机理，克服宏观认知的形式化困难，细分约束区间，通过大量微观认知的形式化，降低形式化难度，缩小在线推理范围。自学习模块正学习：机器人向经验驾驶员学习开车经验驾驶员通过生物视觉等形成的当前驾驶态势图3路机器视觉综合形成的当前驾驶态势图驾驶员人工操控油门、制动和方向盘驾驶态势——认知箭头图对库生成驾驶态势认知箭头形式化自驾驶3路机器视觉综合形成的当前驾驶态势图驾驶态势驾驶记忆棒搜索匹配引擎认知