人机混合增强智能 课件4-在线演化与动态自适应

人机混合增强智能

-在线演化与动态自适应张军平，复旦计算机2.26起,

2025智华103；晚11-13节在线演化与动态自适应人机协同知识学习在线知识演化动态自适应人机协同人的状态、习性、技能脑机接口、脑神经媒体组人机协同混合增强智能关键技术人在回路的混合增强智能--》引入人的作用基于认知计算的混合增强智能--》依赖于生物启发中国工程院院士、中国自动化学会理事长郑南宁院士，2017年7月，西安，混合智能专委会成立大会沙龙

混合智能---孤立依赖人或机都不可靠2019年3月10日，埃塞俄比亚航空一架波音737MAX8飞机发生坠机空难2014年3月8日，马航mh370失联人机差异:一千个人中有一千个哈姆雷特外部环境：复杂性、开放性、脆弱性机器需具备感知、推理、决策（执行）的认知模型解决现实问题认知模型训练需要构建机器与人类专家之间的交互框架学习人类智能擅长能力：创新、决策、想象与联想等抽象能力底层逻辑/结构差异机器：冯诺依曼结构：进行符号系统的编码/在限定计算框架下利用计算过程处理计算作用人类智能：依赖于脑结构与神经元复杂系统，应对动态、开放的复杂环境人类智能：通过环境适应力与选择注意力机制来度量风险与收益，提升人的抽象能力环境适应力：漫长进化，外在肢体行为内化到肌肉记忆的基因里，并通过与环境交互来优化交互：零交互（离线专家）、半交互（离线+在线）、全交互（专家设计框架、在线交互)专家交互框架专家行为表示：包括经典概率图、图神经网络、因果表示、解耦表示学习等方式，构建了一个可供学习的知识表示——专家知识空间专家知识表征提取：包括经典的特征约束集、深度监督学习、深度无监督学习等方式，对专家知识空间进行特征表示的抽取，提炼出专家知识的通用表征，从而能方便地对智能体提供有效的指导——专家指导信息专家策略学习：包括基于对抗式训练、基于鲁棒性训练、基于互信息筛选等学习方式以及基于内在好奇心、贪心等探索策略，将专家指导更好地融入智能体的学习过程中，提升智能体策略的训练过程——策略学习专家知识表示、提取、学习过程，只是智能体做决策的一部分信息来源智能体还要接受来自环境的信息反馈，以及更细化更具体的目标任务信息，从而更精确地规范智能体的行为，并且在环境历史经验的常识下，以近似专家指导的行为完成目标任务人机协同知识学习

强化学习模仿学习逆强化学习离线强化学习ProbabilitiesonallillegalmovesAction(movewiththehighestscore)DecisionmakingandactionPerceptionAlphaGo强化学习框架ReinforcementLearningAnagentinteractswithitsenvironmentbyperformingactions

andlearningfromerrorsorrewards.Nopredefineddata!

Andnopredefineddistribution(i.i.d)!Reward-based.ElementsofReinforcementLearning(8要素）

Agent:thelearnerandthedecisionmakerEnvironment:wheretheagentlearnsanddecideswhatactionstoperform1.Action:asetofactionswhichtheagentcanperform2.State:thestateoftheagentintheenvironment3.Reward:foreachactionsselectedtheenvironmentprovidesareward4.策略(policy):5.价值函数：6.奖励衰减因子gamma:[0,1]之间取值环境状态转化模型：在状态𝑠下采取动作𝑎,转到下一个状态s′的概率探索率𝜖:该比率主要用在强化学习训练迭代过程中，由于一般会选择使当前轮迭代价值最大的动作，但会导致一些较好的但没有执行过的动作被错过。因此我们在训练选择最优动作时，会有一定的概率𝜖不选择使当前轮迭代价值最大的动作，而选择其他的动作强化学习基本定义轨迹期望回报最大化后获得的为最优策略pi*MDP基础设定框架贝尔曼方程（Bellmanequation）强化学习延伸设定强化学习Actor-Critic框架：旨在解决HighVariance和Highbias

之间的矛盾1516Actor-Critic算法流程1718模仿学习/学徒学习

ImitationLearning/ApprenticeLearning在强化学习的经典任务设置中，所能获得的反馈信息仅有多步决策后的

累计奖赏但在限时任务中，往往能得到人类专家的决策过程范例

例如在种瓜任务上能得到农业专家的种植过程范例。从这样的范例中学习，称为“模仿学习”，也被称为“学徒学习”。模仿学习技术旨在模仿给定任务中的人类行为。通过学习，观察价值和动作之间的映射关系，对智能体进行训练，使其能够从示教中学习并独立执行任务

在人机协同情形下，强化学习侧重于提升样本有效性

模仿学习的范式有助于以最少的专家知识来教授复杂的任务。通用的模仿学习方法可以将讲授任务的问题减少为提供示范的问题，而无须针对任务进行显式编程或设计奖励功能

模仿学习鼓励智能体在不与环境交互的前提下学习知识，这种学习在自动驾驶车辆避障、医学辅助术前诊断等交互成本偏高的场景中具有很大应用前景

RLfD：基于不完美专家数据的模仿学习算法如RLfD(RL

from

Demonstration)，在软约束下的RLfD，以及基于GAIL（GenerativeAdversarialImitationLearning）算法的改进，这些方法在不同程度上提升了模仿学习范式的泛化能力，降低了对应用场景的要求，同时提升了强化学习算法的样本使用效率。示例生成对抗模仿学习算法（GAIL）（Ho,2016)在GAIL当中，策略网络对应于GAN中的生成器，用于根据状态来得到动作判别网络用于判别一个状态动作对是由专家数据产生还是由策略产生，两者相互对抗。在专家数据量足够的一个前提下，GAIL可以得到一个较好的策略网络和判别网络。它绕开了中间的逆强化学习过程，直接从数据中学习策略。生成对抗训练的技巧被广泛使用在拟合判别器以及估计状态和动作的分布等算法的重要环节中。就专家数据而言，GAIL通常具有相当高的样本效率。但是，就训练期间的环境交互而言，它并不能特别有效地利用样本。与基于模型的方法相比，它通常需要更多的环境交互。多模态生成对抗模仿学习方法

(Hausman,2017)该方法能够在非结构化的示教数据中学习，并且能够在不同环境下进行模仿学习，以适应不同类型的任务，一定程度上提高了模型的鲁棒性

DQfD基于行为克隆的想法，有学者提出了从示范中进行深度Q学习的方法（DQfD），尝试通过加入时序差分和正则化损失来平衡专家数据，加速学习过程

Hester等人以类似的思路将DDPG

（deepdeterministicpolicygradient，深度确定性策略梯度算法）与专家数据相结合，构建出了DDPGfD算法

策略选择的动作是函数决定，效率高但缺乏探索Off-policy策略，缓解探索问题，即采样的policy是随机的，待优化的是确定的Nair等人后续也提出了类似于DQfD和DDPGfD的算法，该算法在DDPG的基础上增加了示教数据经验回放缓冲区（DemonstrationReplayBuffer），利用最小二乘损失训练策略网络，同时将强化学习中已有的损失函数与视角数据中的最小二乘损失相结合，使得策略网络去学习专家数据中的动作

第三人称模仿学习

鉴于许多模仿学习的方法都有第一人称专家数据的局限性，因此从无监督的第三人称的示教数据进行学习，让智能体通过观察其他人达成目标的过程来达到模仿专家的效果。这种学习方式从想法上与示教学习的目标不谋而合，同时也方便使用蒸馏学习等方法进行优化，利于跨领域进行算法层面的优化和集成。

DQfD不足单纯使用模仿学习的效果非常依赖于专家数据的质量。例如，在自动驾驶中，专家数据可能总保持良好的驾驶习惯，其中缺乏或罕见紧急情况下的人类反应，这使得智能体无法学习特定驾驶情形下的处理能力，安全驾驶也就无从谈起。

模仿学习方法将问题直接转化为监督学习的问题，降低了学习难度，一定程度上提高了样本的使用效率

。尽管这类算法能够加速学习过程，但缺陷在于表现不会胜过专家示教数据

基于最小化分布差异的示教学习如今露头角，尽管仍然存在如分布度量近似计算损失的性能等等问题，但对比基于标准强化学习、逆强化学习的算法而言，具有更高的数据利用率、更低的计算复杂度、更稳定以及更快速的学习效率，是发展的热门方向不足模仿学习算法通过专家示例轨迹进行训练学习，其性能严重依赖于专家样本

生成对抗模仿学习是近年提出的一种高效的模仿学习算法，它使用基于生成对抗网络的判别器奖励，指导智能体策略朝着专家策略的方向优化，最终实现模仿专家策略的目的。然而，模仿的过程不会一蹴而就，需要逐步指导，才能实现性能最优；同时受限于生成对抗网络框架的局限性，平衡判别器与生成器是算法实现的关键所在。

模仿学习的仿真平台已经高度还原真实场景，但与现实场景仍然存在很大的差距，导致难以对多任务场景的课程模仿学习，可以试图借鉴数字孪生的思想，减小仿真环境到现实世界的鸿沟（Sim2RealGap），也可加入了语义分割的辅助任务来加强模型对场景的理解，进一步利用在线的模仿强化学习通过在线交互来达到模型预测的修正，从而真正实现模仿学习算法在自主驾驶、工业运维、疾病诊断等领域的应用落地。

基于强化学习的专家示教分析框架专家示教数据的获取与表示专家知识表示在

强化学习中的指

导方式直接式先验式：指导对象为价值网络预训练：策略网络或价值网络回放式(replay):交互经验池间接式作用于价值网络的目标作用于策略网络的目标作用于收益网络的目标基于专家聚类结构的引导性探索算法实验结果逆强化学习(InverseReinforcementLearning,IRL)强化学习专注于根据收到的（人为设定）奖励信号

学习智能体（agent）在任务上的行为

和强化学习在思路上相反，在给定策略或观察到的行为的前提下，推断奖励函数的问题

主要问题和主要挑战，包括执行准确推理的难度和可推广性、对先验知识的敏感性以及解决方案的复杂度随问题规模的非线性增长。在给定一个策略（optimalornot）或者一些操作示范的前提下，反向推导出马尔可夫决策过程的奖励函数，让智能体通过专家示范（experttrajectories），来学习如何模仿决策复杂问题的一种算法

使用观察到的一个智能体的行为对另一个智能体的偏好进行建模的问题，从而避免强化学习中常被诟病的人为设定奖励函数方法

IRL选择奖励函数

R

来优化策略，并且使得任何不同于πE

（

aE∼πE

）的动作决策（

a∈A∖aE

）,其中尽可能产生更大损失。其中

aE=πE(s)

或

aE∼πE(⋅|s)

是专家最优动作优势无须人为设定奖励函数。预先设定奖励函数的要求将强化学习的实用性、最优控制理论限制在一定范围内，然而逆强化学习则可以扩展强化学习的适用性，并减少任务说明的人为设计，前提是可以提供所需行为的策略或演示。可以提升泛化性能。奖励函数用简洁的形式来表示一个智能体的偏好，并且同样适用于另一个同类智能体。如果目标主体和其他主体共享相同的环境和目标，那么就可以按照原样使用学习的奖励函数，即使是主体的环境略有不同，逆强化学习也可以提供有效帮助。

逆强化学习的潜在应用广泛

分类

用数学的形式来表示逆强化学习的思想

最大边际化问题，根据这个思想发展的算法包括学徒学习、最大边缘规划（Maximummarginplanning，MMP）方法、结构化分类和神经逆强化学习

学习一个能够使得专家策略下的轨迹的期望回报远高于非专家策略的奖励函数，从而达到无监督学习奖励函数的目的。在这样的优化目标下，习得的奖励函数会使得专家和非专家的差距不断增大最大边际化的最大缺点是，很多时候不存在单独的奖励函数

使得专家示例行为既是最优的又比其他任何行为好很多，或者有很多不同的奖励函数会导致相同的专家策略。也就是说，这种方法无法解决歧义的问题，所学到的奖励函数往往具有随机的偏好

基于模型概率的方法，并利用概率模型发展出了很多逆强化学习算法，如最大熵的逆强化学习、相对熵逆强化学习、最大熵深度逆强化学习，基于策略最优的逆强化学习等等

贝叶斯的方法，它将轨迹当中的状态-动作对视为观察结果，以促进贝叶斯更新候选奖励函数的先验分布。这种方法为逆强化学习提供了一种不同但有效的思路，并且在这种方法当中，奖励函数通常没有预设的固定结构

分类和回归之类的经典机器学习框架也在逆强化学习中发挥了重要的作用，但这类方法也同时受到了逆强化学习并非直接监督的影响

离线强化学习（无交互）基于内嵌某种准则的奖励函数，从中习得一个具有决策特性的策略行为克隆：专家的动作标签，具有直接模仿的特性，策略的目标是对标签的最大似然离线强化：具有序列决策的特性，策略的目标是为了使内嵌某种准则的奖励函数最大优点：例如，在金融领域里，学习

不依赖于

因为在线交互会产生巨大损失的策略。在健康医疗领域里，避免因在线交互的诊治方案导致的不良反应等。不需要为了应用强化算法而构建一个高仿真度的虚拟环境基于人类反馈的强化学习Step1：预训练语言模型+有标签数据微调（可选）Step2：训练奖励模型Step3：通过强化学习微调语言模型SFT(SupervisedFine-Tuning):有监督的微调，使用正常的instructionfollowing或者对话的样本，来训练模型的基础对话、听从prompt的能力RM(RewardModeling):基于人类的偏好和标注，来训练一个能模拟人偏好的打分模型RL(ReinforcementLearning):在前面的SFT模型的基础上，借助RM提供反馈，来不断通过PPO的强化学习框架来调整模型的行为。RLHF有效的解释多样性假设：在SFT期间，模型的输出预计在某种程度上与演示的回答相匹配。例如，给出提示“语言的示例是什么？”，如果演示的回答是“西班牙语”，而模型的回答是“Java”，则模型的回答可能会被标记为错误。负反馈假设：演示仅向模型提供积极信号（例如，仅向模型显示良好的回答），而不向模型提供消极信号（例如，向模型显示不良回答的样例）。强化学习允许我们向模型显示消极信号。幻觉假设：RLHF应该有助于消除幻觉DeepSeekMath:PushingtheLimitsofMathematicalReasoninginOpenLanguageModels(arxiv’2402)KIMIK1.5:

ScalingReinforcementLearningWithLLMS价值函数模拟每一步的价值（详细）规则或者RM，帮助判断输出结果的倾向计算A的基准长COT，监督信息过远DeepSeekMath:PushingtheLimitsofMathematicalReasoninginOpenLanguageModels(arxiv’2402)normalize，平滑PPO基本公式和ref不差太多这样定义相对优势，如果采样都不好呢DeepSeek-R1在监督微调(SFT)的基础上，引入GRPO进行强化学习(RL)微调。首先，对于每个输入提示，模型根据当前策略生成多个可能输出，为后续奖励计算提供丰富信息。奖励模型依据特定任务需求对每个输出打分。随后对奖励值进行归一化处理，使不同样本之间的奖励具有可比性，并计算相对优势对比同一输入下的多个输出，减少方差提高学习效率。根据相对优势调整策略模型，使其生成高奖励输出的概率增加，低奖励输出概率减少。同时，为防止策略在更新过程中发生剧烈变化，引入KL散度约束确保模型稳定性。循环执行上述步骤，逐步优化策略，使模型在特定任务上的表现不断提升。当模型性能达到稳定状态时，停止训练或调整策略。在强化学习训练完成后，DeepSeek-R1进一步采用拒绝采样技术(RejectionSampling,RS)。之后DeepSeek-R1进入最终的强化学习阶段。在模型具备较强的通用性后，再次应用GRPO算法，使其符合安全性要求，强化模型适应性。DeepSeek开发群体相对策略优化算法是算法变革的关键转折点。GRPO在价值网络应用、奖励计算方式、策略更新机制、计算效率等许多方面优于PPO。在价值网络使用方面，PPO算法中，策略网络(actor)和价值网络(critic)通常是并行训练的。PPO依赖于一个与策略模型大小相当的价值网络，来估计优势函数，调整策略网络的参数。每次更新时，PPO需要对每个时间步的状态进行评估，计算复杂度高。GRPO不再需要显式的价值网络，而是在分组范围内对多个采样输出进行对比，随后依据对比结果选取更优策略。在每次更新过程中，不再依靠价值函数来实施评估，而是通过比较同一状态下多个输出的奖励情况，直接判断哪些动作更为优良，这极大降低计算与存储方面的需求。在奖励计算方式方面，PPO采用广义优势估计(GAE)来计算优势函数。GAE需要对每个动作的即时奖励和未来奖励的折扣总和进行估计，并且要结合多个时间步的奖励信息，计算过程较为复杂。GRPO通过采样一组动作，并直接计算这些动作的奖励值，进行归一化处理，得到相对优势。这种方法避免复杂的GAE计算，直接依赖当前的奖励信号，计算更加简洁高效，灵活性更强。策略更新机制方面，PPO通过裁剪概率比（clipoperation）来限制策略更新的幅度，确保策略分布的变化在可控范围内。由于每次更新都需要裁剪，计算效率受到一定影响。GRPO采用KL散度约束来控制策略更新的幅度。KL散度度量的是两个概率分布之间的差异，用于对比新旧策略分布，从而限制更新的幅度。引入KL散度项，GRPO可以精确控制每次策略更新的幅度，确保策略不会发生过大的变化。计算效率方面，PPO需要反复维护和更新价值网络，并依赖于广义优势估计（GAE）来估计每个动作的优势，在每轮训练中需要大量计算和存储数据，计算效率更低。GRPO通过避免价值网络的使用，显著减少计算量并提高计算效率，降低内存占用。计算效率高使GRPO能够提高训练效率，减少模型训练时间，更适合大规模语言模型的微调。DeepSeek团队开发的GRPO算法，摒弃耗时且计算成本高昂的人类反馈强化学习和传统监督微调过程，使训练过程高效低耗，模型性能在某些任务上取得显著提升，模型进一步与人类偏好对齐，提高训练效率。研究人员在训练DeepSeek-R1-Zero时，发现模型出现“顿悟时刻”，即在完全没有人工标注数据的情况下，模型展现出持续的自我进化能力。“顿悟时刻”为推进AI系统的自主性和智能化提供宝贵的启示。Deepseek-R1中的强化学习特点纯强化学习，没有监督学习微调，没有评价模型（CriticModel）顿悟时刻AhaMoment自我演化(Self-evolution)计算效率提升小结数据利用率是深度强化学习的难点，因为需要智能体与环境交互产生数据，再用数据学习改善策略的方法：当前策略或同策略(on-policy)和异策略(off-policy)。异策略算法数据利用率高，可以使用历史数据，而且可以同时学习多个技能的策略，但是稳定性差。同策略算法在学习过程中无法重新利用历史数据，因为每次行动策略更新后，之前的数据就非当前策略，而是异策略的数据了。但是，其稳定性比异策略强。奖励函数的设计是另一难点：某些复杂决策任务，很难设计，即使专家也难以设计好的。基于模型的强化学习(Model-BasedReinforcementLearning)有着比异策略强化学习方法更高的数据利用率。基于模型的强化学习通常会先收集数据，学习一个动力学模型，之后基于模型，学习策略。对于有些任务，学一个好的模型比学一个好的策略要容易。逆强化学习领域，少有方法可证明分析其技术的样本或时间复杂度，并将其与其他方法比较。对于逆强化方法的复杂性和准确性，现如今普遍缺乏理论指导，并且大多数侧重于经验比较来提升性能。有一个比较关键的缺点是，现有的方法集很难合理且高效地扩展到连续的状态或动作空间，这一定程度上限制了逆强化学习的发展和实际的应用。逆强化学习许多方法都依赖于参数估计技术。元启发式算法可以有效地估计最佳参数，如杜鹃搜索算法（也有称布谷鸟搜索算法）、粒子群优化、萤火虫算法是一些比较著名的元启发算法。元启发式算法的优势不依赖于凸性，而是可以相对快速地搜索一般空间，并且致力于找到全局最优解，因此，元启发式算法也为逆强化学习的发展提供了新的视野离线强化学习禁止与环境的交互，意味着限制了智能体对高奖励区域的探索，若静态数据集中不包含高奖励的样本，则学习出来的策略在真实环境中应用，难以保证卓越的性能表现，因此静态数据集的构成需要均匀地包含高奖励的样本从真实交互收集得到的静态数据集中习得策略，同样需要解决分布偏移(distributionshift)的问题如果遇到了静态数据集中没出现过的样本，该如何处理？这本质上是一个反事实推断的问题。分布偏移中的“分布”，可以看作是状态边际分布、动作分布、状态-动作的联合分布的偏移。对于分布偏移的处理，两者出发点不尽相同

标准的监督学习如模仿学习中，假设数据独立同分布，其目的是希望通过拟合数据得到的模型分布，对于真实分布来说具有良好的表现性能与泛化性，来解决分布偏移的问题离线强化学习，通过序列决策的建模，希望通过静态数据集得到一个在真实测试环境中稍微不同、比数据集表现稍好的策略如何从静态数据集中训练出来的策略更好地与专家交互，而不是与环境交互，并融合专家的反馈进行持续地增量学习(incrementallearning)，是潜在方向在线知识演化

小样本弱监督自学习领域自适应与迁移学习持续学习课程学习自步学习小样本弱监督自学习小样本学习（Few-ShotLearning，FSL）要求机器仅利用少量样本学习解决问题的模型监督信息少，易过拟合引入先验知识是关键解决方法一：数据增广从数据集中变化数据，可以利用传统机器学习算法，例如，构造一个函数将不同类别之间的变化施加到原始样本中从而增加样本数量；充分利用弱标签或无标签数据，这两类数据都相对容易获取，可以通过对完全监督标签数据进行学习来构造预测器，给弱标签或无标签数据提供更为完善且易学习的标签，再将这些数据加入原始数据集。利用与目标数据集相似但更为庞大的数据集进行数据生成，例如利用GAN来进行数据生成。算法二：模型方面数据层模型层算法层多任务学习（MultitaskLearning）、嵌入学习（EmbeddingLearning）、外部记忆学习（LearningwithExternalMemory）以及基于生成模型方法解决方案三：算法层面数据层模型层算法层主动学习

样本的多样性能增强模型的泛化性和抵抗噪声

的鲁棒性防止人工错误标注、恶意标注对抗样本以及长尾分布的样本数据也会影响模型性能目标：减少标注成本主动学习：让模型主动去优先选择尽可能少且最具有价值的无标注样本来进行标注，使模型达到所期望的性能它从未标记样本集中对样本进行查询，通过选择函数采样出最具有代表性的无标注样本让具有领域知识的专家进行标注，随后将标注后的样本放入标记样本集让模型继续学习，如此往复循环迭代子模学习(Submodularlearning)不确定性准则和差异性准则

如何定义样本查询选择函数，即以何种策略去选择最具有代表性、区分性的样本来进行标注，两类准则基于信息熵选择较高不确定性样本的熵值袋装查询方法(EntropyQuerybyBagging,EQB)基于投票机制选择预测分歧大的样本委员会投票方法(QuerybyCommittee,QBC)基于误差减少的样本查询方法(ExpectedErrorReduction,EER)基于方差减少的样本查询方法(VarianceReduction,VR)基于密度权重的样本查询方法(Density-weightedMethods,DM)深度主动学习主动选择策略转化为回归问题进行学习，让机器自己根据学到的知识来选择出具有价值的样本进行标注（Konyushkova等）利用生成对抗网络学习有标注样本和无标注样本之间在隐空间中的表征，再利用判别器来选择需要进行标注的样本（Sinha等）使用希尔伯特施密特准则估计未标注集合中样本的相关性，从而挑选出信息量最大的待选样本（Jain等）将图上的主动学习建模为序列马尔可夫决策过程并通过强化学习的手段来得到一种可迁移的主动学习策略（Hu等）使用分布式的子模学习方法从图上找到覆盖率最高且具有代表性的节点（Bateni等）小结主动学习体现了人机协同的特点。它依赖于人类学习得到的先验知识让智能体学习、并自主选择有价值样本的能力，再通过具有领域知识的专家进行标注，让智能体继续学习，实现了人在回路中的智能学习。生成层级式：在GAN网络引入层级式的金字塔结构，不同模块负责不同尺度图像块的数据分布学习，可以简洁且高效地应对上述挑战。建立具有不同尺度子结构的GAN模型，以各个子结构分别承担对图像不同尺度语义信息理解，并研究子结构间分工、耦合、信息传递的关联机制以合理高效组织成紧密整体，保证在少数据量情形下也能实现对样本特征的充分提炼。

解耦生成针对模型无法区分前景与背景的难题，同时引入两个不同的隐变量分别负责前景与背景部分的生成。同时，考虑到前景与背景生成结果的差异化要求，采用并行独立的层级式结构分别用于生成前景与背景为了保证不同层级之间特征信息交互的质量与生成图像的多样性，研究针对不同尺度子结构的归一化方法及数据增强技术。前景分支以从完整样本中分离出来的前景部分作为学习目标，在该分支中，为了保证模型在生成多样性形态变化的同时保留原有正确的语义结构，基于示例标准化（InstanceNormalization），设计轻量级前景分支信息提取模块，获得经过数据增强后的原始图像蕴含的深层次风格信息例：GPT-4o，分层处理文生图风格提取模块：为最大化生成样本的多样性，设计风格提取模块，跟随整体模型一起完成端到端的训练而无须预训练。风格提取模块的输入由单张自然图像样本经过常规数据增强后得到，输出是一个系数张量和一个偏置张量，并作用在原始样本的数据流上。该模块将经数据增强后的原始图像转化为风格信息以供模型学习，指导模型在生成多样性形态变化的同时、保留原有正确的语义结构。注意力机制和可变形卷积设计：可变形卷积使用附加偏移量以增加模块中的空间采样位置，是一种简单高效的建模方法。引入可变形卷积层，可减轻数据增强带来的噪声干扰。并引入通道注意力机制，对通道间的依赖关系进行建模，以引导模型更关注目标本身而忽略其他干扰因素的影响，从而提升模型的稳定性与自适应能力。基于主动学习的人机协同算法设计：

针对人工手动标注标签成本较高的问题，研究基于不确定性抽样查询策略的主动学习方法，基于数据跨域相似性度量实时更新查询策略的目标函数，实现主动学习过程中高价值样本的优先标注。研究基于图的半监督分类方法，通过代价最小的路径对标签进行传播，弥补标记样本量不足的缺陷。针对流式新增样本中标记样本所占比例较小的问题，研究基于拉普拉斯回归主动学习的大数据流分类算法，通过阈值判断当前数据流的标记样本量，有效提高数据流的分类准确率。

领域自适应与迁移学习TransferLearning利用已有标签数据来辅助无标签新数据进行学习任务DomainAdaptation跨域异构分布数据知识迁移和复用的关键技术，通过从不同分布的辅助领域中迁移标注数据或知识结构，来改进目标领域任务的学习效果由于源域和目标域之间的数据分布存在差异，DA方法主要通过调整样本重要性（re-weighting）或匹配特征表示来对齐它们的数据分布衡量源-目标数据分布差异时，常用距离度量最大平均差异(MaximumMeandifference,MMD)，Wasserstein距离和Hausdorff距离SinnoJialinPan,andQiangYang.Asurveyontransferlearning.IEEETransactionsonKnowledgeandDataEngineering,vol22,issue10,pp:1345-1359,2010.特征匹配浅层方法将源数据和目标数据映射到共享子空间中减小它们的分布差异深层方法采用卷积神经网络（CNN）提取不变性特征，通过减小统计学意义上的矩匹配损失（momentmatchingloss）或对抗损失（adversarialloss，借用生成对抗网络GAN的核心思想）进行训练例：Russo等提出了对称双向自适应GAN；Chen等使用两个对抗式迁移学习网络；对抗残差变换网络(ARTNs)利用残差连接共享特征，重构对抗损失；Kurmi等引入注意力机制评估图像各区域的确定性，并在分类时关注高确定性区域。

部分迁移学习（亦称开放集迁移学习）:源数据和目标数据仅共享特征空间或标签空间中的一部分

在线迁移学习:目标域数据以数据流形式动态更新

强化迁移学习：模拟与现实之间存在“现实差距”

一些机器人动作模拟问题，比如滑动摩擦力和接触力，其背后的物理现象至今仍然没有在模拟器上百分百模拟，这就意味着很难在模拟环境当中对现实机器人进行完全精确地迁移缩小模拟和现实的差距：神经增强模拟（Neural-AugmentedSimulation，NAS）

使用从现实机器人中收集的数据训练一个递归神经网络来预测模拟和现实世界之间的差距，通过训练缩小该误差，从而提升机器人的强化迁移效果

随机化处理策略训练

机器人的强化迁移学习基于模拟环境当中丰富的样本数据来训练agent。经典算法一般基于固定的动态模型训练。

改变思路：通过随机化处理状态和动作，训练得到动态的、高适应性的策略，从而实现在现实物理系统中应用策略，不需要再进行任何训练或调整就能有效应对现实世界中的动态变化

提高策略质量，利用强化学习和变分推理学习技能的嵌入空间，之后将这些技能在真实机器人上转移和组合实现

持续学习（continuallearning/lifelong

learning

/incrementallearning)目标：学习新任务的同时，减少或者避免对旧任务的知识产生灾难性遗忘

原因：传统模型假设数据分布是固定或平稳的，训练样本是独立同分布的，所以模型可以一遍一遍地看到所有任务相同的数据

当数据变为连续的数据流时，训练数据的分布变得非平稳

模型从非平稳的数据中持续不断获取知识时，新知识会干扰旧知识，从而导致模型性能的快速下降，甚至完全覆盖或遗忘以前学习到的旧知识。

克服灾难性遗忘，模型一方面需要表现出从新数据中整合新知识和提炼已有知识的能力，另一方面必须防止新输入对已有知识的显著干扰

四种方式1、基于回放的方法（replay-basedmethod）通过对旧任务数据进行回顾学习，来避免对旧知识的遗忘。因此，它需要有大量的内存存储各个任务的数据

尽量减少存储量

：1）从任务中挑代表性的数据与平均样本特征最相近的样本、或者基于梯度选择样本

Rolnick等人以及Castro等人采用动态地调整旧任务数据保留数量的方法

2）存储训练样本的特征，而不是存储数据本身

在图像分类任务中，为每一个类别存储一个代表特征向量

3）训练一个生成对抗神经网络用来生成与旧任务数据相似的样本

一个生成网络参数的存储量远远小于所有的训练数据的存储量

不足：模型偏向于最近学习的任务，随着任务数量的增加，模型性能会逐渐下降基于正则化的方法

（regularization-basedmethod）

通过正则化新学习模型的网络参数与旧模型网络参数的差距来防止遗忘

基于蒸馏损失的方法，即输入同样的新任务数据，使旧模型和新模型的输入尽可能接近

基于正则化的方法先计算模型中对于旧任务最重要的参数，然后降低这些重要参数的学习率，在学习新任务时使这些重要参数的变化量尽可能小

经典的方法包括ElasticWeightConsolidation（EWC）、SynapticIntelligence（SI）、MemoryAwareSynapses（MAS）等

基于扩展的方法

（expansion-basedmethod）网络模型分为全局模块和任务特定型模块，在持续学习的过程中，为每个任务学习一个任务特定性模块。在测试阶段，根据任务的标志调用该任务对应的网络模块。这种方法使模型的网络结构随着任务的增加而不断扩展。同样，不断扩展的网络规模也使得模型所需存储空间不断增大、模型所需的计算资源不断增大

在脉冲神经网络的研究中，可以基于脉冲神经机制和突触可塑性两个角度实现持续学习持续小样本学习（Few-shotclass-incrementallearning,FSCIL）

学习少量新类别任务数据，同时不遗忘旧类别TOPIC方法中用NeuralGas（NG）网络学习由不同类别数据形成的特征流形的拓扑结构，并将学习到的结构存储为知识。TOPIC通过稳定NG中旧任务的拓扑结构来对减轻旧任务的遗忘，并增加NG的结构来通过少量新类别样本学习新任务的表示

Chen等人提出一种基于深度嵌入空间的非参数方法。将每个任务的知识量化为参考向量，在每个新任务学习时，使用少量训练样本为该任务添加新的参考向量

持续小样本学习（Few-shotclass-incrementallearning,FSCIL）

学习少量新类别任务数据，同时不遗忘旧类别Zhu等人提出增量原型学习方案用于显示学习各个任务的可扩展的特征表示，从而促进后续的增量任务学习。使用随机事件选择策略通过强制特征适应各种随机模拟的增量学习过程来增强特征表示的可扩展性。引入一种自我提升的原型细化机制，通过利用新任务原型和旧任务原型表示之间的关系矩阵来更新现有原型。这一机制在增强新任务原型的表达能力的同时保持了旧任务原型之间的关系特征

Kukleva等人则提出一个包含三阶段的框架用于小样本的增量学习。在第一阶段，他们学习基类任务，每个任务包含较多样本。在第二阶段，他们从新任务的少数样本中学习的分类器。在第三阶段，对所有类别的分类器进行校准

基于SNN的持续学习

考虑脉冲神经机制和突触可塑性基于深度学习网络转换的方法

在给定任务下，获得一个和目标深度神经网络具有相同输入输出映射的脉冲神经网络

通过权重调整和归一化方法，将性能良好的深度学习网络转换为脉冲神经网络，将非线性连续输出神经元的特征和脉冲神经元的泄漏时间常数、不应期、膜阈值等功能相匹配

不足：在使用双曲线正切（tanh）或归一化指数函数（softmax）后，非线性神经元的输出值可以得正也可以得负，而脉冲神经元的速率只能是正值；负值总被丢弃，导致转换后的脉冲神经网络的精度下降。同时通过转换得到的脉冲神经网络前向传播时间将变得很长，会导致延迟与能耗严重增加基于脉冲的模型训练方法

无监督学习：单层脉冲神经网络中利用脉冲时间依赖的可塑性(SpikeTimingDependentPlasticity，STDP)变体来执行分类任务

基于STDP学习规则的局部无监督脉冲神经网络的训练方法吸引了越来越多学者的关注。通过局部学习，能使记忆（突触存储）和计算（神经元输出）更紧密地相结合

基于反馈的模型训练方法

随着网络的深入，神经元的放电率会降低，称之为“消失的前向脉冲传播”

为了避免这种情况，多数工作用逐层的方式训练多层脉冲神经网络（包括卷积脉冲神经网络）在局部的脉冲学习模式，然后进行全局学习反向传播学习，以进行分类

局部和全局相结合的方法尽管很有成效，但在分类精度方面仍落后于转换的方法

基于脉冲神经网络的非易失性（持续学习）技术

，利用突触效能和突触可塑性。突触效能：根据输入脉冲产生输出的现象；突触可塑性：根据特定的学习规则调整突触权重的能力。课程学习

（curriculumlearning）由易（数据或子任务）到难（困难数据或子任务）课程学习的优势逐渐增加难度a)

提升模型在目标任务上的性能b)

加速训练过程c)

容易使用，独立于模型本身的算法课程学习的基本框架：一个课程是在T步机器学习训练中一系列训练标准C=<Q1,…,Qt,…,QT>,每一个标准Qt都是目标训练分布P(Z)的一个重新加权Qt(z)=Wt(z)P(z),

z可以是任意一个训练集中的样本。并且满足以下三个条件a)每一步训练集的熵不断增加。H(Qt)<H(Qt+1)b)每个样本权重不断增加。Wt(z)<=Wt+1(z)c)第T步标准等于训练集。QT(z)=P(z)学习策略：由DifficultyMeasurer跟TrainingScheduler两部分组成。DifficultyMeasurer用于判断训练数据的困难程度，判断哪些数据应该更早加入训练TrainingScheduler则用于决定在训练过程中不断加入新数据的时机，判断在什么时刻应该加入更复杂的样本到训练数据中有效性分析优化问题：特殊的continuationmethod，是一种针对非凸问题的优化策略先找局部最优，逐渐逼近全局最优数据分布课程学习策略会在简单数据上花费更多时间，从而避免在困难跟噪声数据上浪费过多时间，从而实现训练加速一开始先赋予低置信度数据（尾部数据）较低的权重，赋予高置信度数据（中间部分数据）较高的权重，也就是一开始的分布是接近于目标分布，然后在不断调整权重，直到全部数据具有相同权重，也就等同于训练集分布自步学习(self-pacedlearning)

---西交大孟德宇教授

SPL与CL最大的不同之处在于样本调度可直接嵌入到模型，是动态且可优化的过程利用损失大小与难易程度之间的对偶关系进行对所学样本的加权Self-pacedlearningforlatentvariablemodels,NIPS2010动态自适应人机协同

人机协同系统框架操作人员和智能控制系统同时在线、协同完成控制任务感知层、决策层、执行层人机协同模型与控制人机协同关键技术为什么表现不好开放环境感知未解决人机协同系统的关键：分配人与机器的任务按照机器自主等级依次分为三类：人为主：（1）增强操作人员感知能力的智能辅助系统;人机切换：（2）基于特定场景的人机控制权利切换系统;

自适应：（3）人机协同控制的控制权动态分配系统

（！关键所在）机器负责简单任务、操作人员负责特殊、复杂度高的任务机器对工作环境感知并判断：机器能完成机器不能完成：1）完全无法完成，转控制权2）部分完成，操作人员进行辅助机器根据自身判断或操作人员的信息自适应调整自主等级人机协同模型与控制系统构建方式人机系统建模：动力学和运动学约束，以及人体模型。由于需要人在控制过程中的参与，系统必须符合人的运动控制、学习机制，并考虑人的能量消耗问题。物理人机交互模型物理力矩分析及模型学习算法，如阻尼模型、交互力矩模型等主从控制模式：机器的自主性较低，其主要工作是执行协同控制人员发布的指令和规划好的任务

协作学习模式：人和机器需要共同协作来完成任务，机器需要识别人的意图，以此参与到任务的规划中，同时通过学习的方式将人的经验记录下来，来为后续的任务规划提供参考。协作学习模式中机器自主性更强，能主动辅助人完成任务。认知人机交互模型使机器能够识别人的意图、情感、认知等，并将其量化作为学习的样本。认知人机交互模型的类型主要有师生模式和协同模式。在师生模式中，机器通过学习不断优化自身的控制算法和模型。协同模式下机器可以准确识别人的意图，代替人做出控制决策。人机协同模型特点人类与智能系统（机）之间存在很强的互补性与智能系统的精细化感知、规范化决策、精准化控制相比，人类的感知、决策与操控行为易受心理和生理状态等因素的影响，呈现随机、多样、模糊、个性化和非职业性等态势，在复杂工况下极易产生误操作行为

智能系统对比人而言，学习和自适应能力相对较弱，环境理解的综合处理能力不够完善，对于未知复杂工况的决策能力较差

感知、决策和执行三个层面构成在智能驾驶汽车领域，其主要研究内容包括环境感知、传感器信息融合、高精度地图与定位、智能决策与规划、控制执行、信息安全等核心技术

人机协同建模方法传统机器人领域由于不用考虑人机协作部分，故而只需要对机器人进行运动学和动力学系统建模，如轮式机器人等。运动学约束用来对机器人进行平移、旋转等控制，动力学约束用来对机器人的速度、角速度等进行控制，达到优化控制器、保证系统的稳定性和参数灵敏度的目的

人机协同运动学、动力学约束，人体模型，能量消耗例：外骨骼机器人。稳定性、平衡能力、持续性步态：人在行走时的步态周期可以划分为摆动、双相支撑、单相支撑阶段。除了人机系统的静态和动态平衡建模以外，分析人机系统的能量消耗也是很重要的一部分，减少不必要的能耗能够提高人机系统的续航能力和工作效率。人机协同关键技术人机协同是人机同为控制实体，双方受控对象交联耦合，状态转移相互制约，具有双环并行的控制结构，因此要求系统具备更高的智能化水平

协同规划轨迹规划、应急处置规划等

轨迹规划是其核心功能。协同轨迹规划本质上是一个最优控制问题（动态优化问题），基于实时感知的环境信息，综合考虑机器人运动学和动力学、障碍规避和碰撞规避等约束，为机器人规划出时间、空间和任务协同的运动轨迹

路径规划全局路径规划即完全已知环境信息包括障碍的位置和几何属性，路径规划的合理性取决于对全局信息的获取程度。全局规划准确性高，但是对环境信息的依赖较大，运算较为复杂。

局部路径规划在局部区域，通过传感器和视觉技术，实时对前方的环境信息进行探测，获取障碍物的位置和几何属性。对于环境信息的搜集和该环境模型的动态更新能够随时地进行校正与全局路径规划相比，更具实时性和实用性仅依靠局部信息智能获取局部较优化路径，通常无法获得最优路径协同决策机器人可以实现规范化决策，但对于未知复杂工况的决策能力较弱；人具有比较强的解决非结构化、非程序化问题的能力，而对于复杂的数值计算问题，计算机具有人无法比拟的能力

人机协同既有分工又有协作

通过人机决策任务分配，将适合于机器做决策的任务交给机器去做，将适合于人做决策的任务交给人去做，两者在共同决策过程中相互取长补短，共同进行协商决策

人和机器对有些问题同时做出决策，最后通过综合评价得到比较合理的结果，因为人和机器解决问题的思路、方法、侧重点各有不同

这种决策方式的全面实现还有待于机器对人类语言理解的进一步提高（大模型？）。人机之间交互方式、态势理解、决策判断不一样,导致“高/低智能体”的沟通存在较大的困难。决策层主要包括操作人决策意图识别、操作决策辅助、轨迹引导，以及危险事态建模技术，危险预警与控制优先级划分，驾驶员多样性影响分析等

协同控制控制层的控制互补人机协同中人和系统同时在环，操作人员操控动力学与智能系统操控动力学互相交叉，交互耦合，具有双环交叉的特点需建立“人在回路上”的自主协同控制体系,满足开放式、互操作、低人机比、有限资源等需求,发挥人机能力互补的优势

人机协同控制难点针对操作人员随机、多样、模糊、个性化和非职业化的特征,如何形成满足个性化需求的人机协同控制方法;操作人员的状态和意图，对人机协同控制策略的制定起到了至关重要的作用,如何准确监测操作人员的状态和辨识操作人员的意图；针对复杂的环境及恶劣天气情况下,研究全工况、全天候的人机协同控制方法;人机协同操作是一个人–机–环境–任务强耦合系统,其测试场景和任务难以穷尽，评价准则纷繁复杂,

如何测试与评价人机协同控制

研究现状举例摄像头来捕捉使用者头部的运动状态，通过主动形状模型来进行人脸特征点的定位，再使用几何方法计算头部的姿态估计，从而实现人机协同

Cheng等通过多传感器实现对操作人员生理指标的监测和当前行为的获取,通过数据集成对使用者的当前状态进行评价

Salazar-Gomez等提出了通过使用者的事件相关电位（Event-relatedPotential，简称ERP）来对被操作机器行为进行反馈的方法，实现了人与机器形成闭环

Zhuang等通过采集使用者的肌电信号，来辅助扭矩传感器同步检测使用者的意图，能够很大程度提高意图识别的速度，从而减小人机协同的错误率

习慈羊等提出了一种汽车-驾驶员模型，该模型通过寻找合适的转向盘转角使得所驾驶车辆的运动轨迹与预期轨迹在允许的误差范围内

高振刚等将人工辅助决策和改进的智能算法相结合，利用人的经验和智慧来弥补智能算法的不足，从而对突发情况下的轨迹规划问题进行快速反应，充分体现了人机协同的优势

张蕊等使用神经网络控制，并考虑到操作者上肢在控制过程中引起的外力的影响，形成了一种人在环中的控制。人机协同控制中另一个关键的问题是人与机器控制权的切换控制

陈虹等的工作中，当操作者与机器一方不能胜任控制任务时，系统会强制向另一方移交控制权,而双方均能胜任时控制权自行转移至能力更好的一方。

研究难点与意义由于机器的存在会影响操作者的传统认知和决策习惯，如何对人机系统系统下操作者的认知和决策的理论建模还研究尚浅

人机控制切换的研究依然缺少相关的理论基础，对发生切换的场景尚未有全面的探讨

情感：人类心理变化与人机协同模型的关系。李慧等把心理学理论用于人机系统的模型建立当中，充分考虑人的生理和心理特性，可更有效地利用系统的人力资源和机器资源,实现系统的最佳人机协作,从而提高系统的总体效能

开放动态场景的切换可能会显著降低人类的情境意识，并可能干扰人类的理解能力，导致人机系统性能下降

构造动态自适应人机协同框架，可以降低现有算法在应用于人机混合增强智能的典型对象时的风险。动态自适应人机协同针对机器人、机械臂、智能穿戴产品与无人机等设备有着非常广泛的应用。可用于提升操作人员的状态检测以及意图辨识的准确度，最大化发挥智能系统的自主学习、自主决策、主动交互、情境感知等能力，产生可观的社会效益

人的状态、习性、技能

人体模型构建姿态估计研究步态识别（见CCBR—2025PPT)人体模型构建：自动驾驶汽车预测周围车辆的驾驶行为在自动驾驶汽车中至关重要普适性人体模型

可调通用模型，从人体微观肌肉和人体行为决策的角度描述受控环境中的人体行为，同时考虑到受控系统的不确定性

驾驶行为中具有可完成驾驶任务的共性特征，研究基于控制工程理论、认知心理学与数据统计分析相结合的驾驶行为固有属性表述与建模方法，揭示驾驶员对复杂环境的响应机理、探究影响驾驶员对驾驶任务规划与决策的内因，建立驾驶员技能学习过程模型

结合认知推理规则，识别时间序列状态下的非结构环境变化问题，研究人体行为意图与情绪辨识，增强对语音/手势/情绪等多元信息复合与理解

个性化人体模型

针对在驾驶过程中，驾驶员所具有的复杂性、随机性和易变性，驾驶状态、习性和技能等显著个性差异，研究不同场景下的驾驶员行为，包括换道、交叉口通行等其他横向和纵向的驾驶员行为以及更复杂的交通和路况，设计典型工况实验，进行不同类型驾驶员的人-车-环境闭环系统下驾驶数据的采集，建立基于深度数据挖掘与自学习方法的驾驶状态/负荷的在线监测方法不同类型驾驶员的驾驶习性和技能的表征与辨识方法，实现导致驾驶行为差异性的特征变量提取和定量表述，实现具有个性化的驾驶员模型

针对驾驶员建模时的复杂性，建立一个有效的参数估计方法，从而降低巨大的计算成本；针对驾驶员模型中的分类问题，研究人在环的人机协作中通用的驾驶员分类以及分类方法，构建基于海量驾驶数据的驾驶员分类模型

针对驾驶员模型的鲁棒性、稳定性问题，研究基于高斯隐马尔科夫模型与混合智能学习相结合的其他模仿学习算法，促进智能驾驶系统在安全、舒适、人性化及个性化等性能的全面提升

示例Wang等提出了一种基于学习的个性化驾驶员模型，能够处理非高斯和有界的自然驾驶数据。通过将HMM与有界广义高斯混合模型（BGGMM）相结合，建立了一个BGGMM-HMM框架来对驾驶员行为进行建模

Yang等研究了利用车辆传感数据来研究驾驶员在不同交通场景下的行为。通过将机器学习技术应用于驾驶行为模型的建构，探讨其在驾驶者辨识中的应用

Schnelle等提出了一种基于人体驾驶模拟器实验的横向和纵向驾驶员模型，该模型能够通过驾驶员模型参数识别来识别不同的驾驶员行为

Fang等提出了一种新颖的多人姿态估计（RMPE）框架，由三个组件组成：对称空间Transformer网络(SSTN)、参数化姿态的non-MaximumSuppression(NMS)和姿态导向的生成器(PGPG)，可以处理不准确的边界框和以及进行冗余检测

Newell等提出了一种关联嵌入方法，可以让网络同时输出检测结果和进行分组分配。该方法还可以很容易地集成到任何最先进的网络架构中，从而进行逐像素预测。

Zhao等提出了一种改进的神经肌肉系统控制驱动模型。假设驾驶员通过间接和直接控制调整方向盘角度。间接控制是指适应驾驶员感知的模型内部参数。直接控制是来自于驾驶员触觉反馈的纠正措施。模型的参数是由驾驶模拟器进行的实验中收集的数据而来

驾驶员换道机动随机性大，影响因素复杂。因此，建立一个能够同时描述驾驶员换道意图和操纵行为的驾驶员换道模型具有重要意义具身智能：姿态估计研究人体姿态估计是针对图像或视频中人体关节（也被称为关键点，如手腕、肘部、颈部等）的定位问题，也可以定义为根据图像或视频数据在所有关节姿势空间中针对相应特定姿势的检索问题

骨架是一组坐标点，可以连接起来以描述该人的位置及姿势。骨架中的每一个坐标点可代表相应的人体关节（或关节、关键点），两个坐标点之间的有效连接可代表相对的人体肢体LeapMotion手势识别--->

MidjourneyDeepPose是第一篇将深度学习应用于人体姿态估计的重要研究文章Shin等提出了一种手势深度学习技术：从显示深度信息的输入图像中识别手部姿势的估计。该系统使用卷积神经网络(CNN)在手掌关节和指尖的帮助下检测3D手势Wang等提出了一种简单而有效的自监督学习机制，从丰富的图像中学习人体姿势的所有内在结构。具体来说，所提出的机制涉及两个双重学习任务，即2D到3D姿态转换和3D到2D姿态投影单人姿态估计，多人姿态估计，

人体姿态跟踪，3D人体姿态估计单人姿态估计任务为根据输入人体图像识别所有人体关键点：输入一张含有人体肢体的图片，通过端到端的神经网络输出成比例的空间热度图（通道数为关键点个数），在热度图上进行检索确定关键点位置

多人姿态估计任务为识别图中多个行人所有关键点，并进行准确的行人关键点组合自顶向下方法，即先通过人体检测器识别所有行人位置、再分而治之进行单人姿态估计自底向上方法，即先寻找图中所有人体关键点再进行精确组装，优点在于无须人体检测器即可实现多人识别、处理速度不随场景中人数增多而明显变慢、对肢体遮挡及高密度人群识别等复杂应用场景适用性更好等难点：遮挡/例：养老院人体姿态跟踪任务：对于连续视频中所有行人进行肢体关键点的连续跟踪

相较仅需识别大体位置的行人跟踪任务、人体姿态跟踪任务的难点在于人体运动带来的关键点大幅运动（如行走中摆手导致的手部关键点的大幅度摆动同人体总运动趋势存在大幅差异）。解决方法，可考虑采用上一帧继承和相似度约束人体关联的SimplePose等3D人体姿态估计是数据从2D平面图像视频数据扩展到3D立体数据的结果，难点在于3D维度提升带来的数据规模处理和人体模型建模的问题给出人体的3D关键点：将3D关键点提取分解为2D关键点提取和3D投影的，以及利用2D特征补全3D关键点的

给出人体的3D表面，可认为是更稠密的骨架信息，相关工作有Densepose等脑机接口、脑神经媒体组

脑机接口与类脑智能脑神经媒体组学脑机存算一体技术精准安全脑机脑机接口的意义脑机接口与类脑智能通过对人类的脑神经活动信号进行编解码，构建了人脑与外部世界的双向连接通路。脑机接口接收到的数据在来源上往往比较丰富，差别差异大，但或多或少与视听觉相关。因此，不妨将这些数据的合集笼统称为多媒体数据脑神经媒体组学探究了如何实现计算机对多媒体内容达到接近人脑认知的语义级理解水平，从而实现脑认知神经科学与多媒体信息技术的跨领域交叉研究脑机存算一体技术探究了如何采用新型架构对人机混合知识进行计算存储精准安全脑机进一步融合生物智能和机器智能，实现更安全可靠的混合智能脑机脑机接口（Brain-computerInterface，BCI）

与类脑智能1999年，来自哈佛大学的GarrettStanley曾试图通过猫的脑电信号来重构图像，并获得了非常不错的成果

通过内源性光源成像、功能磁共振成像、双光子成像、多通道电生理记录等方法可以实现从大脑到机器的信号传递；通过光遗传刺激、聚焦超声波刺激、微电刺激可以实现从机器到大脑的信号传递

近年来，脑机接口所使用的传感器已从一开始较为笨重庞大的款式，逐渐发展为微型化的、柔性的、低功耗的传感器

2020年，埃隆·马斯克旗下的脑机接口公司Neuralink发布了一款有1024个通道的脑机接口芯片，并在发布会上向公众展示了植入该芯片的三只小猪，以及芯片的运作情况，该装置实现了对猪行为轨迹的精准预测。脑机接口特点：双向传递从机器监测大脑活动，读取大脑与特定行为相关的信号，还可以将机器上的外部信息反过来传递给大脑

将大脑与现有的信息系统连接到一起，超越原来机器互联的互联网，以及万物互联的物联网，进化到大脑互联的“脑联网”

脑机接口主要模块（1）脑神经信号采集模块，基于侵入或非侵入式设备，通过电、磁、光等各种物理学原理，将脑神经活动采集并实时传输出来；（2）脑神经信号分析处理模块，结合机器学习与信号处理方法对神经信号进行编码，从神经信号中提取关键特征和识别状态实例；（3）应用模块，将所识别到的思维活动状态翻译为机器指令；（4）反馈模块，获得环境反馈信息后再作用于大脑。近年来，基于多模态深度学习算法实现的脑神经信号分析处理模块，在多模态情感脑机接口的基础上也产生了很多有代表性的应用。如结合脑电等生理信号与视频等外部行为信号进行更为鲁棒的情绪识别，基于脑机接口的工作负荷检测和抑郁症客观评估系统等。

脑机接口，增强/恢复

感知、决策、认知、行为等能力感知：机器智能可以帮助生物智能增强感知或恢复能力通过机器智能增强大鼠的听视觉感知能力，实现大鼠在环境中的精确导航，或通过机器智能帮助脊髓受损的病人恢复手部知觉。认知：机器智能能够改变、增强生物智能的认知能力，包括记忆、学习能力等等。早在2013年，科学家就成功在大鼠的脑中植入了一段虚假的记忆。另外，来自浙大潘纲教授的团队在2016年完成了一项通过机器智能增强大鼠学习能力的实验，实验证明混合智能的大鼠表现出了更好的迷宫探索能力。行为：机器智能能够帮助生物智能通过意念控制机器，达到增强、恢复生物原本行为能力的效果。浙大的研究团队在2012年成功实现让猴子通过脑信号控制机械手臂完成了抓、握、勾、捏四种手部动作。美国一位四肢瘫痪十五年的患者通过意念控制机械手，完成了抓取杯子并喝水的行为。2019年，来自加州大学的研究团队实现了一种神经解码器，通过解析人类说话时的运动学大脑皮层信号以及声音表征，成功将脑电信号转变为可理解的合成语音，并能够以流利的速度输出，准确率达到90%。2021年，来自斯坦福大学的研究团队在瘫痪患者的大脑植入了微电极阵列，解析出患者手部书写时的神经运动信号，实时翻译为文字，实现了快速的脑机通信，输出的速度达到惊人的90个字符每分钟。难点如何实时、高通量地获取稳定的脑信号如何寻找和制造能与生物体长期兼容的电极材料如何建立神经信号对不同功能脑区信号的编码理论研究如何解析涉及到多脑区功能产生的脑电信号以及如何融合多种脑电信号，完成一个具备更多功能、更为通用的脑机混合智能应用。潜在方向基于便携可穿戴设备的鲁棒脑信号提取

综合成本与安全性的考虑非侵入式的头皮脑电信号（EGG）是最主流的信号采集方式。受复杂脑内外环境和设备的干扰，EEG常受限于精度而难以实际落地。通过结合深度鲁棒性学习方法解决嘈杂环境下的关键特征提取，可能是增强便携设备的脑信号提取，以及与未来大规模脑机接口落地的重要突破口。

基于人机智能融合框架的混合脑机接口

主要研究路线，是将脑机接口的人机共享控制系统分解为人和机器智能两个部分

先分离再融合的策略虽可以大幅降低共享控制系统的难度，但是这种做法还没有完全体现人机共生的关系

基于群体脑机接口的多智能体共享控制

大多数基于脑机接口的人机协作技术主要是针对单智能体进行的，而现实世界中许多任务需要多个智能体之间通过彼此合作完成

如何克服多智能体的系统规模大、复杂度高与不确定强等问题，实现基于脑机接口的多智能体共享控制以及群体脑机接口都是未来的热点研究方向。

侵入式的芯片植入技术

Neuralink的大脑芯片目前已对小猪和猴子进行了植入实验。他们表明了在首批人类身上，即有严重脊髓损伤，如四肢瘫痪的人身上，安装Neuralink装置的期望

对于那些患有帕金森症的病人，也可以通过植入芯片的电信号来刺激瘫痪者的大脑，也能通过提取脑部的思想活动来控制身体运动与操控机器，从而在医疗技术领域实现颠覆性的创新

例：复旦脑科学研究院张嘉漪老师的人造视网膜脑神经媒体组学数字技术的进步伴随着海量多媒体数据的出现，多媒体将文本、图像、语音、视频等数据形式紧密混合一体，使得多媒体数据多源异构且关联复杂

如何让计算机对多媒体数据进行语义分析和关联建模，从而理解语义内容

？计算机获取的底层视听觉特征，仍无法准确表达多媒体中蕴含的高层语义信息，一直阻碍着人机协同方向的发展

认知科学研究指出，大脑的生理组织结构决定了，它对外界的感知和认知是融合多种模态信息的处理过程

已有研究尝试通过利用脑成像技术记录大脑功能活动区，来量化多媒体理解过程中的脑功能区响应，并利用其中包含的语义信息来指导计算机对多媒体信息的理解

多媒体智能的发展也有助于脑科学研究取得新的突破，通过设计多媒体或自然刺激下的神经编解码模型，研究大脑的工作机理

多媒体内容理解的两大挑战：（1）“异构鸿沟”，指图像、音视频等不同数据的来源、类型和特征表示方式不同，难以统一表征；（2）“语义鸿沟”，指多媒体数据表征和人的认知之间存在差异。如何综合利用多媒体数据，借鉴生物的跨媒体信息表达和处理机制，突破“异构鸿沟”和“语义鸿沟”难题，是多媒体内容理解研究亟须解决的关键挑战。“脑神经媒体组学”通过多媒体刺激下，fMRI图像数据分析获得反映脑功能认知的可计算特征，并利用机器学习理论，实现大脑反应信息对多媒体视听觉特征的指导、优化和融合，以提高计算机对于多媒体内容的理解能力，从而实现脑认知神经科学与多媒体信息技术的跨领域交叉研究三个关键技术定位参与多媒体理解的脑功能区

传统脑网络空间分辨率过低，难以满足对大脑的结构和功能描述、对实施多媒体刺激后刻画内容的需求，需要构建高分辨率脑网络。

大脑皮层地标定位系统——DICCCOL（DenseIndividualizeCommonConnectivity-basedCorticalLandmarks）。他们利用发现的共性纤维连接端点作为节点，构造有358个节点的脑网络，通过纤维模式形状表示对应的功能，实现了高密度、个性化网络节点的精确定位，为有效量化多媒体理解过程中的大脑网络响应提供了保障提取多媒体理解的脑功能特征

（1）通过计算相关性，来获取脑区功能连接矩阵，得到的特征能