CN114642876B 用于跨外围装置生态系统协调游戏触觉响应的系统和方法 （戴尔产品有限公司）

US2018161671A1,2018用于跨外围装置生态系统协调游戏触觉响一种触觉外围装置生态系统协调系统可包件指示符而识别在所述3D游戏环境中发生的游器将触觉命令传输到所触发的触觉外围装置的的触觉外围装置是基于所述游戏动作事件的所触觉外围的所述控制器在所述所触发的触觉外围装置处在与所述动作事件相对于所述玩家化身图像的所述位置相关的相对于用户的位置处2处理器，所述处理器识别在所述3D游戏环境中发生的游戏动作事件，并件指示符在所述3D游戏环境内确定所述动作事件相对于玩家化所述处理器将触觉命令传输到所触发的触觉外围输入/输出装置的控制器，所述触觉命令是基于所述动作事件指示符而从多个触所述所触发的触觉外围输入/输出装置是基于在所述3D游戏环境内相对于所述玩家化身图像的所述位置的所述动作事件相对于所述触觉外围输入/输出装置生态系统中的所述所述所触发的触觉外围输入/输出装置的所述控制器执行所接收的触觉命令，以在与所述动作事件相对于所述玩家化身图像的所述位置相关的相对于用户的位置处在所述所触发的触觉外围输入/输出装置的所述触觉区域内导致触2.如权利要求1所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调系3.如权利要求1所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调系4.如权利要求1所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调系5.如权利要求1所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调系6.如权利要求1所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调系围输入/输出装置内的热电发电器TEG施加电7.如权利要求1所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调系所述处理器基于检测到的视觉动作事件指示符与检测到的音频动作事件指示符的组经由处理器识别发生在所述3D游戏环境中的游戏动作事件以生成检测到的动作事件确定所述3D游戏环境内的所述游戏动作事将基于对所述游戏动作事件的识别而从多个触觉命令中选择的触觉命令传输到基于所述3D游戏环境内的所述游戏动作事件相对于触觉外围输入/输出装置生态系统中的所触发的触觉外围输入/输出装置上的触觉区域的已知位置的所述位置和类型，而从触觉外围输入/输出装置生态系统内的多个外围输入/输出装置中选择的所触发的触觉外围输入/输3经由所述所触发的触觉外围输入/输出装置的所述控制器来执行所接收的触觉命令，以导致与所述游戏动作事件的所述类型相关的所述所触发的触觉外围输入/输出装置的所执行所述所接收的触觉命令以通过向所述所触发的触觉外围输入/输出装置内的热电执行所述所接收的触觉命令以通过向所述所触发的触觉外围输入/输出装置内的热电经由所述处理器基于从游戏应用程序代码接收的动作事件指示符而识别所述游戏动经由所述处理器基于检测到的视觉动作事件指示符与在所述3D游戏环境内所述游戏动作事件相对于玩家化身图像的所述位置的组合而识经由所述处理器执行训练过的图像辨识模型的代码指令，以在经由所述显示装置显示的所捕获的现场游戏图像内所述游戏动作事件在所述3D游戏环跨所述所触发的触觉外围输入/输出装置的多个触觉区域生成与所述游戏动作事件的经由所述处理器执行训练过的图像辨识模型的代码指令，以在经由所述显示装置显示的所捕获的现场游戏图像内所述游戏动作事件在所述3D游戏环跨所述触觉外围输入/输出装置生态系统内的所述多个外围输入/输出装置生成与所从所述显示装置的固件接收所述显示装置的所识别的像素区的像素亮度变化的所测经由所述处理器基于像素亮度变化的所述所测得的量值和速度以及所述所识别的像跨所述所触发的触觉外围输入/输出装置的多个触觉区生成与所述游戏动作事件的所处理器，所述处理器识别在所述3D游戏环境中发生的游戏动作事件，并且确游戏环境内的所述游戏动作事件的位置和类型以生成检测到的所述处理器将触觉热命令和触觉运动命令传输到所触发的触觉外围输入/输出装置的4所述所触发的触觉外围输入/输出装置是基于所述3D游戏环境内的所述游戏动作事件相对于所述触觉外围输入/输出装置生态系统中的所述所触发的触觉外围输入/输出装置上的触觉区域的已知位置的所述位置和类型，而从触觉外围输入/输出装置生态系统内的所述所触发的触觉外围输入/输出装置的所述一个或多个控制器执行所接收的触觉运动命令以导致所述所触发的触觉外围输入/输出装置的所述触觉区域内的触觉运动，并且所述触觉区域位于与所述游戏动作事件的所述位置和类型相关的相对于用户的位置17.如权利要求16所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调18.如权利要求16所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调系统，其中所述触觉运动命令识别由所述一个或多个控制器跨所述所触发的触觉外围输入/输出装置内的压电致动器而施加的电压的量值，以导致多个预设强度水平中的一者下19.如权利要求16所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调系统，其中所述触觉运动命令识别由所述一个或多个控制器跨所述所触发的触觉外围输入/输出装置内的压电致动器施加电压的持续时间，以导致多个预设持续时间中的一者内20.如权利要求16所述的用于信息处置系统的触觉外围输入/输出装置生态系统协调系统，其中所述触觉热命令识别由所述一个或多个控制器向所述所触发的触觉外围输入/输出装置内的热电发电器TEG施加电压的持续时间，以导致多个预设持续时间中的一者内5围装置生态系统内的一个或多个压电致动器处协调生成[0002]随着信息的价值和使用不断增加，个人和企业寻求处理和存储信息的额外方[0005]图2是根据本公开的一个实施方案的触觉掌托部分和热触觉键盘组件的侧面剖视[0008]图5是根据本公开的一个实施方案的其中可发生游戏动作事件的三维游戏环境的[0011]图8是示出根据本公开的一个实施方案的识别视觉游戏动作事件的方法的流程[0012]图9是示出根据本公开的一个实施方案的在多个外围装置处发起热触觉反馈的方[0013]图10是示出根据本公开的一个实施方案的跨输入/输出装置的多个触觉地带呈现6身在现场游戏期间遭受伤害或受伤时，sonyBplaystation®或Microsoft®xbox®[0017]随着涉及经由键盘、鼠标或耳机装置的用户输入的基于计算机的游戏越来越流面区域使得这些外围装置中的一者或多者处的热触觉反馈有可能表示在游戏内发生的事每一者可基于玩家化身按照经由多个外围输入/输出装置(诸如键盘、鼠标或耳机)中的任的其他形式的攻击。需要一种系统来跨多个外围输入/输出装置的多个触觉区提供和协调[0018]本公开的实施方案中的触觉外围装置生态系统协调系统跨多个热触觉输入/输出地点)以及外围输入/输出装置中的一者或多者的壳体下方的压电致动器可提供本文描述围装置生态系统协调系统接收的触觉命令中识别的触觉区(例如，掌托的部分、鼠标的部7分)将电荷传输到特定热电发电器(TEG)阵列。本文描述的实施方案中的此类TEG阵列可使用珀尔帖效应(还称为热电效应)进行操作，其中向TEG阵列的p-掺杂半导体和n-掺杂半导极性而对TEG阵列的顶部和底部电绝缘体进行[0020]本公开的实施方案中的触觉外围装置生态系统协调系统基于在现场游戏内发生的所识别的游戏动作事件而向外围装置生态系统内的多个外围装置中的一者或多者的特身)以及由所述化身在这些所捕获的训练图像中的每一者内采取的动作进行标记以形成图[0021]然后可将这些所标记的所捕获的训练图像输入到图像辨识模型中以便训练所述时识别与所述游戏动作事件相关联的视觉动一种类型的攻击、遭受伤害)相关联的视觉动作事件指示符在现场游戏期间出现时访问这8围装置生态系统协调系统访问的介质中。可对在一个实施方案中的这些音频信号进行分本文描述的实施方案中以此类方式识别的音频动作事件指示符也可与游戏动作事件相关[0024]触觉外围装置生态系统协调系统可在本文描述的实施方案中基于对视觉动作事件指示符的识别、对音频动作事件指示符的识别或以上两者的组合而识别游戏动作事件。于对用户经由热触觉输入/输出外围装置(例如，鼠标或键盘)中的一者或多者输入的命令事件指示符或音频动作事件指示符之前基于确定用户是否提供了输入命令(例如，用武器开火、使化身在特定方向上移动)而在由玩家化身发起的游戏动作事件与不是由玩家化身生态系统协调系统可识别在由热触觉输入/输出外围装置中的一者执行时可提供特别与所识别的游戏动作事件相关联的热触觉反馈的触觉运动命令、触觉热命令或以上两者的组可将此类触觉运动命令或触觉热命令传输到与此类命令相关联的热触觉输入/输出外围装[0026]在本文描述的实施方案中经由触觉外围装置生态系统协调系统传输到外围装置[0027]在本文描述的实施方案中在与用户接触的外围装置表面处发起的热触觉反馈的9觉热命令中的一者或两者而在用户与其物理接触的多个外围输入/输出装置中的一者处发[0029]现在转向附图，图1示出根据本公开的若干方面的类似于信息处置系统的信息处为指令124)的膝上型计算机或桌上型游戏系统。游戏应用程序可包括由信息处置系统100110或任何其他输入或输出装置与游戏环境接合的任何计算机代码。在本文描述的各种实实施方案中的热触觉输入/输出外围装置可包括热触觉耳机装置、热触觉鼠标或热触觉键括两个或更多个TEG，其在本文的实施方案中包括夹在两者都由例如陶瓷制成的顶部电绝与在执行游戏应用程序期间在显示于视频/图形显示装置110上的游戏环境中执行的动作为客户端计算机而操作，或者在对等(或分布式)网络环境中作为对等计算机系统而操作。在特定实施方案中，可使用提供语音、视频或数据通信的电子装置来实施信息处置系统118，所述电源管理单元经由电池117或交流(A/C)电适配器119向信息处置系统100供应电[0035]信息处置系统100可包括体现所述装置中的一者或多者或执行用于本文描述的一上或单独的客户端信息处置系统中的机上操作的代码指令124。在一些实施方案中，应理他应用程序和驱动单元116的触觉外围装置生态系统协调系统132的指令124的计算机可读系统时钟连同诸如全球定位系统的任何位置检测器一起或与连接到一个或多个网络128的网络接口装置120协调地跟踪当日时间时钟。信息处置系统100还可包括一个或多个总线载波一起使用的可在许可频谱和未许可的频谱中操141可操作以按照从触觉外围装置生态系统协调系统132接收的触觉命令而将电荷传输到置生态系统协调系统132可执行的软件代码可使用此类亮度变化来确定游戏动作事件。可描述的一个或多个实施方案可使用两个或更多个特定互连的硬件模块或装置与可在模块之间传达以及通过模块传达或作为专用集成电路的部分传达的相关控制和数据信号来实[0043]本公开预期一种计算机可读介质，所述计算机可读介质包括指令、参数和简档另一示例，外围装置驱动器114可操作以从输入/输出装置驱动器112接收命令或向其提供用程序指令124的各种软件模块可由操作系统(OS)和/或经由应用编程接口(API)来协调。示例性操作系统可包括windows、Androidg和其他OS类型。示例性API可包括Win输出外围装置112的一部分或触觉区的热触觉反馈相关联的所识别的游戏[0045]磁盘驱动单元116和触觉外围装置生态系统协调系统132可包括计算机可读介质104和静态存储器106还可包含用于存储一组或多组指令、参数或简档124的计算机可读介示例性实施方案中，触觉外围装置生态系统协调系统132和外围装置驱动器114可存储在静单个介质或多个介质(诸如集中式或分布式数据库，和/或相关联的缓存和服务器)。术语执行本文所公开的方法或操作中的任何一者或多者的任何介质。境)接收的信息。电子邮件的数字文件附件或其他独立的信息档案或档案集可被视为等效等同物以及可在其中存储数据或指令的后继介质中的任何一[0048]信息处置系统100还可包括电源管理单元(PMU)118(又称为电力供应单元(PSU)耦合到总线108以提供此电力。PMU118可调节来自诸如电池117或A/C电源适配器119的电[0049]信息处置系统100还可包括可以可操作地连接到总线108的触觉外围装置生态系统协调系统132。触觉外围装置生态系统协调系统132计算机可读介质122还可包含用于数输入/输出外围装置112的触觉区相关联；以及致使在所识别的触觉区处发生热触觉反馈。在一个实施方案中，触觉外围装置生态系统协调系统132可基于所识别的游戏动作事件和[0050]在一个实施方案中，触觉外围装置生态系统协调系统132可根据本文描述的各种可基于由视频显示器110的固件记录的在视频显示器110的各个区中的像素亮度的所测得入有视频显示器110和热触觉输入/输出外围装置112的计算装置内，或者可发生于在云环境中操作并且可通信地耦合到那个计算装置的触觉外围装置生态系统协调系统132的一部装置执行经由视频显示器110显示的游戏应用程序的代码指令之后部分地操作，并且在一练了机器学习模型之后，触觉外围装置生态系统协调系统132可经由对游戏动作事件的机器学习推理模型辨识或通过在游戏期间的用于触觉反馈的编码的游戏指令来检测在游戏运动相关联的所识别的游戏动作事件以生成热触[0051]根据本说明书，触觉外围装置生态系统协调系统132可执行与以下操作相关的任数据集作为输出。可由执行热触觉反馈模型评估系统的处理器102使用所述图像辨识数据过接收在执行游戏应用程序期间获得的所捕获的图像作为训练输入来训练所述卷积神经统132卷积神经网络或其他机器学习模型的所捕获的图像还可包括诸如对象、动作或其他此实施方案中，可在用户参与与游戏环境的交互时对触觉外围装置生态系统协调系统132觉外围装置生态系统协调系统132接收输出，所述输出限定了描述在执行游戏应用程序期132的推理模型训练神经网络或其他机器学习模型可操作以实时地辨识游戏图像来识别游置112处的热触觉反馈相关联的游戏动作事件的那些环境特性。在模型评估系统已经确定外围装置驱动器114可包括操作以通过将来自处理器102的信号中继到外围装置控制器141来控制热触觉输入/输出外围装置112的任何计算机代码。热触觉输入/输出外围装置控制自处理器102的热触觉信号到压电致动器(PEA)驱动器143-1、143-2、143-n和热电发电器如)形成在印刷电路板(PCB)140上的串行连接器而操作性地耦合到热触觉输入/输出外围置控制器141的PCB之外的专用PCB140，并且其用作用于热触觉输入/输出外围装置112上戏应用程序接收的音频信号等。触觉外围装置生态系统协调系统132可基于游戏动作事件的3D游戏环境位置或类型而呈现热触觉反馈，并且激活输入/输出装置112或每个输入/输戏时可利用的触觉外围装置生态系统中的何处发送热壳体的表面施加加热效果或冷冻效果。这可包括用户可能会触碰到的热触觉输入/输出外入/输出外围装置112的表面的可被单独地加热或冷却列的TEG引线处施加的电压量或电压极性而对顶部电绝缘体和底部电绝缘体进行加热或冷起被激活以对热触觉输入/输出外围装置112的壳体进行[0058]在一个实施方案中，第二TEG阵列170-2(例如)可包括耦合到第一TEG引线的第一组TEG(形成第一TEG阵列)与耦合到第二第一TEG引线的第二组TEG(形成第二TEG阵列)。所述第一组TEG和第二组TEG中的每一者可操作性地耦合到柔性基底，使得所述第一组TEG和本文描述，此对单独的TEG阵列的选择性和顺序的加热和冷却可实时地指示在游戏环境内此类爆炸在现实生活中将传到用户并越过用户，因此处理器102和热触觉反馈模型评估系统可将此环境特性辨识为将要在第一TEG阵列170-1、第二TEG阵列170-2和任何额外的TEG激活TEG阵列170-1、170-2、170-n中的每一者以在波动作中跨热触觉输入/输出外围装置112的壳体的表面施加热。这可向用户指示添加到由用户接收的输出的已经在化身附近发生的爆炸的方向和强度。当在由热触觉输入/输出外围装置控制器141选择性地激活TEG阵130-2、130-n中的每一者可经由串行连接器操作性地耦合到PCB140，所述串行连接器将为热触觉输入/输出外围装置112的表面的一部分的[0060]在一个实施方案中，触觉外围装置生态系统协调系统132还可包括在由控制器制，以基于由触觉外围装置生态系统协调系统132确定的游戏动作事件的位置或类型而在热触觉输入/输出外围装置112的任何给定的表面部分处产生在输入/输出装置112之间呈系统协调系统132从处理器102接收的用于所确定的游戏动作事件的数据信号而同时或顺结构的隆隆声或颤抖可施加在一个或多个输入/输出装置112处呈[0061]对触觉外围装置生态系统协调系统132的训练还可向处理器提供描述在执行游戏反馈模型评估系统可将此输出解译为在执行游戏应用程序期间已经或正在出现的与游戏实施方案中，触觉外围装置生态系统协调系统132可经由总线108与主存储器104、处理器方案可使用两个或更多个特定互连的硬件模块或装置与可在模块之间传达以及通过模块硬件。例如，信息处置系统装置的一部分可以是硬件，诸如集成电路(诸如专用集成电路可包括软件，包括在装置处嵌入的固件，诸如Intel@核心级处理QualcommBSnapdragon处理器或其他处理器和芯片组，或其他此类装置，或能够操作信[0065]图2是根据本公开的一个实施方案的实施压电致动器和热电发电器(TEG)阵列的案中，位于热触觉键盘与掌托组件200内的压电致动器(PEA)和热电生成(TEG)阵列可在热生态系统协调系统传输到信息处置系统的键盘控制器的触觉命令可发起与被检测为已经在现场游戏中发生的游戏动作事件的类型或相对位置相关的热触觉键盘与掌托组件200的类型或位置的所识别的触觉区紧密接触的用户感觉[0066]在一些实施方案中，可经由位于热触觉键盘与掌托组件200的键盘部分的一个或多个键205下方的一个或多个压电致动器或热电发电器提供包括触觉运动的热触觉反馈。[0067]键盘主印刷电路板组件240可以可操作地连接到一个或多个键205下方的压电致动器或热电发电器，使得可按照从可操作地连接到键盘主印刷电路板组件240的键盘控制印刷电路板组件240可以经由与键支撑底座220一起安装的钥匙开关电路板可操作地连接觉键盘的将在其处出现热触觉反馈的触觉键[0068]在一些实施方案中，还可经由位于热触觉键盘与掌托组件200的掌托宽度上的一可将掌托印刷电路板组件242和多个压电致动器(例如，第一或左掌托压电电动致动器234中，在掌托的右侧(由于剖视而未示出)，可设置用于用户的右手的额外的压电致动器(例按照从可操作地连接到键盘主印刷电路板组件240的键盘控制器接收的触觉命令经由键盘件240可以经由可位于掌托印刷电路板组件242与键盘主印刷电路板组件240之间的一个或多个弹簧加载的连接器销(例如，241)241)通过掌托印刷电路板组件242的一部分将在键盘主印刷电路板组件240处生成的电脉[0070]在一个实施方案中，键盘主印刷电路板组件240可经由键盘控制器从触觉外围装指示符、音频动作事件指示符或以上两者的组合的存在而识别的游戏动作事件的类型相带251内的两个或更多个触觉区(例如，251a和251b)。在下文描述的实施方案论述了在键达压电致动器234或236以实现对用户左手掌的触觉反馈。如果需要对触觉地带251的左触由放在掌托顶盖250的顶上或紧密接触所述掌托顶盖的用户的左手感觉到。在一个实施方案中，由键盘控制器接收的触觉命令可识别要施加到压电致动器234的各种电荷量值或触[0075]如果需要对触觉地带251的右触觉区251b的触觉响应，则将电荷发送到压电致动触觉区251b处的掌托顶盖250的触觉运动204由放在掌托顶盖250的顶上或紧密接触所述掌施加到压电致动器236的各种电荷量值或触觉运动类型以及以不同[0076]在一些实施方案中，可经由跨热触觉键盘与掌托组件200的掌托的宽度定位的一印刷电路板组件240可从触觉外围装置生态系统协调系统接收识别掌托的将在其处出现热通过并入键盘主印刷电路板组件240内的矩阵电路将电荷传输到掌托印刷电路板组件242，270-1然后可从掌托印刷电路板组件242接收电荷。在键盘控制器将电荷施加到TEG阵列270-1的p-掺杂半导体或n-掺杂半导体对之后，热电效应可对TEG阵列270-1内的电绝缘体掌托顶盖250的温度的增加或减小由放在掌托顶盖250的顶上或紧密接触所述掌托顶盖的缘体处的温度增加或减小的程度在一个实施方案中可取决于由键盘控制器施加的电压的事件的位置或类型在左触觉区251a与右触觉区251b之间、在诸如251的触觉地带与其他触觉地带之间或在各个输入/输出装置之间呈现热[0080]图3是根据本公开的一个实施方案的包括用于触觉运动或触觉热变化的指定区域部和侧面壳体372的一部分或鼠标掌托壳体371的一部分。热触觉鼠标350可通过有线或无线连接操作性地耦合到信息处置系统(未示出)。在热触觉鼠标350经由有线连接操作性地耦合到信息处置系统的情况下，热触觉鼠标350可包括操作性地耦合到滚轴/LEDPCB364PCB和诸如PCB340的第二PCB。滚轴/LEDPCB364可包括用于从由用户使用以向信息处置热触觉鼠标350的表面布置额外的按钮，诸如一个或多个侧面按钮(未示出)。热触觉鼠标350的滚轴/LEDPCB364还可包括与位置和运动检测系统相关联的电路。可将用于运动传统的处理器的输入数据以控制视频/图形显示器装置上的光标，控制游戏环境内的化身的性地耦合到滚轴/LEDPCB364和鼠标控制器。专用的PCB340可包括与任何TEG驱动器和专用的PCB340中的任一者划分为其他数目的PCB，以便在热触觉鼠标350内更好地布置电[0084]图3还示出了第一TEG阵列370-1、第二TEG阵列370-2、第一PEA330-1和第二PEA可将任何数目的TEG阵列和PEA放置在热触觉鼠标350的壳体内以及与热触觉鼠标350的壳着热触觉鼠标350的侧面或在用户可触碰到的热触觉鼠标350的任何其他位置处(甚至临时地)将一个或多个TEG阵列和/或PEA放置在按钮35导体和n-掺杂半导体对的阵列。在图3中示出的第一TEG阵列370-1和第二TEG阵列370-2可在图3的第一TEG阵列370-1中示出的陶瓷电绝缘体一样作为单个TEG的p-掺杂半导体和n-掺杂半导体对中的每一者可被单独地寻址，使得在一些角度，此对TEG阵列中的每一者的选择性激活感觉就像热浪或冷波基于所接收的触觉指令可使用所述第一引线和所述第二引线跨TEG阵列内的TEG提供处于特定极性的特定量的电[0089]在图3中示出的实施方案中，已经将第一PEA330-1放置在第一TEG阵列370-1后振动。当鼠标控制器接收到激活第一PEA330-1的信号并且向压电材料层发送电压从而致[0090]在一个实施方案中，第一PEA330-1和第一TEG阵列370-1对可在本文描述为热触觉模块。多个热触觉模块(例如，第二TEG阵列370-2与第二PEA330-2)可布置在壳体371、[0091]在一个实施方案中，可沿着用户的手掌打算搁置在其处的鼠标掌托壳体371的内热触觉鼠标350期间检测到的多个热触觉反馈地带。额外的位置还可包括按钮位置和侧面[0092]图4是根据本公开的一个实施方案的包括用于触觉运动或触觉热变化的指定区域460内的压电致动器(PEA)和热电生成(TEG)阵列可在热触觉耳机460的各个区中提供热触命令可发起与被检测为已经在现场游戏中发生的游戏动作事件的类型或位置相关的热触觉耳机460的触觉区的热触觉反馈。以此方式由耳机控制器发起以及从触觉外围装置生态[0093]在一些实施方案中，可经由位于热触觉耳机460的各个部分的表面下方的一个或460可包括听筒，所述听筒被设计成接触用户的耳朵的一部分或环绕耳朵的用户头部的部系统100)的视频显示器显示的虚拟3D游戏环境内发生特定游戏动作事件之后生成触觉命此触觉命令传输到可操作地连接到耳机印刷电路板组压电致动器中的每一者可按照经由耳机印刷电路板组件输送的电荷彼此独立地执行触觉耳机控制器可通过并入耳机印刷电路板组件内的矩阵电路将电荷传输到设置在耳机左触动的方式上下翘曲并且返回到其预变形的状态。这可致使与耳机左触觉运动区463内的耳机460的表面紧密接触的用户的左耳或头部左侧感觉到耳机左触觉运动区463内的耳机460电致动器的各种电荷量值或触觉运动类型以及以不同的制器可通过并入耳机印刷电路板组件内的矩阵电路将电荷传输到设置在耳机左触觉运动区464内的耳机460的表面下方的压电致动器，以实现对用户右耳或头部右侧的触觉反馈。在耳机控制器将电荷施加到设置在耳机右触觉运动区464内的耳机460的表面下方的压电的表面紧密接触的用户的右耳或头部右侧感觉到耳机右触觉运动区464内的耳机460的表耳机印刷电路板组件可从触觉外围装置生态系统协调系统接收识别耳机的将在其处出现到特别识别耳机左触觉热区461的触觉命令之后，耳机控制器可通过并入耳机印刷电路板组件内的矩阵电路将电荷传输到设置在耳机左触觉热区461内的耳机460的表面下方的TEG机左触觉热区461内的耳机460的表面下方的TEG阵列之后，在由耳机控制器将电荷施加到设置在耳机左触觉热区461内的耳机460的表面下方的TEG阵列的p-掺杂半导体或n-掺杂半导体对之后，热电效应可对设置在耳机左触觉热区461内的耳机460的表面下方的TEG阵列小的程度在一个实施方案中可取决于由键盘控制器施加的电压的量值。这可致使与耳机460紧密接触的用户的左耳或头部左侧感觉到耳机左触觉热区461内的耳机460的表面的温器可通过并入耳机印刷电路板组件内的矩阵电路将电荷传输到设置在耳机右触觉热区462控制器将电荷施加到设置在耳机右触觉热区462内的耳机460的表面下方的TEG阵列之后，在由耳机控制器将电荷施加到设置在耳机右触觉热区462内的耳机460的表面下方的TEG阵列的p-掺杂半导体或n-掺杂半导体对之后，热电效应可对设置在耳机右触觉热区462内的的电绝缘体处的温度增加或减小的程度在一个实施方案中可取决于由键盘控制器施加的电压的量值。这可致使与耳机460紧密接触的用户的右耳或头部右侧感觉到耳机右触觉热[0100]图5是根据本公开的一个实施方案的其中可发生与多个热触觉反馈相关联的游戏家化身510(常常由持有武器的化身表示)按照经由键盘或鼠标输入的用户指令执行动作[0101]化身和对象中的每一者可在三维游戏环境500内在相对于玩家化身510的特定位攻击游戏动作事件显示为离开玩家化身的武器510的特定色彩的喷射511(例如，模仿枪开家或盟友化身540发起敌人化身攻击游戏动作事件531，或者非玩家或盟友化身540可对敌身攻击511可致使敌人化身520引发伤害游戏动作事件522。这些仅是可在游戏内发生的游不同的方法(包括(例如)训练过的图像辨识模型)来识别在三维游戏环境500内发生的游戏[0103]然后可将这些所标记的所捕获的训练图像输入到图像辨识模型中以便训练所述被标记为识别化身或游戏动作事件的图像)输入到训练过的图像辨识模型中，然后可在经个或多个热触觉输入/输出外围装置的一个或多个触觉区处的触觉运动或温度变化)相关联，则触觉外围装置生态系统协调系统可将触觉命令传输到热触觉输入/输出外围装置的频显示装置的固件检测到的像素亮度的改变来识别此类现场游戏动作事件(例如，511、置生态系统协调系统可在本文描述的一些实施方案中访问这些实时的像素亮度测量结果，500的游戏应用程序进行预编程，以向触觉外围装置生态系统协调系统传输特定游戏动作从游戏应用程序接收的指令或指示符中识别的游戏动作事件相关联(例如，在表1内)的外以识别与游戏动作事件相关联(例如，在表1内)的外围装置生态系统的外围装置中的一者[0106]3D游戏环境500的所显示的图像内的游戏动作事件的位置或定位可告知检测到的内的游戏动作事件在一个实施方案中可反映与玩家化身510相距一定距离发生的游戏动作的右下隅角中并且指示在玩家化身510处或很近处发生的事件的游戏动作事件511可与朝向最靠近用户定位的一个或多个输入/输出装置(诸如触觉鼠标或键盘掌托)的右边的触觉顶部中心并且指示离玩家化身510相对远地发生的事件的游戏动作事件531可与键盘的一个或多个功能或数字键或触觉耳机的触觉运动或热触觉反盘掌托或触觉耳机)的左边的触觉区中开始并且跨多个触觉区直线向输入/输出装置的右致在跨多个输入/输出装置的反映虚拟三维游戏环境500内的游戏动作事件540的位置的一[0109]在一些实施方案中，触觉外围装置生态系统协调系统还可确定化身是玩家化身家化身510用武器511开火)与热触觉反馈(例如，一个或多个热触觉输入/输出外围装置的一个或多个触觉区处的触觉运动或温度变化)相关联，则触觉外围装置生态系统协调系统[0110]图6是根据本公开的一个实施方案的跨多个外围装置协调触觉命令的触觉外围装调系统632可基于在游戏软件应用程序620的现场游戏内发生的所识别的游戏动作事件而围装置生态系统协调系统632可识别与刚刚已经发生的游戏动作事件相关联的触觉反馈，以及在用户可接触到的输入/输出装置的生态系统内的一个或多个输入/输出装置(例如，可执行代码指令是以能够由也与所识别的游戏动作事件相关联的多个热触觉输入/输出外可将此类可执行代码指令传输到所识别的热触觉输入/输出外围装置来执行，从而致使在那个外围装置处呈现指示所识别的游戏动作事件的热触[0111]在一个实施方案中，游戏软件应用程序620可生成识别现场游戏内的游戏动作事表1内)的外围装置生态系统的外围装置(例如，640、650或660)中的一者或多者内的触觉[0112]在一个实施方案中，触觉外围装置生态系统协调系统632可确定与游戏动作事件相关联的视觉动作事件指示符已经在由游戏软件应用程序620控制的现场游戏内出现。在软件应用程序620还可将音频命令或音频信号传输到热触觉耳机装置660的控制器661，所述热触觉耳机装置可经由并入其内的一个或多个扬声器来播放所述[0113]在一个实施方案中，触觉外围装置生态系统协调系统632可经由多种预期方法中统632可通过分析由视频显示装置610的固件611检测到的像素亮度的改变来识别视觉动作围装置生态系统协调系统632访问的语言存储库690的图形数据模块693处。在一个实施方些实施方案中访问存储在693处的实时的像素亮度测量结果，以确定与所述游戏动作事件作事件的指示直接传输到触觉外围装置生态系统协调系统632可在存储在语言存储库690处的触觉数据694内识别与游戏动作事件相关联的视觉动作觉外围装置生态系统协调系统632可使玩家化身处的重复的大闪爆与玩家化身连续射击相施方案中，触觉外围装置生态系统协调系统632可使玩家化身的任一侧的单个中等闪爆与施方案中，触觉外围装置生态系统协调系统632可使玩家化身处的单个闪爆和玩家化身附中，触觉外围装置生态系统协调系统632可使玩家化身处的单个大闪爆和敌人化身处的闪照从游戏软件应用程序620接收的命令来分析经由热触觉耳机装置660播放的音频信号以识别音频动作事件指示符。在耳机控制器661从游戏软件应用程序620接收到音频信号之换为频谱)转发到语言存储库690以便存储在音频数据692内。触觉外围装置生态系统协调系统632可分析此类存储的音频数据692以识别何时已经出现音频动作事件指示符(例如，示符可与一个或多个热触觉输入/输出外围装置处的一个或多个热触觉反馈相关联。在一频动作事件的指示直接传输到触觉外围装置生态系统协调系统632可在存储在语言存储库690处的触觉数据694内识别与游戏动作事件相关联的音频动作音频波模式下的重复的短的响音频尖峰与玩家化身连续射击相关联(如表1中指示)。作为施方案中，触觉外围装置生态系统协调系统632可使水飞溅音频波模式下的短的响音频尖统协调系统632可使血液泼溅音频波模式下的短的响音频尖峰与玩家化身遭受伤害相关模式下的短的温和的音频尖峰与敌人化身遭受伤害经由热触觉鼠标650接收的用户输入命令来告知对游戏动作事件的发生的识别。在一些实枪音频波模式下的短的响闪光或音频尖峰可与玩家化身进行单发射击的游戏动作事件和游戏动作事件可与在鼠标处出现的热触觉反馈相关联(如通过在表1内识别的触觉运动命[0118]在一个实施方案中，为了让触觉外围装置生态系统协调系统632在这两个游戏动作事件之间进行区分并且因此识别在其处执行对应的触觉运动命令或触觉热命令的热触系统协调系统632可分析从键盘640或鼠标650接收的用户输入命令。可检测来自热触觉鼠系统协调系统632可恰在包括所识别的视觉或音频动作事件指示符的闪光或所分析的音频示符与非玩家发起的游戏动作事件(诸如敌人化身用武器对玩协调系统632可识别与所识别的游戏动作事件相关联的触觉运动命令、触觉热命令或以上库690的触觉数据694内的数据结构来作出此确定，所述数据结构诸如在以上表1处反映的击而识别用于在热触觉鼠标650处执行低强度的单个短运动脉冲的触觉运动命令，以及用生态系统协调系统632可基于确定玩家化身正在连续射击而识别用于在热触觉鼠标650处执行低强度的多个短运动脉冲的触觉运动命令，以及用于在热触觉鼠标650处执行低强度[0120]在一个实施方案中，此类触觉运动命令和触觉热命令可在热触觉输入/输出外围可基于确定敌人化身已经遭受伤害而识别用于在热触觉耳机660处执行高强度的三组短运动脉冲的触觉运动命令，以及用于在热触觉耳机660处执行高强度的短热减小的触觉热命生爆炸而识别用于在键盘掌托642处执行高强度的单个长运动脉冲的触觉运动命令，以及生态系统协调系统632可基于确定敌人子弹已经落在玩家化身附近而识别用于在键盘掌托定玩家化身已经移动到水中而识别用于在键盘掌托642处执行低强度的多个短运动脉冲的例中，触觉外围装置生态系统协调系统632可基于确定玩家化身已经遭受伤害而识别用于运动命令可识别设置在掌托内的多个压电致动器内的特定压电致动器，如关于图2更详细的触觉运动命令可识别设置在鼠标650内的多个压电致动器内的特定压电致动器，如关于觉耳机660的触觉运动命令可识别设置在耳机660内的多个压电致动器内的特定压电致动[0122]可通过能够由耳机控制器661、键盘控制器641和鼠标控制器651中的每一者执行的可扩展标记语言(XML)来编写存储在触觉数据694内的触觉运动命令或触觉热命令(例系统632可基于对在现场游戏内发生的游戏动作事件的识别而从语言存储库690检索用于可执行代码指令。触觉外围装置生态系统协调系统632然后可将用于发起与所识别的游戏动作事件相关联的热触觉反馈的可执行代码指令传输到热触觉输入/输出外围装置(例如，[0123]图7是根据本公开的一个实施方案的基于现场游戏动作事件而在多个外围装置处触觉外围装置生态系统协调系统可基于在游戏软件应用程序的现场游戏内发生的所识别键盘与掌托组件740的多个热触觉输入/输出外围装置协调热触觉反馈。在一个实施方案系统协调系统可将可执行代码指令传输到与所识别的触觉区相关联的热触觉输入/输出外[0124]在一个实施方案中，生成经由视频显示器710显示的三维游戏环境的游戏软件应用程序可生成识别现场游戏内的游戏动作事件的发生以及所述游戏动作事件的位置或类外围装置生态系统协调系统然后可识别与在从游戏应用程序接收的指令或指示符中识别以识别与游戏动作事件相关联(例如，在表1内)的外围装置生态系统的外围装置(例如，中，触觉外围装置生态系统协调系统632可使玩家化身处的单个大闪爆和敌人化身处的闪在现场游戏期间已经发生视觉动作事件的指示直接传输到触觉外围装置生态系统协调系照从游戏软件应用程序接收的命令来分析经由热触觉耳机装置760播放的音频信号以识别音频波模式下的重复的短的响音频尖峰与玩家化身连续射击相关联(如表1中指示)。作为协调系统可识别与所识别的游戏动作事件相关联的触觉运动命令、触觉热命令或以上两而向热触觉鼠标750传输用于在触觉区751处执行低强度的单个短运动脉冲的触觉运动命围装置生态系统协调系统可基于确定游戏动作事件是玩家化身正在连续射击而向热触觉在触觉区751处执行低强度的长热增加的触[0128]在一个实施方案中，此类触觉运动命令和触觉热命令可在热触觉输入/输出外围定敌人化身已经遭受伤害而向热触觉耳机760传输用于在触觉区761或762中的一者或多者中执行高强度的三组短运动脉冲的触觉运动命令，以及用于在热触觉耳机760处执行高强已经在玩家化身附近发生爆炸而向热触觉键盘与掌托组件740传输用于在触觉区745或746中的一者或多者处执行高强度的单个长运动脉冲的触觉运动命令，以及用于触觉区745或746中的一者或多者处或在键747或748中的一者或多者处执行高强度的长热增加的触觉热或很近处发生的事件的游戏动作事件711可与朝向最靠近用户定位的一个或多个输入/输出装置的右边的触觉区内的触觉运动或热触觉反馈相关联。在一个此类示例性实施方案心并且指示离玩家化身710相对更远地发生的事件的游戏动作事件742可与键盘的一个或区中开始并且跨多个触觉区直线向输入/输出装置的右侧前进的触觉运动或热触觉反馈关[0131]图8是示出根据本公开的一个实施方案的经由训练过的图像辨识模型或经由显示觉外围装置生态系统协调系统可使用多种不同的方法来识别保证多个热触觉输入/输出外中，经由视频显示器显示的三维游戏环境500可显示玩家化身510(常常由持有武器的化身[0133]在一个实施方案中，触觉外围装置生态系统协调系统可在框804处使用显示亮度系统协调系统使用图像辨识模型来识别视觉动作事件指示符，则所述方法可前进到框814[0135]在一个实施方案中，用于显示装置的固件可识别出其中已经在框808处检测到亮生成使显示器中的像素中的每一者与其发射光以生成现场游戏的单个图像所处的特定亮视频显示器110可经由一条或多条总线108可操作地连接到触觉外围装置生态系统协调系素的所确定的大小和位置传输到触觉外围装置生态系统协调系统132。显示监测标量固件还可传输此类变化的量值和此类变化的速度，通过比较跨多个二维阵列(每个二维阵列表示现场游戏的不同帧)的单个像素的值来确定变化的量值，通过将所述量值除以如此比较可显示为与盟友攻击游戏动作事件541或敌人化身攻击游戏动作事件521或531不同的色[0140]像素亮度的变化的大小或在任何给定时刻经历亮度的此类变化的像素的数目还[0142]在框814处，在触觉外围装置生态系统协调系统使用图像辨识模型来识别视觉动身540从玩家化身510的左周边视觉朝向玩家化身510的右周边视觉内的敌人化身520开火。化身540从相对更靠近玩家化身510的位置朝向定位成相对更远离玩家化身510的敌人化身训练的图像辨识模型比较尝试以在图像辨识模型的训练会话期间识别化身和游戏动作事们在虚拟三维游戏环境内出现的相对于玩家化身的像是否仅包括一个所识别的特征(例如，将要在触觉键盘或触觉掌托区上呈现的触觉触感[0148]可向在框814处捕获的图像应用各种预处理步骤，以便将所述图像转换为前馈神在框814处捕获以及在框704处标记的虚拟三维游戏环境(例如，500)的二维图像的特征映平均合并(采取像素块内的所有像素值的平均值)以及总和合并(块内的像素的像素值中的[0152]可将由此类卷积(和任选地由额外的线性修正或合并)产生的特征映射平整为形遭受伤害游戏动作事件)是否显示在图像内的神经网络可包括在输入层之后的第一隐藏新的层可包括多个节点，其中每个节点表示平整的特征映射内的值是否与在框814处捕获的虚拟三维游戏环境的图像内的特定所识别的特征相关联的指示在框814处捕获、在框816处标记以及在训练会话期间在框818处输入到未经训练的模进制0或1表示)求平均，以产生输入的训练图像描绘模型正被训练以识别或分类的特定特表示)模型进行训练以基于在框816处的图像的标记而辨识的特定特征。在此实施方案中，在所述百分比可能性与已知值之间的差异在本文可称为用于此初始前向传播的误差信号。处捕获的图像包括玩家攻击游戏动作事件511的平均为0.76可能性的输出层。在此实施方[0155]触觉外围装置生态系统协调系统然后可使用此已知的误差函数来调整与建模的的每一者与此值指示模型进行训练以辨识的特征(例如，玩家攻击游戏动作事件511)的存到输出层产生与已知值(例如，如在框816处在图像的标记期间应用)匹配的以下可能性为1的平均值使得所述模型可被视为准确地辨识图像内的特征或其不存在为止。在一个实施[0156]在一个实施方案中，触觉外围装置生态系统协调系统可在框820处确定图像辨识中，触觉外围装置生态系统协调系统可使用不同的输入节点值重复地执行关于框818描述值百分比内准确地识别特征或其缺乏(如在正上文关于框818所描述)时，可将所述图像辨框820处确定图像辨识模型是否可在包括所述训练集合的100个所捕获和标记的图像中准准确度百分比值，并且打算是说明性的而不是限制性的。其他实施方案可能需要更高(例模型在框820处可在容限内准确地辨识游戏动作事件和化身，则所述方法可前进到框822：模型在框820处无法在容限内准确地辨识游戏动作事件和化身，则所述方法可回到框814，以在经过修改的加权下在额外的训练游戏图像上对图像辨识模型进一包括所述图像辨识模型已被训练以检测或辨识的特征(例如，玩家攻击游戏动作事件511)类所捕获的图像分割为多个更小的图像，每个图像表示整个所捕获的图像内的地带或象的四个单独的分割的图像)可各自经过预处理，并且可将它们的平整的特征映射输入到图像辨识模型中，以确定特定游戏动作事件是否在整个图像的特定分割地带或部分内发生。玩家攻击511)是否已经在虚拟3D游戏环境(例如，500)的玩家化身视图的特定分割地带或调系统可计量在所捕获的现场游戏图像内的所识与特定类型的触觉反馈关联的多个游戏动作事件中的一者来训练多个图像辨识模型中的在整个此类现场游戏中连续地重复框822，以便在与触觉反馈相关联的游戏动作事件在现使用训练过的图像辨识模型来识别视觉动作事件指示符的方法[0163]图9是示出根据本公开的一个实施方案的基于在现场游戏期间发生的所识别的视觉或音频动作事件而在触觉外围生态系统内的外围装置处发起触觉运动或热反馈的方法耳机、热触觉键盘或热触觉掌托组件的多个热触觉输入/输出外围装置协调渲染热触觉反处对此类命令的执行因此可导致在那个外围装置处的指示所识别的游戏动作事件的热触[0164]在框902处，游戏软件应用程序可将指令传输到耳机控制器以经由音频耳机外围620可将音频命令或音频信号传输到热触觉耳机装置660的控制器661，所述热触觉耳机装置可经由并入其内的一个或多个扬声器来播放所态系统协调系统传输已经经由左扬声器或右扬声器播放了音频信号的指示以及所述音频[0166]在框906处，触觉外围装置生态系统协调系统可基于所接收的对音频信号的描述入/输出外围装置处的一个或多个热触觉反馈632可在存储在语言存储库690处的触觉数据694内识别与游戏动作事件相关联的音频动作音频波模式下的重复的短的响音频尖峰与玩家化身在不分析音频动作事件指示符的情况下使用视觉动作事件标识符的识别来识别游戏动作触觉外围装置生态系统协调系统632可恰在检测到的视觉动作事件指示符或所识别的音频动作事件指示符(例如，枪音频波模式下的短的响音频尖峰)之前识别是从鼠标650还是从[0170]在一个实施方案中，为了让触觉外围装置生态系统协调系统632在与相同的音频或触觉热命令的热触觉输入/输出外围装置(例如，鼠标650或键盘640)，在一个实施方案如果在检测到的视觉动作事件指示符或音频动作事件指示符之前即时地接收到此类用户命令，则这可指示所识别的音频动作事件指示符与非玩家发起的游戏动作事件(诸如敌人[0171]在框912处，在其中恰在出现音频或视觉动作事件指示符之前接收到用户输入命户输入命令之后即时地出现的枪音频波模式下的短的响音频尖峰与玩家化身进行单发射户输入命令的实施方案中，触觉外围装置生态系统协调系统在框914处可使所述音频或视调系统可使在没有伴随的用户输入命令的情况下出现的枪音频波模式下的短的响音频尖[0173]在一个实施方案中，触觉外围装置生态系统协调系统可在框916处基于所识别的统协调系统632可识别与所识别的游戏动作事件相关联的触觉运动命令、触觉热命令或以储库690的触觉数据694内的数据结构来作出此确定，所述数据结构诸如在以上表1处反映射击而识别用于在热触觉鼠标650处执行低强度的单个短运动脉冲的触觉运动命令，以及用于在热触觉鼠标650处执行低强度的短热增加检索能够由多个外围装置中的一者执行的与触觉运动命令或触觉热命令相关联的代码指鼠标控制器651中的一者执行的代码指令。以此类方式，触觉外围装置生态系统协调系统632可基于对在现场游戏内发生的游戏动作事件的识别而从语言存储库690检索用于在热