CN112748802B 利用脑电波信号生成影像的装置和方法 （现代自动车株式会社）

(12)发明专利(22)申请日2020.10.29(43)申请公布日2021.05.04地址韩国首尔专利权人起亚自动车株式会社公司11314专利代理师程伟甄雁翔4/80(2018.01)3/04(2023.01)JP2018149897A,2018.09.27审查员卞燕如权利要求书2页说明书15页附图8页本发明涉及利用脑电波信号生成影像的装置和方法。利用脑电波信号生成影像的方法包从多个通道采集的脑电波信号生成服务点的第一影像；确定生成的第21.一种利用脑电波信号生成影像的装置，所述装置包括：传感器，其配置为在预定时间内从多个通道采集移动工具中至少一个乘客的脑电波信控制器，其配置为利用人工智能模型由从多个通道采集的脑电波信号生成服务点的第一影像，确定生成的第一影像是否与预设的第二影像相似，并且基于确定结果来控制移动其中，所述第一影像是指示服务点的服务点影像或商品影像中的至少一个，所述服务点影像是指示服务点的影像，所述商品影像是指示服务点提供的商品的影像，所述服务点是距移动工具预定范围内的免下车DT服务提供场所。2.根据权利要求1所述的利用脑电波信号生成影像的装置，其中，从多个通道采集的脑电波信号是在时域、频域或空间域的至少一个中的脑电波信号。3.根据权利要求1所述的利用脑电波信号生成影像的装置，其中，所述人工智能模型是4.根据权利要求1所述的利用脑电波信号生成影像的装置，其中，所述商品是服务点提供的物品、服务点提供的服务或关于服务点的信息中的至少一个。5.根据权利要求1所述的利用脑电波信号生成影像的装置，其中，当第一影像是服务点影像时，所述控制器将第二影像确定为预设服务点影像，并且确定第一影像是否与第二影像相似。6.根据权利要求5所述的利用脑电波信号生成影像的装置，其中，当确定出第一影像与第二影像相似时，控制器执行以下至少一项：将移动工具的行驶路线改变至服务点，向乘客提供待改变的行驶路线的通知，或者通过向乘客提供待改变的行驶路线来引导乘客选择路7.根据权利要求1所述的利用脑电波信号生成影像的装置，其中，当第一影像是商品影像时，所述控制器将第二影像确定为预设商品影像，并且确定第一影像是否与第二影像相8.根据权利要求7所述的利用脑电波信号生成影像的装置，其中，当确定出第一影像与第二影像相似时，所述控制器执行以下至少一项：将移动工具的行驶路线改变至提供商品的服务点，向乘客提供待改变的行驶路线的通知，通过向乘客提供待改变的行驶路线来引导乘客选择路线，或者发送商品的订购信号。9.根据权利要求1所述的利用脑电波信号生成影像的装置，其中，所述控制器进一步配置为判断所述确定结果是否满足乘客期望。10.一种利用脑电波信号生成影像的方法，所述方法包括：在预定时间内通过传感器从多个通道采集移动工具中至少一个乘客的脑电波信号；通过控制器利用人工智能模型由从多个通道采集的脑电波信号生成服务点的第一影确定生成的第一影像是否与预设的第二影像相似；基于确定结果来控制移动工具；其中，所述第一影像是指示服务点的服务点影像或商品影像中的至少一个，所述服务点影像是指示服务点的影像，所述商品影像是指示服务点提供的商品的影像，所述服务点3是距移动工具预定范围内的免下车DT服务提供场所。11.根据权利要求10所述的利用脑电波信号生成影像的方法，其中，从多个通道采集的脑电波信号是在时域、频域或空间域的至少一个中的脑电波信号。12.根据权利要求10所述的利用脑电波信号生成影像的方法，其中，所述人工智能模型13.根据权利要求10所述的利用脑电波信号生成影像的方法，其中，所述商品是服务点提供的物品、服务点提供的服务或关于服务点的信息中的至少一个。14.根据权利要求10所述的利用脑电波信号生成影像的方法，其中，当第一影像是服务点影像时，确定第一影像是否与第二影像相似包括：将第二影像确定为预设服务点影像，并且确定第一影像是否与第二影像相似。15.根据权利要求14所述的利用脑电波信号生成影像的方法，其中，当确定出第一影像与第二影像相似时，所述移动工具的控制包括执行以下至少一项：将移动工具的行驶路线改变至服务点，向乘客提供待改变的行驶路线的通知，或者通过向乘客提供待改变的行驶路线来引导乘客选择路线。16.根据权利要求10所述的利用脑电波信号生成影像的方法，其中，当第一影像是商品影像时，确定第一影像是否与第二影像相似包括：将第二影像确定为预设商品影像，并且确定第一影像是否与商品影像相似。17.根据权利要求16所述的利用脑电波信号生成影像的方法，其中，当确定出第一影像与第二影像相似时，所述移动工具的控制包括执行以下至少一项：将移动工具的行驶路线改变至提供商品的服务点，向乘客提供待改变的行驶路线的通知，通过向乘客提供待改变的行驶路线来引导乘客选择路线，或者发送商品的订购信号。18.根据权利要求10所述的利用脑电波信号生成影像的方法，进一步包括判断所述确定结果是否满足乘客期望。4利用脑电波信号生成影像的装置和方法[0001]相关申请的交叉引用[0002]本申请要求于2019年10月29日提交的韩国专利申请No.10-2019-0135835的优先权和权益，其通过引用整体并入本文。技术领域[0003]本发明涉及一种移动工具控制方法和装置。更具体地，本发明涉及利用脑电波信号生成影像的装置和方法)。背景技术[0004]本部分中的陈述仅提供与本发明有关的背景信息，并且不会构成现有技术。[0005]作为一种运输工具，车辆(或移动工具)是现代世界中用于生活的工具。此外，对于某些人来说，车辆本身可以被认为是具有特殊意义的物品。[0006]随着技术的进步，车辆提供的功能也逐渐发展。例如，近年来，车辆不仅将乘客运送到目的地，还满足了乘客更快、更安全地到达目的地的需求。此外，为了满足乘客的审美品味和舒适度，向车辆系统中添加了新设备。另外，还开发了诸如方向盘、变速器速设备的现有设备，以便可以为用户提供更多功能。[0007]同时，大脑-计算机接口或大脑-机器接口是通过利用脑电波信号来根据人的意向控制计算机或机器的领域。事件相关电位(Event-RelatedPotential,ERP)与认知功能密[0008]另外，近年来，越来越多地倾向于研究使用人工智能模型识别和分类影像中包括的对象并生成新影像。发明内容[0009]本发明的目的是提供一种基于乘客的脑电波信号生成影像的装置和方法。[0010]本发明的另一个目的是提供一种使用人工智能模型从乘客的脑电波信号生成影像并基于生成的影像控制移动工具的装置和方法。[0011]本发明的技术目的不限于上述技术目的，并且本领域技术人员通过以下描述将清楚地理解未提及的其他技术目的。[0012]根据本发明，一种利用脑电波信号生成影像的装置包括传感器和控制器，所述传感器配置为在预定时间内从多个通道采集移动工具中至少一个乘客的脑电波信号，所述控制器配置为使用人工智能模型由从多个通道采集的脑电波信号生成服务点的第一影像，确定生成的第一影像是否与预设的第二影像相似，并且基于确定结果控制移动工具。[0013]从多个通道采集的脑电波信号可以是在时域、频域或空间域的至少一个中的脑电波信号。[0014]人工智能模型可以是生成式对抗网络(GAN)模型。[0015]第一影像可以是指示服务点的服务点影像或商品影像中的至少一个，服务点影像5可以是指示服务点的影像，商品影像可以是指示服务点提供的商品的影像。[0016]第二影像可以是服务点影像和商品影像之一。[0017]服务点可以是距移动工具预定范围内的免下车(DT)服务提供场所。[0018]当基于短程通信网络在移动工具和服务点之间执行发送和接收时，预定范围可以是通过短程通信网络能够进行发送和接收的范围。[0019]商品可以是服务点提供的物品、服务点提供的服务或关于服务点的信息中的至少一个。[0020]当第一影像是服务点影像时，控制器可以将第二影像确定为预设服务点影像，并且确定第一影像是否与第二影像相似。[0021]在确定第一影像与第二影像相似时，控制器可以执行以下至少一项：将移动工具的行驶路线改变至服务点，向乘客提供待改变的行驶路线的通知，或者通过向乘客提供待改变的行驶路线来引导乘客选择路线。[0022]当第一影像是商品影像时，控制器可以将第二影像确定为预设商品影像，并且确定第一影像是否与第二影像相似。[0023]在确定出第一影像与第二影像相似时，控制器可以执行以下至少一项：将移动工具的行驶路线改变至提供商品的服务点，向乘客提供待改变的行驶路线的通知，通过向乘客提供待改变的行驶路线来引导乘客选择路线，或者发送商品的订购信号。[0024]控制器还可以配置为判断所述确定结果是否满足乘客期望。[0025]根据本发明，一种利用脑电波信号生成影像的方法包括：在预定时间内从多个通道采集移动工具中至少一个乘客的脑电波信号；使用人工智能模型由从多个通道采集的脑电波信号生成服务点的第一影像；确定生成的第一影像是否与预设的第二影像相似；并且基于确定结果控制移动工具。[0026]从多个通道采集的脑电波信号可以是在时域、频域或空间域的至少一个中的脑电波信号。[0027]人工智能模型可以是生成式对抗网络(GAN)模型。[0028]第一影像可以是指示服务点的服务点影像或商品影像中的至少一个，服务点影像可以是指示服务点的影像，商品影像可以是指示服务点提供的商品的影像。[0029]第二影像可以是服务点影像和商品影像之一。[0030]服务点可以是距移动工具预定范围内的免下车(DT)服务提供场所。[0031]当基于短程通信网络在移动工具和服务点之间执行发送和接收时，预定范围可以是通过短程通信网络能够进行发送和接收的范围。[0032]商品可以是服务点提供的物品、服务点提供的服务或关于服务点的信息中的至少一个。[0033]当第一影像是服务点影像时，确定第一影像是否与第二影像相似可以包括：将第二影像确定为预设服务点影像，并且确定第一影像是否与第二影像相似。[0034]在确定出第一影像与第二影像相似时，移动工具的控制可以包括执行以下至少一项：将移动工具的行驶路线改变至服务点，向乘客提供待改变的行驶路线的通知，或者通过向乘客提供待改变的行驶路线来引导乘客选择路线。[0035]当第一影像是商品影像时，确定第一影像是否与第二影像相似可以包括：将第二6影像确定为预设商品影像，并且确定第一影像是否与商品影像相似。[0036]在确定出第一影像与第二影像相似时，移动工具的控制可以包括执行以下至少一项：将移动工具的行驶路线改变至提供商品的服务点，向乘客提供待改变的行驶路线的通知，通过向乘客提供待改变的行驶路线来引导乘客选择路线，或者发送商品的订购信号。[0037]该方法还可以包括判断所述确定结果是否满足乘客期望。[0038]上面关于本发明简要概述的特征仅仅是本发明下文详细描述的示例性方面，并且不限制本发明的范围。附图说明[0039]为了可以更好地理解本发明，现在将参考附图举例描述本发明的各个形式，在附图中：[0040]为了可以更好地理解本发明，现在将参考附图借助于示例来描述本发明的各个实施方案，在附图中：[0041]图1是示出本发明的一个实施方案的ERN的通常波形的图；[0042]图2是示出根据本发明的一个实施方案的ERN和Pe的通常波形的图；[0043]图3是示出根据本发明的另一个实施方案的Pe的偏转特性的图；[0044]图4A和图4B是分别示出本发明的一个实施方案的ERP和Pe的测量区域的图；[0045]图5是示出根据本发明的一个实施方案的ERN和CRN的通常波形的图；[0046]图6是示出根据本发明的一个实施方案的与大脑皮层区域相对应的EEG测量通道的图；[0047]图7是示出根据本发明的实施方案的基于乘客的脑电波信号生成影像的装置的配置的框图。[0048]图8是示出根据本发明的实施方案的移动工具和服务点之间相互执行发送和接收的范围的图。[0049]图9是示出根据本发明的实施方案的操作影像生成装置的方法的流程图。[0050]图10是示出根据本发明的实施方案的操作影像生成装置的方法的流程图。具体实施方式[0051]以下描述在本质上仅仅是示例性的，并非旨在限制本发明、应用或用途。应当理解，在整个附图中，相应的附图标记表示相同或相应的部件和特征。[0052]将详细描述本发明的示例性实施方案，以使得本领域的普通技术人员结合附图容易地理解和实现由本发明提供的装置和方法。然而，本发明可以采用各种实施方案来实施，并且本发明的范围不应被解释为限于示例性实施方案。[0053]在描述本发明的实施方案时，当公知的功能或构造可能使本发明的精神模糊时，将不对其进行详细描述。元件时，其可以直接连接至或联接至或组合至另一元件，或者在它们之间可以存在中间元特征、数值、步骤、操作、元件、组件和/或其组合，但不排除存在或添加一个或多个其他特7件不受这些术语的限制。这些术语仅用于区分一个元件与另一个元件，而不用于显示元件之间的顺序或优先级。例如，下面讨论的第一元件可以被称为第二元件，而不偏离本发明的[0056]在本发明中，称呼不同的元件是为了清楚描述各种元件的特征，并不意味着这些元件在物理上彼此分开。即，可以将多个不同的元件组合成单个硬件单元或单个软件单元，相反，一个元件可以通过多个硬件单元或软件单元实现。因此，尽管没有具体说明，但是各种元件的集成形式或一个元件的分离形式可以落入本发明的范围内。而且，诸如“单元”或“模块”之类的术语应被理解为处理至少一个功能或操作并且可以实施为硬件方式(例如，处理器)、软件方式或硬件方式与软件方式的组合的单元。[0057]在本发明中，以各种形式描述的所有组成元件不应被解释为必要元件，一些组成元件可能是任选元件。因此，由组成元件的各个子集以某种形式配置的实施方案也可以落入本发明的范围内。另外，通过将一个或多个元件添加到各种元件而配置的实施方案也落入本发明的范围内。[0058]作为构成大脑的神经元的脑电活动，脑电波信号(或脑信号、脑电波)表示直接和间接反映人的有意识状态或无意识状态的生物信号。可以在人体头皮的每个区域中测量脑电波信号，其波长的频率主要为30Hz或更低，并且电位差为几微伏。根据大脑活动和状态，可能会出现各种波形。利用根据人的意向的脑电波信号进行接口控制的研究正在进行之Graphy,MEG)、功能性磁共振成像(functionalMagneticResonanceImaging,fMRI)或近红外光谱(functionalNear-InfraredSpectroscopy,fNIRS)来获得脑电波信号，所述EEG利用由大脑活动引起的电信号，所述MEG利用与电信号一起发生的磁信号，所述fMRI或fNIRS利用血液中氧饱和度的变化。尽管fMRI和fNIRS是测量大脑活动的有用技术，但通常移植性和时间分辨率而被广泛使用。[0059]脑电波信号会根据大脑活动而在空间上随时间变化。由于脑电波信号通常难以分析并且其波形不易于视觉分析，因此提出了各种处理方法。[0060]例如，根据振荡的次数(频率),可以基于频带对脑电波信号进行划分(功率谱划分)。该划分将测量出的脑电波信号视为每个特定频率下简单信号的线性总和，将该信号分解为每个频率分量并指示相应的幅度。通过利用通常用于噪声消除的预处理、傅立叶变换至频域以及带通滤波器(BPF),可以获得每个频率的脑电波信号。3.5Hz或以下、幅度为20μV～200μV的脑电波，其主要出现在正常深度睡眠或新生儿中。此电波，其主要出现在情绪稳定状态或睡眠中。[0062]另外，θ波主要在顶叶皮层和枕叶皮层中产生，并且可能在回忆或冥想的平静专注α波通常在休息时在枕叶皮层中产生，并且在睡眠中可能减少。通常，β波是频率为13Hz~8波主要在额叶皮层中产生，与觉醒状态或大脑活动集中、病理现象和药物作用相关。β波可波、频率为15Hz～18Hz的中β波和频率为20Hz以上的高波。由于β似乎更强，因此被称为压力波。γ波是通常具有30Hz～50Hz频率的脑电波，主要出现在强烈兴奋的状态或高级认知信息处理过程中。此外，Y波可能会在意识觉醒的状态下和REM睡眠波与工作记忆相关，而α波与关注或压抑相关。因此，每个频带的脑电波信号的性质选择性地显示特定的认知功能。另外，在头部表面上的每个测量部位中，每个频带的脑电波信号可能会显示出一些不同的外观。大脑皮层可分为额叶皮层、顶叶皮层、颞叶皮层和枕叶皮层。这些部位可能具有一些不同的作用。例如，对应于头后部的枕叶皮层具有初级视觉皮层，因此可以主要处理视觉信息。位于头顶部附近的顶叶皮层具有体感皮层，因此可以处理运动/感官信息。另外，额叶皮层可以处理与记忆和思维相关的信息，颞叶皮层可以处理与听觉和嗅觉相关的信息。[0064]同时，对于另一个示例，可以通过利用事件相关电位(Event-RelatedPotential,ERP)来分析脑电波信号。ERP是与外界刺激或内部心理过程相关的脑电变化。ERP是指在出现刺激后的一定时间内由刺激引起的包括大脑的脑电活动的信号，所述刺激包括特定信息[0065]为了分析ERP,需要一种将信号与噪声分离的过程。可以主要使用均值法。特别地，通过对基于刺激开始时间测量的脑电波取均值，可以去除与刺激无关的脑电波，并且仅挑选出相关电位，即通常与刺激处理相关的大脑活动。[0066]由于ERP具有较高的时间分辨率，因此其与认知功能的研究密切相关。ERP是由外部刺激诱发或与内部状态相关的电现象。根据刺激的类型，ERP可以分为听觉相关电位、视初始阶段。例如，外源性ERP是脑干电位。另一方面，内源性ERP由内部认知过程或心理过程联性负变(ContingentNegativeVariation,CNV)等。[0067]ERP峰的名称通常包括极性和潜伏期，每个信号的峰都有各自的定义和含义。例如，正电位为P,负电位为N,P300表示刺激开始后约300ms测得的正峰值。另外，根据出现顺[0070]失匹配负波(MismatchNegativity,MMN)不仅可以由聚焦刺激产生，而且可以由非聚焦刺激产生。MMN可以用作在初始关注之前感官记忆(回声记忆)是否运行的指示符文将描述的P300出现在关注和做出判断的过程中，作为关注之前大脑中发生的进行分析。[0071]对于另一个示例，N200(或N2)主要是根据视觉刺激和听觉刺激而产生的，并且与9以下描述的P300一起与短期记忆或长期记忆相关，短期记忆或长期记忆是关注之后的记忆[0072]对于另一个示例，P300(或P3)主要反映对刺激的关注、刺激认知、记忆搜索和不确定感的减轻，并且与区分外界刺激的感性决定相关。由于P300的产生与认知功能相关，因此无论出现的刺激类型如何，都会产生P300。例如，P300可以在听觉刺激、视觉刺激和躯体刺激中产生。P300被广泛应用于大脑-计算机接口的研究。[0073]对于另一个示例，N400与语言处理相关，是在出现带有语义错误的句子或听觉刺激时引起的。另外，N400与记忆过程相关，并且可以反映从长期记忆中检索或搜索信息的过[0074]对于另一个示例，作为表示重建过程或恢复过程的指示符，P600与基于长期记忆中存储的信息更准确地处理刺激的过程相关。[0075]对于另一个示例，CNV指的是在后续阶段的200ms～300ms甚至数秒钟内出现的电动相关。[0076]对于另一个示例，ERN(错误相关负波)或Ne(错误负波)是由失误或错误产生的事件相关电位(ERP)。当受试者在感觉运动任务或类似任务中犯错时，其可能会出现。更具体地，当受试者识别出失误或错误时，产生ERN,并且其负峰主要在额叶区域和中央区域出现约50ms～150ms。特别地，其可能出现在可能发生与运动响应相关的失误的情况下，也可以用于指示消极自我判断。[0078]图1是示出根据本发明的一个实施方案的ERN的通常波形的图。[0079]参考图1,在横轴上方描绘了负电位值，并且在横轴下方描绘了正电位值。另外，可以确认的是，在针对任意运动的响应开始之后的预定时间范围内产生了具有负峰值的ERP。在此，响应可以表示发生失误或错误的情况(错误响应)。另外，预定时间范围可以为约50ms~150ms。可替代地，预定时间范围可以为约0～100ms。此外，在正确响应的情况下，产生的为监控相关的多巴胺能系统的强化活动。ERN包括额叶纹状体环，其中包括喙状扣带区域。同时，多巴胺与通常形成特定行为并激励人的大脑奖励系统相关，从而提供愉悦和充实的感觉。当重复获得适当奖励的行为时，其被学习成一种习惯。另外，更多的多巴胺通过情感学习而释放，并且由于多巴胺的释放而尝试了新的行为。因此，奖励驱动的学习称为强化学务、Flanker任务和Simon任务)期间引起的错误响应开始后的0～100ms内产生。[0082]另外，与以下描述的CRN一起，已知ERN反映了可以区分正确行为和不正确行为的通常行为监控系统。[0083]另外，已知ERN在额叶皮层电极处达到最大幅度这一事实反映出脑内生成器位于喙状扣带区域或背前扣带皮层(dorsalanteriorcingulatecortex,dACC)区域。[0084]另外，ERN可能会根据负面情绪状态而显[0085]另外，即使在基于外部评价反馈处理(不同于内部运动表达)进行行为监控的情况下也可以报告ERN,并且可以将其划分为以下描述的FRN。[0086]另外，ERN不仅可以在认识到失误或错误时产生，还可以在认识到失误或错误之前[0087]另外，ERN不仅可以作为对他/她自身的失误或错误的响应而产生，还可以作为对他人的失误或错误的响应而产生。[0088]另外，ERN不仅可以作为对失误或错误的响应而产生，还可以作为对预定执行任务或受试者的焦虑或压力的响应而产生。[0090]同时，对于另一个示例，作为在ERN之后产生的事件相关电位(ERP),P是具有正值的ERP,其主要在失误或错误之后约150ms～300ms内在额叶皮层电极处产生。已知Pe是意识到失误或错误并给予更多关注的反应。换句话说，Pe与错误检测之后有意识的错误信息处理过程的指示符相关。ERN和Pe被称为与错误监控相关的ERP。[0091]在下文中，将更详细地描述Pe的主要特征。[0092]图2是示出根据本发明的另一个实施方案的ERN和Pe的通常波形的图。[0093]参考图2,负电位值显示在正电位值上方。另外，可以确认的是，在针对任意运动的响应开始之后的第一预定时间范围内产生了具有负峰值的ERP(即ERN)。在此，响应可以表示发生失误或错误的情况(错误响应)。另外，第一预定时间范围可以为约50ms～150ms。可替代地，第一预定时间范围可以为约0～200ms。[0094]另外，可以确认的是，在ERN开始之后的第二预定时间范围内产生了具有正峰值的二预定时间范围可以表示约200ms～400ms。[0095]图3是示出本发明的一个实施方案的Pe的偏转特性的图。[0096]参考图3,如同P3,Pe也具有宽偏转特性，并且神经丛生成器不仅包括后扣带回皮层区域和岛叶皮层区域，而且还包括更多的前扣带回皮层区域。[0097]此外，Pe可以反映出对错误的情感评价以及如同P300的对刺激的关注。另外，ERN表示正确响应与错误响应之间的冲突，Pe被认为是意识到失误并进行更多关注的响应。换句话说，在检测刺激的过程中会产生ERN,并且在处理刺激的过程中根据关注会产生Pe。当ERN和/或Pe分别具有相对较大的值时，已知这些值与旨在失误之后更缓慢且更准确地进行响应的适应性行为相关。[0098]图4A和图4B是示出根据本发明的一个实施方案的ERP和Pe的测量区域的图。[0099]ERN和Pe被认为是与错误监控相关的ERP。关于ERN和Pe的测量区域，通常可以在中央区域中测量最大负值和最大正值。但是，根据测量条件可能会有一些差异。例如，图4A是测量ERN的主要区域，通常可以在中线额叶或中央区域(即FCZ)中测量ERN的最大负值。另外，图4B是测量Pe的主要区域，与ERN相比，通常可以在后中线区域中测量较大的Pe正值。[0100]此外，对于又一示例，FRN(反馈相关负波)是事件相关电位(ERP),其与基于外部评价反馈获得的错误检测相关。ERN和/或Pe基于内部监控过程来检测错误。但是，在FRN的情11300ms内在额叶皮层电极处具有负峰值，并且可以如同ERN在背前扣带皮层(dACC)区域产正反馈更大的负值，并且对于不可预见的情况可以具有比可预测结果更大的值。[0103]对于另一个示例，CRN(正确相关负波)是由正确试验产生的ERP,并且是小于ERN的[0104]对于另一个示例，Pc(正确正波)是在CRN之后产生的事件相关电位。其是在正确响应开始后约150ms～300ms内产生的事件相关电位。CRN和Pc之间的关系可以类似于ERN和Pe之间的关系。[0105]此外，ERP可以分为刺激锁定的ERP和响应锁定的ERP。刺激锁定的ERP和响应锁定的ERP可以根据诸如诱发ERP的原因和响应时间的标准进行划分。例如，从将词语或图片从[0106]此外，脑电波可以根据表现的动机进行划分。脑电波可以分为由用户意愿表现的自发性脑电波(自发性电位)以及根据外部刺激自然表现的、而与用户意愿无关的诱发性脑电波(诱发性电位)。当用户他/她自身移动或想象移动时，会表现出自发性脑电波，而诱发性脑电波会通过例如视觉、听觉、嗅觉和触觉[0107]此外，可以根据国际10-20系统测量脑电波信号。国际10-20系统根据电极位置与大脑皮层区域之间的关系来确定脑电波信号的测量点。[0108]图6是示出根据本发明的一个实施方案的与大脑皮层区域相对应的EEG测量通道的图。P8;枕叶皮层01、02、0Z)对应于32个脑电波测量通道。对于每个通道，可以获得数据并且可以通过利用数据对每个大脑皮层区域进行分析。[0110]图7是示出根据本发明的实施方案的基于乘客的脑电波信号生成影像的装置的配置的框图。[0111]免下车(DT)服务是指允许客户在驾驶移动工具无需停车的状态下订购、支付和取走某些物品的服务。由于不需要停车或排队等候，DT服务作为给客户的高效便捷服务获得了公众的注意。近年来，DT服务逐渐流行起来。例如，移动工具的乘客可以在日常生活中在市区和高速公路上便捷容易地使用快餐店和咖啡店提供的DT服务。移动工具可以包括车[0112]此外，在目前的DT服务中，乘客通常在到达提供DT服务的场所或位置(以下称为点)之后订购所需商品。在本发明中，可以提供一种影像生成装置和方法，所述影像生成装置和方法使得能够在到达DT点之前在移动工具中选择和订购由DT点提供的商品(以下称为DT商品)。[0114]另外，本发明的DT点不仅可以包括提供DT服务的场所，而且可以包括能够向移动工具提供DT商品并接收由移动工具选择和订购的商品的信息而不提供DT服务的营业处。例如，本发明的DT点可以表示营业处，移动工具中的顾客可以在该营业处选择和订购由DT点提供的商品，但是需要在单独的场所停放/停止移动工具以便取走订购的商品。即，本发明的DT点可以包括驶入式营业处而无免下车通道。[0115]本发明的影像生成装置可以使用人工智能模型从乘客的脑电波信号生成与DT点相关的影像。例如，可以生成与DT点提供的菜单或物品相关的影像。另外，本发明的影像生成装置可以基于所生成的影像来选择预定列表中包括的影像。例如，可以选择DT点提供的物品列表或预定菜单中包括的影像。另外，本发明的影像生成装置可以基于选择的影像来控制移动工具或将乘客选择的预定物品信息提供给DT点。[0116]此外，人工智能技术使计算机能够像人一样学习数据并自主做出决定。人工神经网络是由生物神经网络启发的数学模型，并且可以表示通过允许由突触连接形成网络的人工神经元学习而改变突触连接强度从而具有解决问题能力的整个模型。人工神经网络可以包括输入层、隐藏层和输出层。每一层中包括的神经元通过权重连接，并且人工神经网络可以具有能够通过权重和神经元值的线性组合以及非线性激活函数来逼近复杂函数的形式。人工神经网络的学习目的是找到一个权重，使得输出层处计算的输出与实际输出值之间的差异最小化。[0117]深度神经网络是由输入层和输出层之间的多个隐藏层组成的人工神经网络，可以通过多个隐藏层对复杂的非线性关系进行建模。能够通过增加层数进行高级抽象的神经网络结构称为深度学习。在深度学习中，由于当输入新数据时学习大量数据并且基于学习结果选择概率最高的答案，因此可以根据影像适应性地执行操作，并且在学习模型的过程中基于数据可以自动发现特征因子。[0118]本发明的基于深度学习的模型可以包括但不限于完全卷积神经网络、卷积神经网了深度学习之外，还可以包括机器学习方法，或者可以包括作为深度学习和机器学习的组合的混合模型。例如，可以通过应用基于深度学习的模型来提取影像的特征，并且通过应用基于机器学习的模型基于提取的特征对影像进行分类和识别。基于机器学习的模型可以包[0119]另外，学习本发明的基于深度学习的模型的方法可以包括但不限于监督学习、非监督学习或强化学习中的至少一种。监督学习是使用一系列学习数据和与其对应的标签(目标输出值)来执行的，并且基于监督学习的神经网络模型可以是从训练数据推断功能的模型。在监督学习中，接收一系列学习数据和与其对应的目标输出值，通过学习发现错误，将输入数据的实际输出值与目标输出值进行比较，然后基于相应结果修改模型。监督学习可以根据结果的形式分为回归、分类、检测、语义分割。通过监督学习得出的功能可以再次用于预测新的结果值。基于监督学习的神经网络模型通过学习大量训练数据来优化神经网络模型的参数。[0120]与监督学习不同，无监督学习是一种执行学习而不标记数据的方法。即，无监督学习表示在没有已知输出值或信息的情况下教导学习算法的学习方法，并且学习算法应仅利用输入数据从数据中提取知识。例如，无监督转换可以表示一种重新表现数据的方法，从而使人或学习算法的其他机器比原始数据更容易解释新数据。例如，降维可以转换为仅包括必要特征，同时从许多高维数据中减少特性数量。作为另一个示例，聚类可以表示将具有相似特性的数据划分为组的方法，即，表示在无标签图片上出现的具有共同特征的分组。[0121]作为另一个示例，存在一种生成式对抗网络(GAN)模型，该模型已在创建或还原影像领域或模仿运动领域中得到了积极研究。GAN模型可以表示一种人工神经网络或深度学习，其中两种类型的相对系统以彼此竞争的方式执行学习，并且可以表示一种利用对抗学习方法学习由深度学习创建的模型从而解决生成问题的算法。GAN模型可以通过生成器和鉴别器彼此竞争的过程来学习信息。具体地，生成器可以用来生成与现有数据相似的模仿数据，如果生成器的模仿数据接近于实际数据，鉴别器可能失去鉴别功能。另外，鉴别器可以用于确定输入数据是实际数据还是模仿数据，如果鉴别器确定生成器计算的模仿数据有50%概率为真，则学习可以结束。同时，本发明的GAN模型可以包括能够进行更稳定学习的[0122]参考图7,影像生成装置700可以包括传感器710和/或控制器720。然而应当注意，仅示出了解释本实施方案所必需的一些部件，并且影像生成装置700中包括的部件不限于上述示例。例如，两个或更多个组成单元可以实现为一个组成单元，并且在一个组成单元中执行的操作可以进行划分并且在两个或更多个组成单元中处理。另外，可以省略一些组成[0123]本发明的影像生成装置700可以在预定时间内从多个通道采集移动工具中至少一个乘客的脑电波信号。另外，传感器710可以执行以上操作。[0124]在此，从多个通道采集的脑电波信号可以表示时域、频域或空间域的至少一个中的脑电波信号。在此，空间域可以表示脑电波信号测量通道。[0125]本发明的影像生成装置700可以利用人工智能模型由从多个通道采集的脑电波信号生成与服务点相关的第一影像。另外，控制器720可以执行以上操作。[0127]例如，服务点可以是距移动工具预定范围内的DT服务提供场所。可替代地，当移动工具在距服务点预定范围内时，移动工具可以接收关于商品的信息。服务点的数量或类型可以根据移动工具的位置而变化。本发明的影像生成装置700可以进一步包括接收器(未示[0128]图8是示出根据本发明的实施方案的移动工具和服务点之间相互执行发送和接收的范围的图。[0129]参考图8,第一服务点800可以将由第一服务点800提供的关于商品的信息发送到距第一服务点800第一范围802内的移动工具820。相反，第二服务点810在距第二服务点810第二范围812内不具有可向其发送关于商品的信息的移动工具。可替代地，移动工具820可以在距移动工具820第三范围822内从第一服务点800和第二服务点810接收关于商品的信[0130]作为另一个示例，服务点可以表示用户输入的场所或在移动工具中预定的场所。可替代地，服务点可以表示根据移动工具导航设备中的预定条件自动检测到的场所。可以根据移动工具中的用户以不同方式设置服务点。例如，可以通过输入用户喜欢的服务点来设置服务点。[0131]作为另一个示例，可以根据服务提供场所的性质对服务点进行分组。例如，可以根据所提供的商品和服务的性质或类型将服务点分组为快餐店、咖啡店、面包店、便利店、银以在移动工具的显示器上显示分组列表，并且作为对显示的响应可以根据移动工具的乘客的选择来选择至少一个分组列表。[0132]在此，预定范围可以表示在径向方向上距移动工具和/或服务点数公里或数十公里的距离。另外，可以基于通信网络来设置预定范围。例如，当基于短程通信网络在移动工具和服务点之间执行发送和接收时，预定范围可以是能够通过短程通信网络进行发送和接即，商品可以表示乘客要购买的物品。[0136]在此，关于商品的信息可以表示关于DT商品的信息。[0138]作为另一个示例，关于DT商品的信息可以包括服务点提供的预定信息。例如，关于[0139]作为另一个示例，可以基于乘客的偏好来设置关于DT商品的信息。为此，关于DT商品的信息可以是根据乘客执行预先学习的结果。另外，关于DT商品的信息可以实时更新。[0140]此外，人工智能模型可以表示生成式对抗网络(GAN)模型。GAN模型可以包括深度合而获得的模型，以便处理脑电波信号。[0141]可以利用GAN模型针对用户的脑电波信号和与其对应的服务点的影像预先训练人工智能模型。在此，服务点的影像可以表示指示DT点的影像或指示DT点提供的商品的影像。[0142]在此，第一影像是指示服务点的服务点影像或商品影像中的至少一个。服务点影像可以表示指示服务点的影像，商品影像可以表示指示服务点提供的商品的影像。在此，商利店、银行或售票处的标识或商店影像。[0144]作为另一个示例，当第一影像是商品影像时，第一影像可以表示快餐店提供的汉堡包或饮料的影像。[0145]作为另一个示例，当第一影像是商品影像时，第一影像可以表示面包店提供的物品的影像。[0146]此外，在生成第一影像的过程中，从多个通道采集的脑电波信号可以通过预定的括ReLU非线性激活函数的全连接层)。[0147]再次参考图7,本发明的影像生成装置700可以确定第一影像是否与预设的第二影[0148]在此，第二影像可以表示服务点影像或商品[0149]例如，本发明的影像生成装置700可以基于对第一影像和第二影像之间相似度的确定来确定相似度。[0150]在此，对于相似度的确定，可以应用在影像识别或分类领域中普遍使用的各种相似度确定方法，例如提取输入影像的特征点以确定相似度的方法。[0151]另外，在确定相似度时，可以将影像之间相似度的度数与预定阈值进行比较。预定阈值可以根据第一影像和/或第二影像而变化。在此，影像之间相似度的度数可以表示为概率或预定数值。[0152]例如，当第一影像是服务点影像时的阈值可以相对小于当第一影像是商品影像时的阈值。例如，如果当第一影像是服务点影像时的阈值是0.6,则当第一影像是商品影像时的阈值可以是0.8。例如，如果当第一影像是咖啡店的标识影像时的阈值是0.6,则当第一影像是汉堡包时的阈值可以是0.8.即，商品影像(例如，汉堡包影像和饮料影像)之间相似度的度数通常可以大于服务点影像(例如，快餐店影像和咖啡店影像)之间相似度的度数。通过区分阈值，相比于当第一影像是服务点影像的情况，可以更严格地确定当第一影像是商品影像时影像之间相似度的度数。[0153]作为另一个示例，当商品影像中的第一影像是“汉堡包”影像时的阈值可以相对小0.5,则当第一影像是“饮料”影像时的阈值可以是0.7。即，即使下，特定商品影像相似度的度数也可以比另一商品影像更严格或更不严格地确定。[0154]即，本发明的影像生成装置700可以通过确定相似度来选择被确定为乘客期望的服务点。可替代地，本发明的影像生成装置700可以通过确定相似度来选择被确定为乘客期望的商品。[0155]在此，第二影像可以通过用户输入来设置或者可以在移动工具中预设。另外，可以为每一个服务点影像和商品影像来预设第二影像。例如，可以将第二影像配置为一对(服务咖啡)等。[0156]另外，可以基于生成的第一影像来确定第二影像。例如，当第一影像是服务点影像时，第二影像可以被确定为预设服务点影像。可替代地，当第一影像是商品影像时，第二影像可以被确定为预设商品影像。即，第二影像可以被确定为与第一影像的类型匹配的影像，以便确定影像之间的相似度。[0157]可替代地，第二影像可以是预设影像，而不管生成的第一影像如何。即，可以与第而不管第一影像是服务点影像还是商品影像。可替代地，第二影像可以是预定的“咖啡店”影像，而不管第一影像是服务点影像还是商品影像。[0158]即，本发明的影像生成装置700可以以影像的形式预先存储乘客经常拜访的服务点或移动工具中乘客偏好的商品，并确定基于乘客脑电波信号生成的影像是否与存储的影像相似。[0159]另外，本发明的影像生成装置700可以基于确定相似度的结果来控制移动工具或向服务点提供预定信息。另外，控制器720可以执行以上操[0160]即，如上所述，本发明的影像生成装置700可以通过利用相似度确定来确定乘客期望或想到的信息是什么。另外，根据确定，可以控制移动工具或者可以将预定信息发送到服务点以回答该目的。[0161]例如，在确定出第一影像与第二影像相似时，可以将行驶路线改变至与所选择的第二影像相对应的服务点，或者可以将行驶路线提供给乘客以引导乘客选择路线。可替代地，可以将改变行驶路线的通知提供给乘客。[0162]作为另一个示例，在确定出第一影像与第二影像相似时，可以将与第二影像相对应的商品的订购信号发送到服务点。例如，当第一影像是“咖啡”影像并且被确定为与预设的第二影像相似时，可以将咖啡的订购信号发送到与咖啡相对应的咖啡店。可替代地，可以将行驶路线改变为与咖啡相对应的咖啡店，或者可以将行驶路线提供给乘客以引导乘客选择路线。可替代地，可以将改变行驶路线的通知提供给乘客。[0163]图9是示出根据本发明的实施方案的操作影像生成装置的方法的流程图。[0164]在步骤S901,可以在预定时间内从多个通道采集移动工具中至少一个乘客的脑电波信号。[0165]在此，从多个通道采集的脑电波信号可以表示时域、频域或空间域的至少一个中的脑电波信号。[0166]在步骤S902,可以利用人工智能模型由从多个通道采集的脑电波信号生成服务点的第一影像。[0167]在此，人工智能模型可以表示生成式对抗网络(GAN)模型。GAN模型可以包括深度合而获得的模型，以便处理脑电波信号。[0168]在此，第一影像是指示服务点的服务点影像或商品影像中的至少一个。服务点影像可以表示指示服务点的影像，商品影像可以表示指示服务点提供的商品的影像。[0169]此外，可以利用GAN模型针对用户的脑电波信号和与其相对应的服务点的影像预先训练人工智能模型。在此，服务点的影像可以表示指示DT点的影像或指示DT点提供的商品的影像。[0170]此外，在生成第一影像的过程中，从多个通道采集的脑电波信号可以通过预定的括ReLU非线性激活函数的全连接层)。[0171]在步骤S903,可以确定生成的第一影像是否与预设的第二影像相似。[0172]在此，第二影像可以表示服务点影像或商品影像。[0173]例如，本发明的影像生成装置700可以基于对第一影像和第二影像之间的相似度的确定来确定相似度。[