CN114170537B 一种多模态三维视觉注意力预测方法及其应用 （浙江大学）_第1页
CN114170537B 一种多模态三维视觉注意力预测方法及其应用 （浙江大学）_第2页
CN114170537B 一种多模态三维视觉注意力预测方法及其应用 （浙江大学）_第3页
CN114170537B 一种多模态三维视觉注意力预测方法及其应用 （浙江大学）_第4页
CN114170537B 一种多模态三维视觉注意力预测方法及其应用 （浙江大学）_第5页
已阅读5页，还剩13页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

一种多模态三维视觉注意力预测方法及其本发明公开了一种多模态三维视觉注意力态视觉注意力模型包括注意力长短期记忆人工态融合技术综合利用眼动和头部运动多个模态预测方法可用于定位视觉兴趣区域和视觉搜索2注意力长短期记忆人工模块整合了注意力机制，计算当前（4）利用预处理后样本数据对多模态视觉注意力模型在样本标签的监督下进行训练，3将待测数据预处理后输入至根据权利要求1-4任一所述的多模态三维视觉注意力预测将待测数据预处理后输入至根据权利要求1-4任一所述的多模态三维视觉注意力预测将视觉搜索路径和视觉兴趣区域与空间设计需求结合来评估当4[0002]眼动追踪技术通过追踪眼部特征并映射到现实世界或虚拟画面上获取注视点数和预测模型的鲁棒性。传统眼动跟踪技术基于二维图像和视频序列进行视觉注意力检测，如公开号为CN111309138A和CN113040700A的申请专利仅提高了基于二维图像的眼动追踪5[0010](3)构建包括注意力长短期记忆人工模块、残差全连接卷积网络模块以及融合模[0011](4)利用预处理后样本数据对多模态视觉注意力模型在样本标签的监督下进行训[0012](5)利用参数优化的多模态视觉注意力模型预测用户在浏览画面时的注意力并显动仪，传感器用于采集浏览画面和记录用户在浏览画面时的用户转头速度和用户转头方头方向作为待测数据，将待测数据预处理后输入至参数优化的多模态视觉注意力模型中，[0026]将视觉搜索路径和视觉兴趣区域与空间设计需求结合来评估当前的空间信息布6[0028](1)本发明提供的多模态三维视觉注意力预测方法可以在三维空间实现高精度的[0029](2)本发明提供的多模态三维视觉注意力预测方法可以用于定位视觉兴趣区域和[0037]VR设备选用OculusRiftDK2，所述的VR设备带有传感器和内置PupilLab眼动7[0042]再利用线性插值对时间序列数据进行补漏，及通过xn,xn+2预测xn+1：xn+1＝(xn+的最大的绝对值，然后将所有归一化处理的二维特征拼接成特征向量作为步骤(3)中多模[0047]注意力长短期记忆人工模块整合了注意力机制——计算当前输入序列和注视点取特征后，得到的特征分别输入至最大池化模块(Maxpooling)和平均池化模块(Average[0054]每个block模块由球卷积层(Sphericalconvolution)和批量归一化层(BN)形成8[0058]将步骤(2)得到的头动样本数据作为注意力长短期记忆人工模块的输入，注意力长短期记忆人工模块设置有640个神经元；将画面样本数据作为残差全连接卷积网络模块[0059]本发明方法在残差全连接卷积网络模块的损失函数中引模态视觉注意力模型预测用户在浏览画面时的注意9差全连接卷积网络模块对画面样本数据提取视觉特征，

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论