CN119450126A 电视盒子智能交互控制单元图像处理方法及设备 （深圳市玥芯通科技有限公司）

电视盒子智能交互控制单元图像处理方法本发明涉及一种电视盒子智能交互控制单输入视频流进行特征分析，得到增强后的视频音交互信息，并输入双分支Transformer模型进显示设备色彩特性对高质量视频帧序列进行场2根据所述视频特征数据结构对所述输入视频流进行重叠图像块划基于智能交互控制单元采集用户的视觉和语音交互信息，并对所述融合特征向量和所述增强后的视频流进行联合分析，得到用户交基于所述用户交互意图和所述交互响应策略，对所述增强后的视频根据实时获取的环境光线信息和预存的显示设备色彩特性对所述高质量视频帧序列对电视盒子的输入视频流进行帧级分割，得到视频帧序列，并对对所述视频帧序列中相邻帧进行差分运算，得到帧间差异图，并基于对所述视频帧序列进行二维离散傅里叶变换，得到频率域特征对所述多维特征向量进行自适应主成分分析，得到降维对所述高级语义特征、所述空间特征参数、所述运动特征参数和根据所述视频特征数据结构对所述输入视频流进行重叠图像块划分、独立处理和加权重根据所述视频特征数据结构中的分辨率参数，对所述输入视频流中根据所述视频特征数据结构中的亮度分布参数，对每个重叠图像块基于所述视频特征数据结构中的频率域特征参数，对所述亮度均根据所述视频特征数据结构中的运动特征参数，对所述去噪后的重基于所述视频特征数据结构中的对比度参数，对所述运动补偿后的3部对比度增强算法，通过自适应gamma校正调整像素强度，得到对比度增强后的重叠图像对所述对比度增强后的重叠图像块进行加权，得到加权后的重叠图像基于智能交互控制单元对采集的用户视觉信息进行预处理，得到视将所述视觉输入序列输入双分支Transformer模型中的视觉分支Transformer编码器，将所述语音输入序列输入双分支Transformer模型中的语音分支Transformer编码器，对所述视觉特征表示和所述语音特征表示进行位置编码，将位置信息注入特征表示将所述增强的视觉特征表示和所述增强的语音特征表示输入交叉将所述初步融合特征输入双分支Transformer模型中的融合Transfo对所述深度融合特征进行全局平均池化操作，将序列特征压缩为固定维度的向量表对所述增强后的视频流进行时空特征提取，得到视频时空特征图对所述视频时空特征图和所述扩展融合特征图进行特征融合，通过对所述注意力增强的联合特征图进行时序建模，得到时序编码特征，并基于所述用户交互意图概率分布，通过阈值判断确定用户交互4将所述时序编码特征和所述交互响应策略模板输入策略细化网络，根据所述用户交互意图，从预设的意图一处理参数映射表中提取对所述增强后的视频流进行帧级分割，得到视频帧序列，并基于所对所述图像块集合中的每个图像块计算局部统计特征，并根据所述局将所述自适应S型曲线映射函数应用于对应的图像块，得到局部对比度增强后的图像基于所述运动补偿参数，对所述对比度增强后的视频帧序列中对所述帧率提升后的视频序列应用时域滤波器，得到平滑的高帧率视根据实时获取的环境光线信息和预存的显示设备色彩特性对所述高质量视频帧序列进行对所述高质量视频帧序列进行色彩空间转换，将RGB色彩空基于环境光线传感器实时采集环境光线信息，包括环境光强度根据所述环境场景类型和预存的显示设备色彩特性，从预设的场度分量V'；基于所述色彩增强系数α和β,对所述饱和度S分量进行线性调整，使用公式S'=α*S+β,得到调整后的饱和度分量S'；对所述色彩增强的视频帧应用Floyd一Steinberg抖动算法，将色5处理模块，用于根据所述视频特征数据结构对所述输入视频流进行重叠图像块划分、融合模块，用于基于智能交互控制单元采集用户的视觉联合分析模块，用于对所述融合特征向量和所述增强后的视频流进行联补偿模块，用于基于所述用户交互意图和所述交互响应策略调节模块，用于根据实时获取的环境光线信息和预存的被处理器执行时实现权利要求1至7中任一项所述的6致性也是一个亟待解决的问题。传统方法无法根据实时环境光线变化动态调整显示参数，[0004]本发明的主要目的为提供一种电视盒子智能交互控制单[0005]为实现上述目的，本发明提供了一种电视盒子智能交互根据实时获取的环境光线信息和预存的显示设备色彩特性对所述高质量视频帧7述视觉和语音交互信息输入双分支Transformer模型进行多模态信息融合，得到融合特征联合分析模块，用于对所述融合特征向量和所述增强后的视频流进行联合分析，89静态信息，还能够捕获用户头部运动等动态信息。同时，将语音输入序列输入到双分支Transformer模型中的语音分支Transformer编码器中。语音分支Transformer编码器的结中。位置编码的目的是在不显示使用递归结构的情况下让Transformer模型具备序列感知融合，得到初步融合特征。将初步融合特征输入双分支Transformer模型中的融合联。前馈神经网络子层则用于强化特征的非线性表达能力，最终通过4个编码层的逐步计层次的响应策略具体化为可执行的参数，使得系统根据这些参数对用户的请求进行响应，色彩空间则更符合人类对色彩的感知，在处理如色彩增强和色温调节等任务时更具优势。基于环境光线传感器实时采集环境光线信息，环境光线信息包括光强度和色温两个方面。于色彩增强系数α和β进行线性调整。调整后的饱和度s'的计算公式为s'=as+B，计算得到，其中是原始色相分量，是基于环境色温计算得到的偏移;其中，F(u,v)表示频率域中的幅值，f(x,y)表示空间域中的像素值，M和N分别是;;根据视频特征数据结构中的分辨率参数，对输入视频流中的每一帧进行网格划根据视频特征数据结构中的运动特征参数，对去噪后的重叠图像块进行运动补;;自适应gamma校正来调整像素强度，使得图像的细节更加突出。调整后的像素值I'(x,y);I(x,y)是原始像素值，y是自适应的对比度增强参数。通过基于智能交互控制单元对采集的用户视觉信息进行预处理，得到视觉输入序列，将视觉输入序列输入双分支Transformer模型中的视觉分支Transformer编码器，将语音输入序列输入双分支Transformer模型中的语音分支Transformer编码器，对深度融合特征进行全局平均池化操作，将序列特征压缩为固定维度的向量表;;入双分支Transformer模型中的融合Transformer编码器，以实现多模态信息的深度融合。;;(i,j)处的注意力权重，xij表示联合特征图在位置(i,j)的特;将自适应S型曲线映射函数应用于对应的图像块，得到局部对比度增强后的图像交互响应策略中的视频增强级别，对平滑的高帧率视频序列进行全局亮度和饱和度调整，得到高质量视频帧序列。局部统计特征是用于描述图像块中像素值的分布和变化的指标，能够反映图像块的亮度、;;;;度分量V'；调整后的饱和度分量S'；[0031]在这个示例中，对高质量视频帧序列进行色彩空间转换，将RGB色彩空间转换为整显示设备上的视频内容，以确保在各种光线条件下都能够为用户提供最佳的观看体验。;v表示原始的明度分量，v'表示调整后的明度分量，y是从场景_色彩表中选择的Gamma校正系数。Gamma校正通过对亮度进行非线性变换来适应不同的显示环;;更加符合人类的视觉感知，提供更好的观看体验。对色彩增强后的视频帧应用Floyd_调节模块6，用于根据实时获