CN119011851B 基于变分自编码器改进熵模型的视频压缩方法及系统 （中科方寸知微(南京)科技有限公司）

司技创新园创研路266号人工智能产业CA3152644A1,2022.09.16基于变分自编码器改进熵模型的视频压缩本发明公开了一种基于变分自编码器改进的分层条件变分自编码器，生成多层次潜在变2S3、基于多层次潜在变量和概率分布数据，进行S11、从视频输入设备或存储介质中读取原始视频数据流，提取当前时刻的视频帧数预存储的数据缓存中获取最近N帧的编码结果作为观测数据，基于观测数据和几何结构表3S41、从预存储的编码统计缓存中获取最近N个4所述存储器存储有可被所述处理器执行的指令，所述指令用于被所现权利要求1~2任一项所述的基于变分自编码器改进熵模型567numpy数组格式，记为Ft，其中t表示当前时间步。应用高斯滤波去噪：Ft_denoised=cv2.GaussianBlur(Ft，(5，5)，0)；将RGB颜色空间转换为YUV颜色空间：Ft__yuv=cv2.GaussianBlur表示高斯模糊函数，用于对图像进行高斯滤波处理，以去除噪声；cv2.cvtColor表示颜色空间转换函数，用于将图像从一种颜色空间转换到另一种颜色空时间窗口大小为Wt=2l+1；空间尺度为Sl=Ft__resized.shape//2l；存储每层的数据：Pl=使用持续同调计算工具包(ripser)库计算每层的持续同调：PHl=ripser.ripser(Pl，结果；MPD表示多尺度持续图；VF表示传统视觉特征；fusedfeature表示融合后的特征，Ft_resized.shape表示调整尺寸后的图像的形状；downsample()表示降采样函数；fortinrange表示循环语句；ripser.ripser()表示Ripser库中的函数，用于计算持续同调；[0037]使用预训练的视觉几何群网络16层(VGG16)网络，提取超先验数据：zt=VGG168Ftt表示第t帧的原始图像数据；Ft_denoised表示去噪后的图像数变化时保持稳定性。超先验和潜在先验的引入为后续的编码过程提供了额外的先验知识，变量生成网络模型中每一层的先验分布参数，得到调整后的多层次潜在变量生成网络模9[0045]S23、将多层次潜在变量映射到预定义的代数簇上，构建概率分布的几何结构表Denselayers_>reconstructedfeatures。条件信息处理：场景类型为scenetype=次潜在变量：forlinrange(numlayers)：μl，σl=encoderl(zl1，scenetype，motioncomplexity)。训练HCVAE：loss=reconstructionloss+KLdivergence(q(z|x)，pz)；间的差异；q(z|x)为后验分布，表示给定输入x时潜在变量z的条件概率分布；optimizeiMLEii高了熵模型的编码效率和精度。HCVAE的多层次结构使得系统能够捕捉视频数据在不同抽计算重建数据与原始多层次潜在表示之间的感知质量差异，并根据该差异微调量化参数，局部特征：localfeatures=extractlocal_features(z)；提取全局特征：globalfeatures=extractglobal_features(z)；融合特征：context=concatenate([localfeatures，qq提高了量化过程的效率和适应性。压缩感知理论的应用使得系统能够在稀疏域中进行数据量化过程能够根据视频内容的局部和全局特征动态调整，这对于处理复杂多变的视频场景从量化后的离散值到原始数据的高质量重建，有效减少了量化误差。这种重建过程特别适合处理视频中的纹理细节和边缘信息，能够在高压缩率下保持良好的视觉质量。感知质量指标的引入使得系统能够在比特率和视觉质量之间取得更好的平衡。这种基于人眼视觉系统特性的优化特别适合视频压缩应用，因为它能够在保证主观视觉质量的同时，最大化压如场景切换或光照条件的突变，从而在整个视频序列中维持稳定的压缩性能。本实施例通[0070]本实施例接收量化后数据和调整后的量化参数。从编码统计缓存中获取最近N个[0071]接收压缩数据包，并从各模块的参数缓存中收集各个模块的中间数据和可调参ij_1natLnew2于实时或近实时的视频压缩应用尤为重要，能够在有限的计算资源下实现最佳的压缩性视频内容和压缩要求下的适应性和性能。它能够有效处理视频压缩中的复杂非线性关系，params练的VGG19网络，通过微调来适应视频质量评估任务。去块效应函数deblock()可以实现paramsstrengthnew=strength*(1+alpha*(1_ssim))fac结果的自适应后处理技术选择机制使得系统能够针对不同类型的视频内容和压缩伪影采这种闭环反馈机制确保了重建过程的稳定性和一致性，特别是在处理长时间序列的视频熵和KL散度混合损失函数自适应地确定量化步长，以提高压缩效率并保留更多有用信息。于变分自编码器改进的熵模型。两部分神经网络部分都用相应的残差网络替代原有网络，具有残差神经网络模块的变分自编码器（VAE根据输入的潜在变量et和参数处理后的概；[0102]本发明具有广泛的应用前景，以下是一些已知和潜在的技术/产品应用领域及其过本发明优化视频内容的压缩，视频传输和分发网络(CDN)能够更高效地缓存和分发视频分自编码器改进熵模型的视频压缩方法在多个方面提升了视频压缩的性能和效率。在特征提取阶段，时空金字塔结构和持续同调算法的应用使得系统能够捕捉视频数据的多尺度时空特征和拓扑结构，这增强了对复杂视频内容的表达能力。这种高质量的特征提取为后续的编码过程奠定了坚实的基础，使得系统能够更准确地捕捉视频中的时间相关性和空法则提供了处理复杂非线性数据分布的强大工具。这种结合不仅提高了编码效率，还增强了系统对不同类型视频内容的适应能力，特别是在处理高度动态和复杂的视频序列时表现提高了量化过程的效率和适应性。能够根据视频内容的局部和全局特征动态调整量化策高了编码效率，特别是在处理长序列视频或内容多变的视频时表现出色。通过动态调整符局优化阶段引入的基于信息几何的率失真优化方法，实现了对整个压缩过程的端到端优化。这种全局优化策略能够协调各个模块之间的相互影响，在不同的压缩率要求下找到最佳的参数配置，提高了系统的整体性能和适应性。在解码重建阶段，感知引导的重建增强对抗学习技术，系统能够有效恢复被压缩过程损失的视觉信息，并根据