CN119450165A 视频描述信息的确定方法、装置、电子设备和存储介质 （北京奇艺世纪科技有限公司）

本发明提供了一种视频描述信息的确定方取视频数据，所述视频数据包括至少两个视频根据所述视频数据中不同视频帧拍摄时摄像头用于表示所述视频数据在拍摄过程中所述摄像2根据所述视频数据中不同视频帧拍摄时摄像头的姿态，确定所述视根据所述参数数据，确定所述视频数据对应的运镜信息，所述视频数据在拍摄过程中所述摄像头运动时的变根据所述运镜信息对所述视频数据的视频内容进行文本描述，根据所述参数数据，确定所述视频数据中的目标视频帧；并根据在所述视频数据中第一视频帧拍摄时摄像头的运动速度帧拍摄时摄像头的运动方向，确定所述第一视频帧拍摄时的运镜方式包括第一运镜方式，在所述视频数据中第二视频帧拍摄时摄像头的旋转角度在所述视频数据中第三视频帧拍摄时摄像头的运动速度大于第一预设阈值的情况下，在所述视频数据中第四视频帧拍摄时摄像头的旋转角度大于第二预设阈值的情况下，将每个所述视频帧分别输入至第一模型进行姿态预测操作，得到3对第一姿态数据进行平滑处理，得到第二姿态数据，所述第一姿所述根据所述视频数据中不同视频帧拍摄时摄像头的姿态，确定所根据所述第二姿态数据中不同视频帧拍摄时摄像头的姿态，确定在所述视频描述信息中不包括预设信息的情况下，将所述在所述视频描述信息包括预设信息的情况下，根据所述预其中，所述视频描述信息为所述训练数据中标签，所述视频第二确定模块，用于根据所述视频数据中不同视频帧拍信息用于表示所述视频数据在拍摄过程中所述摄像文本描述模块，用于根据所述运镜信息对所述视频数据45所述视频数据在拍摄过程中所述摄像头运动时的6运镜信息用于表示所述视频数据在拍摄过程中所述摄像头运动时[0016]文本描述模块，用于根据所述运镜信息对所述视频数据的视频内容进行文本描个所述视频帧拍摄时摄像头的姿态；根据所述视频数据中不同视频帧拍摄时摄像头的姿7施例中的视频数据。也可以通过即时定位与地图构建(SimultaneousLocalizationAndγi)方向和旋转角度。设相邻两个视频帧拍摄时摄像头的位置分别为Pi＝(xi,yi,zi)和Pi+1=89信息，所述运镜信息用于表示所述视频数据在拍摄过程中所述摄像头运动时的变化轨迹；该视频帧确定为目标视频帧。在一些实施例中，在视频帧拍摄时的旋转角度大于0的情况式，所述第一运镜方式指示所述摄像头按照所述运动方向和所述运动速度进行镜头移动，[0073]在所述视频数据中第三视频帧拍摄时摄像头的运动速度大于第一预设阈值的情[0074]在所述视频数据中第四视频帧拍摄时摄像头的旋转角度大于第二预设阈值的情以通过获取拍摄过程中摄像头存在运行行为的视频数据，将其作为训练数据对CNN卷积神经网络进行训练，以学习视频帧拍摄时的摄像头姿态与视频帧的特征向量之间的映射关述第五视频帧是采用镜头场景切换的运镜方式[0097]在视频描述信息中不包括预设信息的情况下，说明视频数据是单一场景下的视包括两个场景，也说明视频数据中包括采用镜头场景切换的运镜方式拍摄的第五视频帧。由于第二模型通常针对单一场景下视频数据进行视频描述信息的生成效果比较好，因此，据和对应的视频描述信息均作为第二模型的所述运镜信息用于表示所述视频数据在拍摄过程中所述摄像头运动时的[0108]文本描述模块205，用于根据所述运镜信息对所述视频数据的视频内容进行文本式，所述第一运镜方式指示所述摄像头按照所述运动方向和所述运动速度进行镜头移动，[0115]在所述视频数据中第三视频帧拍摄时摄像头的运动速度大于第一预设阈值的情[0116]在所述视频数据中第四视频帧拍摄时摄像头的旋转角度大于第二预设阈值的情所述视频数据在拍摄过程中所述摄像头运动时的式，所述第一运镜方式指示所述摄像头按照所述运动方向和所述运动速度进行镜头移动，[0142]在所述视频数据中第三视频帧拍摄时摄像头的运动速度大于第一预设阈值的情[0143]在所述视频数据中第四视频帧拍摄时摄像头的旋转角度大于第二预设阈值的情述第五视频帧是采用镜头场景切换的运镜方式[0155]上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandard[0158]上述的处理器可以是通用处理器，包括中央处理器(CentralProce简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcess