AI视频内容理解的研究与实践课件

1、AI视频内容理解的研究与实践技术创新 变革未来第1页，共22页。OPERATING SYSTEMCLOUD COMPUTINGDATATECHNOLOGYTEAM$Online and Mobile Commerce PlatformBUYERSSELLERSMarketingFinancing &Payment SolutionProfessional Service ProvidersDigital EntertainmentLogisticsMobile BrowserLocation-Based第2页，共22页。文字 图片 声音 动态1080p/HDR立体声全视角全景声5G非结构化信息

2、的结构化促进高效应用?人 物 自然物理世界互联网+高清 视频+视频+网络视频VR视频+AI+数字世界第3页，共22页。4智能理解智能生产人：身份识别物：服化道识别自然：地标识别行为识别自动分类UGC标签视频指纹智能审核智能拆条描述生成智能缩略图智能配乐集锦生成虚拟人多语言字幕生成供给、效率、成本智能播放智能分发智能推荐多模态搜索多语言搜索只看他视频增强第4页，共22页。视频行业与细分市场媒体Ai算法 产品鉴黄血腥暴恐旗帜共11个能力智能审核视频指纹视频指纹音频指纹结构化标签静态标签动态标签智能生产GIF首图赛事集锦拆条虚拟人传媒泛娱乐电商体育泛视频行业阿里云渠道视频云OSS云盾数据智能被集成输

3、出赋能集团内合作方弹内业务优酷 微博淘宝 闲鱼UC图像审核识别智能审核视频指纹视频关系计算视频段落定位结构化标签静态标签：人、物、场景、字幕动态标签：行为、事件智能生产赛事集锦GIF首图拆条虚拟人媒体Ai算法能力图像审核标签第5页，共22页。01Contents目录0203第6页，共22页。New Future on Cloud01第7页，共22页。多模态理解：视觉+语音+文本的多模态识别人、物、自然、文字的充分理解多维解构：人、物、场景、服化 道、动作、事件、概念Open-set 识别系统：轻量定制化引擎人物标注视觉标签语音识别多模态标签文字识别视频审核第8页，共22页。第9页，共22页。第

4、10页，共22页。）第11页，共22页。1.如何利用增量数据提升性能2.如何利用不同域数据训练3.只对增加数据的标签性能提升，而不影响其他标签性能4.快速训练，无需对所有数据重新训练1.跨模态表征，多模态搜索2.向量化与ID化表征3.结构化+向量化的定制化系统第12页，共22页。02New Future on Cloud第13页，共22页。同源相似第14页，共22页。第15页，共22页。161.2.3.4.5.6.1.视频质量变化noise, contrast, gamma, blur, re- encoding, rotation2.时空域变换PIP, insertion, mirroring, ratio, crop shift3.视频拼接4.复合变换功能：短查短 短查长 长查长应用场景：版权保护、原创认证广告追踪、分成视频去重、分发打散、搜索等结构化的最细粒度第16页，共22页。第17页，共22页。第18页，共22页。03New Future on Cloud第19页，共22页。21进球Forward retrieval庆祝Time-space