B站视频素材库基于Ray的大规模计算加速优化与实践

2024全球软件工程技术大会拥抱走深向实引领软件工程可持续发展》》》走深向实目目录3.技术难点与挑战大型《山海经》纪录片上线：你知道山海经，可是你没见过!【视频类赛道+经典IP改编影片】的第283期每周必看>生成式²①该内容疑似使用A技术合成，请谨慎甄别◎未经作者授权，禁止转裁经4536AI视来必来必剪，用Al释放生产力!定制Al音色定制数字分身Al能力→内容体验+创作支持↑在1887年，克里夫兰已经感到有些厌倦当美国总统。他的工作充斥着繁文缛节和永无休止的争论。他和反对派吵架，和民主党同僚吵架，和国会上的几百名议员吵架。他在一次又一次争吵中艰难推进自己的政策。当他看到朋友5岁的儿子时，他是羡慕的。这个小男孩正处在一生中最无忧无虑的时刻。他走上前去，对这个名为弗兰克林罗斯福的小孩说道：“希望你永远也不要当上美国总统。”罗斯福出身富贵，他的父亲是铁路公司的总裁，母亲是来自上流社会的名媛。他们家族在过去上百年间出过无数资本家，从而积累了惊人的财富。罗斯福童年最主要的活动就是探索自己的家。他们家太大了，这是一个占地几百英亩的宏伟庄园，其中包括农田、森林、花园、葡苟园、冰窖、谷仓。他们家有保姆、女仆、厨师、花匠、车夫、马童，这么多的人，这么大的家，都是围绕着罗斯福一家三口的。作为家中独子，罗斯福备受父母宠爱，他很快就把这座庄园变成了自己的王国。他从房前的斜坡滑下，又爬上高高的铁杉树他穿着雪鞋在田野间漫步，在冻结的河面上溜冰。他有自己的小马，还养了一条特种红毛猎狗。在他们的陪伴下，年幼的罗斯福在自家森林中学会了打猎。他也会和其他小孩一起玩，这些孩子同样来自于名门望族。罗斯福看不到外面的世界。他们当然也会外出旅行，去英国、去法国、去欧洲的很多国家。但旅行仅仅意味着换个地方，他们接触的仍然是同一类人：贵族、资本家、政客。红球快递?坦克不是吃柴油吗少爷兵：这就回家《大兵将军》绍伊古!爱兵如子的巴顿土兵：我谢谢你嗷士不是，长官士兵，不是哥们?爱兵如纸因为明森打火机用的是汽油机三战场上英勇杀敌就可以了，但坦克在汽油方面考虑的就多了立刻召开后勤会议脚本理解视频检索离离线素材采集质量评估元数据聚合语音提取ocr模型视频多模态模型textembeddingfaceembeddingvideo视频切分视频抽帧人脸/品牌识别光流模型embedding其他特征在在线智能创作agentQuery意图视频多模态特征匹配asr/ocr语义匹配文本向量召回重排内容一致性排序标签筛选人脸/品牌匹配质量打分排序倒排索引召回多路召回排序素材来源1素材来源2素材来源3素材管理服务1.下发任务质量评估质量评估2.任务回调3.1推送分片任务3.2推送分片任务任务队列任务ElasticSearch/向量数据库抽取后的特征场景检测视频切片抽帧下载-音频提取asr光流下载下载抽帧人脸识别特征抽取clip归档上传s3CPU常驻应用持久化GPU常驻应用持久化KV存储原始特征kube混部平台容器资源池走OpenAlocr文字占比抽帧场景识别视频分片光流评分视频理解captionselectvideofrom...k8sJob抽帧触发切片任务场景检测调度4090混部资源池ocr/美学评分workerOCR/美学评分overwriteOCR/美学下发等待完成caption任务下发等待完成vae任务下发创建批任务 查询任务批次结果任务网关任务队列A100A100captionvaervaeworker活同分区数据串行写辑置发布CPU资源8视频切片ALLUXlOGPU资源MessageGPU资源抽帧MessageGPU资源Message图片图片图片OCR美学光流captionOCR美学光流持久化原始特征特征持久化原始特征iceberg特征数据8rayactorCPU资源rayactorGPU资源队列，拥塞pending强化学习模型服务数据集处理-senablesimplescalingofAIworkloadsalow-leveldistributedcomputingframeworkwithaconcisecoreandPython-firstAPI-细粒度的并行计算走深向实Rayapplicationsarerunondriverandworkerprocesses#Initiateray.get(task.remote())actor=Actor.remote()ray.get(actor.ready.remote())较快的stage在GPU上做推理过程较慢的stageNodeNodedefready(self):driver.a异构资源调度弹性资源调度视频切片Actor(CPU)质量评估场景检测视频切片归档上传2-特征特征提取ActorActorActorActorActorActorActorActorActorActorActorActorActorActorkubeAir混部平台算力kubeAir混部平台算力升级前升级前升级后编程方法functionclasstaskactordeployment编排方式借助于外部队列部署方式分离部署、分开运维构建、部署、运维上需要单独适配统一以raycluster方式接入资源运维监控单独开发任务粒度的指标埋点、配置监控kAvrokAvroParquetHUAWEICategory管理数据table<->metadata表元数据表在不同时刻Category管理数据table<->metadata表元数据表在不同时刻单个快照，表示表某一时刻对应一组datafile文件，记录了分合信息datalayer表数据metadatafilemanifestmanifestmanifestfilemanifestfilecurrentmetadatapointermetadatafilehive事务性分区串行更新(维护多个临时表)快照读并发写入行级别更新schema演进表字段增改困难无成本增删改字段还支持分区演进计算引擎强依赖支持pythonnative也支持多种计算引擎数据类型结构化+半结构化结构化+半结构化+非结构化iceberg对比hive的优势加载catelog和表frompyiceberg.frompyiceberg.catalogimportload_catalog插入数据df=pa.Table.from_pylist([…table.append(df)frompyiceberg.expressionsimportEqualTodf=df,overwrite_filter=EqualTo('unique_key','clip-001.mp4')全量查询条件查询.scan(row_filter=And(GreaterThan('frames',25),selected_fields=['unique_key','shot_detection']轻量化单机sql查询con=table.scan(row_filter=EqualTo('Log_part','part-06088')WHERElog_type='caption_detection'ANDCAST(json_extract(js_info,'$."Length(frames)"')ASrows=con.execute(query).fetchall()df=table.to_daft()ray_dataset=table.scan(row_filter=GreaterThanOrEqual("width",512),selected_fields=("image"),predictions=ray_dataset.map_batches(OcrModel,num_gpus=1,batch_size=1,concurrency=2,INTEGER)<1500daft特征识别Actor持久化Actor特征特征识别Actor持久化Actor特征ObjRef暂存加载图片ObjRef暂存加载图片预处理Actor光流Actor人脸Actor视频多模态Actor持久化Actor切片2抽帧光流人脸识别多模态特征走深向实走深向实max_max_batch_size=6抽帧抽帧切片2人脸特征识别模型抽帧抽帧人脸特征识别Actorbatch人脸特征识别Actorbatchinfer切片1切片1切片1切片1切片2切片2batchinfer切片3切片3batchinfer切片33次infer1次infer"upscale_delay_s":"downscale_delay_s":20health_check_period_s=10,health_check_timeout_sgraceful_shutdown_wait_loop_s=30,graceful_shutdown_timeout_s=60)You,1秒钟前I2authors(Youandoneother)classFaceEmbedService:def_init_(self,cfg:FaceEmbeddingClientConfig):self.face_embedding=FaceEmbeddingClient(cfg)?@serve.batch(max_batch_size=6,batch_wait_timeout_s=0.asyncdef_call_(self,imgs:List[Image.Image])->List[Fareturnself.face_embedding.get_face_embeddings(imgs)GPU1GPU2actorpoolautoscalingGPU1GPU2光流人脸识别多模态特征走深向实走深向实节点弹性classICloudInstanceProvider(ABC):弹性节点弹性节点defget_non_terminated(self)->Dict[CloudInstanceId,ClouWorkerWorkerNodeActorsActorsWorkerNode1defterminate(self,ids:List[CloudInstanceId]WorkerNode1WorkerWorkerNode2moni