业务数据回收

1、成本控制-数据回收林娅静项目背景一分钱掰成两分花 数据总量增长128%，日均上传量增长78%。 单位存储成本：0.79 0.58 元/GB/年。50182416总数据量（PB）133120总机器数（千台）250510910日均上传量（TB）后端存储花销大空间回收 资源再利用项目阶段中断删除上传中断的数据及时删除重复数据删除冗余数据删除过期数据删除老视频转码数据；无引用数据删除PCS无用数据删除：用户删除数据空间回收空洞回收风险：数据误删数据了解Meta字段类型含义md5-crc32-size-unique_key数据唯一标识unique_key_distributionMeta存储信息keyl

2、istSlice_key 列表key_list_distributionData存储信息type0:normal 1:superfile 2:superfile2status-3:数据损坏 -2:真删标记（-1）-1:标记删除 0:普通 1:未commit 2:uncopyable 3:去重标记 4:去重真删标记 5:疑似可删除slice_key_protocol0:mola存储keylist1:meta中有keylist2:keylist由unique_key计算得到app_code0:bcs 4:pomscdatetime-项目阶段-中断删除从源头及时清理脏数据用户感知：无触发场景：用户取

3、消上传 客户端网络中断（超时） 客户端上传速度慢（2B/s） 客户端上传数据长度有误收益：每日中断删除30T+数据项目阶段-重复数据删除BCS/PCS和POMS中根据相同的文件md5减少文件存储副本的功能,以便于节约成本数据来源：未中秒传 1. 数据大小md5Noraml-md5=项目阶段-重复数据删除标记删除：-优胜略汰若该IDC只有一个key,则该IDC去重完毕;获取每个IDC保留的最优key;标记其他的key是否标记为Md5dedup(status=3)。去重真实删除：-数据安全保证对应poms_key有相同md5可供使用删除data数据，成功更改status=4，失败status=-3

4、。去重后数据下载逻辑：-偷梁换柱 如果是t2v2的下载,直接返回status=0|=2的meta数据;如果是t1v1的下载,如果status=3|4, 再重新获取到对应t2v2且status为0的meta数据返回。用户感知：无触发场景：阶段性脚本触发收益：标记删除3901.746（TB），真实删除统计881.769（TB）项目阶段过期数据删除用户感知：视频重新转码（概率较低）触发场景：阶段脚本触发收益：标记删除14630.28（TB）真实删除12090.565（TB）数据来源：视频转码文件标记删除：所有status=2,bucket=videotran*的数据标记-1。真实删除：删除statu

5、s=-1的object的data数据，状态标为-2。数据删除后下载：返回数据不存在。视频业务重新转码上传数据。项目阶段无引用数据删除A：存量数据入库POMS现状POMS准备完成PCS现状D：pcs有引用文件对应poms_key导出PCS准备完成E：PCS文件引用关系计算PCS无引用数据key列表F：POMS数据库标记删除部分无引用数据完成标记H：数据真实删除部分无引用数据删除完成I：object重写回收空间部分无引用数据空间回收完成操作状态存在增量keyJ：增量无引用数据计算不存在增量keyB：全量poms_key及相互引用关系导出基于POMS Key的引用关系计算空间回收方式C：pcs有引用

6、文件导出(bucket/object或poms_key)G：无引用key校验BCS Meta计算全量完成，所有数据已入HDFSPCS file-meta和object-key join完成，产出bucket/object引用关系计算 标记删除 无引用key校验真实删除 Object重写 数据来源：PCS无引用数据 1. 用户删除的数据 2. 云直播过期数据 3. 测试数据 项目阶段无引用数据删除删除原则：POMS内部无引用 PCS无引用数据标记删除：PCS无引用普通object：可以直接标记删除PCS无引用superfile1，且无md5：可以直接标记删除，但其子object不能PCS无引用superfile1，且有md5：可以直接标记删除，但其子object不能PCS无引用superfile2，且无md5：可以直接标记删除PCS无引用superfile2，且有md5：可以直接标记删除真实删除：删除status=-1的object的data数据，状态标为-2；Superfile的数据遍历每个object是否被PCS引用，有跳过，无删除data标记-2；Superfile2删除每个part的data数据标记-2；数据删除后下载：异常情况，监控报警。项目阶段Object 重