TK6-阿里推荐算法测试方法

1、阿里推荐算法测试方法共享事业部数据应用-敏仪提纲 背景介绍 推荐算法测试方法 AEC推荐算法测试平台 展望推荐业务介绍推荐业务介绍推荐算法框架介绍提纲 背景介绍 推荐算法测试方法 AEC推荐算法测试平台 展望优秀推荐算法评测维度用户用户卖家卖家网站网站挑战：感性判断到指标量化挑战：感性判断到指标量化高高质质量、感量、感兴兴趣的商品趣的商品大多大多数卖数卖家家用用户户反反馈馈、促、促进进成交成交常见推荐算法测试方法离线实验离线实验用户调查用户调查在线实验在线实验在离线数据集上通过离线指标预测算在离线数据集上通过离线指标预测算法推荐效果法推荐效果通过真实用户调查给出主观感受结果通过真实用户调查给出

2、主观感受结果通过线上通过线上AB测试得到商业上关注的测试得到商业上关注的指标指标离线实验离线实验用户调查用户调查在线实验在线实验离线离线实验实验用户用户调查调查在线在线实验实验阿里推荐算法测试方法介绍测试报告上线说明算法正确性测试规则扫描规则扫描白盒测试白盒测试JOB监控监控数据规则数据规则1.字段字段2.记录记录3.单表单表4.表间表间1.MR单元测试单元测试2.MR集成测试集成测试3.MR性能测试性能测试业务规则业务规则1.业务过滤业务过滤 2.一致性一致性1.JOB性能性能2.JOB配置配置3.JOB报警报警算法结果集算法逻辑算法稳定性算法合理性测试失效率UV失效率、PV失效率2468覆

3、盖率 UV覆盖率、PV覆盖率多样性类目多样性、分散度、推荐结果多样分布、基尼系数准确率、召回率 类目准确率、类目召回率 商品准确率、商品召回率共现度数据源比例、商品类型比例新颖性推荐对象更新率、推荐结果更新率排序质量DCG、NDCG时效性用户实时行为比率1357合理性指标构建合理性指标构建合理性指标案例合理性指标案例 1 失效率LOST 失效率衍生定义推荐算法无法为用户提供推荐数据占推荐全集的占比 指标描述及定义指标描述及定义 统计计算方式脚本化统计计算方式脚本化 建立指标场景化基线建立指标场景化基线 指标构建的四个过程指标构建的四个过程 指标构建过程案例说明指标构建过程案例说明 指标定义衍生

4、指标定义衍生指标实现 失效率基线UV失效率、PV失效率Shell+HIVE脚本实现指标计算过程LOST=2.63%算法测试指标案例合理性指标构建合理性指标构建合理性指标案例合理性指标案例 2 多样性D(c) 多样性衍生定义表示推荐算法的N条数据中，数据拥有的某一属性的个数，统计各属性个数在全部N条数据中的比例。 指标描述及定义指标描述及定义 统计计算方式脚本化统计计算方式脚本化 建立指标场景化基线建立指标场景化基线 指标构建的四个过程指标构建的四个过程 指标构建过程案例说明指标构建过程案例说明 指标定义衍生指标定义衍生指标实现 多样性基线类目多样性、分散度、基尼系数等Shell+HIVE脚本实

5、现指标计算过程某场景的类目多样性算法测试指标案例算法测试体系构建基于用户的推荐基于商品的推荐基于内容的推荐基于事件的推荐基于LBS的推荐算法测试体系案例：基于商品的推荐算法测试体系提纲 背景介绍 推荐算法测试方法 AEC推荐算法测试平台 展望创建测试脚本构建测试任务发送测试报告沉淀测试场景模版生成 ODPSSQL生成 路径创建通过测试脚本创建通过测试体系创建通过测试场景创建添加指标模版添加算法测试数据添加算法测试体系AEC平台功能介绍平台使用者平台使用者平台管理员平台管理员AEC平台主要功能展示AEC平台特点介绍标准化的算法测试方法标准化的算法测试方法 引导测试过程，沉淀测试结果引导测试过程，沉淀测试结果规范化算法测试数据规范化算法测试数据跨平台调度执行跨平台调度执行4123开放共建算法测试方法开放共建算法测试方法5提纲 背景介绍 推荐算法测试方法 推荐算法测试平台（AEC） 展望测试深度平台化大数据大数据算