机器学习讲义-推荐系统--排序篇1.ppt

之前的问题 AUC为0 3240 在CTR预估评价中会用LogLoss 为什么不是其他的LossFunction 还是其他的lossfunction也可以 logloss一定是凸函数吗 怎么证明 之前的问题 机器学习实训营第一次作业train数据有整行重复的数据 需不需要去重 在CTR预测中 在抽取特征的过程中 用到了map的形式 在python中用了dict 那么当特征维度过大的时候怎么办 如超出字典的最大长度 实际应用中有没有什么更为巧妙而成熟的实现方式 之前的问题 test集预测结果后 计算auc的值一直为1 问 测试集没有标签 怎么计算的AUC 答 测试集没有label 设置一个阈值为0 5 大于0 5 label为1 小于0 5 label为0 然后计算auc 推荐系统 排序篇 什么是推荐系统 物品 推荐系统 推荐系统是根据用户的兴趣特点和购买行为 向用户推荐用户感兴趣的物品的系统 推荐系统两个阶段 召回阶段 排序阶段 召回出用户感兴趣的item 对这些item排序后展示给用户 推荐系统两个阶段 召回算法 基于内容 基于协同过滤 冷启动相关算法 推荐系统两个阶段 排序介绍 什么是排序 决定item以何种顺序展示给用户 排序介绍 为什么要排序 位置往往很关键 不同排序往往有不同效果 排序算法可以带来50 到成倍的提高 排序介绍 排序指标 AUC MAP NDCG MRR GroupAUC 排序介绍 排序指标 AUC 衡量整体的排序能力 怎样计算 排序介绍 排序指标 AUC 排序后结果 排序介绍 排序指标 AUC 排序后结果 AUC 排序介绍 排序指标 AUC TP 正确正样本个数 正样本总个数 FP 错误正样本 负样本的总个数 排序介绍 排序指标 AUC TP 正确正样本个数 正样本总个数 FP 错误正样本 负样本的总个数 AUC 5 6 排序介绍 排序指标 AUC 衡量组内的排序能力 怎样计算 排序介绍 组的概念 一般在一个session的item为一组 一次请求为一个session 是在一起展示的itemlist 例子 请求1 i3 i2 i5 i7 请求2 i2 i1 i7 i8 i3 i2 i5 i7为一组 i2 i1 i7 i8为一组 排序介绍 例子 AUC 排序介绍 例子 AUC 排序介绍 例子 AUC 排序介绍 例子 AUC 3 4 排序介绍 例子 AUC 1 2 AUC 1 GroupAUC 1 2 1 2 3 4 GroupAUC每个小组auc的平均值 排序介绍 排序指标 MAP MeanAveragePrecision P k 若第k个被点 代表前k个点击率 否则等于0 m代表总共被点击的item个数 n代表总个数 排序介绍 排序指标 MAP 4 排序介绍 排序指标 P k 若第k个被点 代表前k个点击率 否则等于0 ap 4 1 1 2 2 3 4 排序介绍 排序指标 P k 若第k个被点 代表前k个点击率 否则等于0 ap 4 1 2 2 3 2 排序介绍 排序指标 P k 若第k个被点 代表前k个点击率 否则等于0 ap 4 1 2 2 3 2 5 12 排序介绍 作业1 写代码算MAP 排序介绍 排序指标 NDCG指标 排序介绍 排序指标 NDCG 4 NDCG 4 排序介绍 排序指标 DCG 4 31 1 log2 5 排序介绍 排序指标 DCG 4 31 1 log2 5 IDCG 4 31 1 log2 3 nDCG DCG IDCG 排序介绍 排序指标 DCG IDCG 排序介绍 排序指标 DCG 4 3 2 31 log2 3 IDCG 4 63 2 1 log2 3 排序介绍 作业2 写代码算NDCG 排序介绍 排序指标 MRR指标 排序介绍 排序流程 数据 预处理 特征抽取 模型训练 后处理 排序介绍 排序流程 数据 预处理 特征抽取 模型训练 后处理 排序介绍 预处理 skipabove positionbias去除 pair生成 排序介绍 怎样确定用户看到了 好的位置 埋点 排序介绍 skipabove 排序介绍 positionbias 排序靠前 即使不是用户感兴趣的item 点击下单也会多 排序介绍 positionbias ClickOverExpectClick 排序介绍 positionbias ClickModel 这样CTR被分解为 位置偏向性 相关性 排序介绍 positionbias 其他方法 训练时候带有位置特征 预测的时候去掉 排序介绍 排序流程 数据 预处理 特征抽取 模型训练 后处理 排序介绍 特征抽取 不同类型模型 特征也不一样 线性