大数据内容营销解决方案.pptx

大数据内容营销解决方案 杭州研发中心2017年2月 建设背景 方案背景 需求分析 1 背景 咪咕 双计双考 对省公司来说既是机遇又是挑战 业务层面 支撑层面 1 双记双考后 省公司如何完成KPI2 如何有效通过咪咕内容营销带动省内流量营销 提升收入3 如何通过咪咕内容营销提升用户活跃度4 如何锁定咪咕内容的目标用户 实现精准投放 1 短信通道受阻后 省内所有触点能否为咪咕内容营销提供协同2 省内咪咕内容的营销活动能否做到有效监控3 咪咕下发的内容标签无法关联省内用户标签4 缺乏模型算法寻找咪咕内容的目标用户 目前 省内咪咕内容营销已经成为省公司提升流量和用户活跃度的重要手段 集团下发 双计双考 后对省公司既是挑战又是机遇 省公司可通过整合咪咕的营销资源 业务资源及数据 标签 资源实现内容营销获客及精准营销咪咕公司由于缺乏用户基础信息数据与行业画像数据 在营销方案制定与获客等场景中受限 因此有强烈的与省公司合作的意愿 省公司营销资源 营销渠道 流量 客户等资源咪咕营销资源 CP 渠道商 发行商等资源资源融合省公司和咪咕公司的客户和渠道资源不尽相同 省公司可以整合咪咕公司的客户渠道等资源 扩展现有营销目标客户以及营销渠道 提升内容及流量营销用户量及收入 省公司业务 4G流量 家庭宽带 融合业务等咪咕公司业务 五大业务产品 内容资源业务融合4G流量以及家庭宽带是省公司目前关注的重点业务 省公司可以通过整合咪咕丰富的内容服务不断提升用户体验 提高家庭宽带等重点业务的市场占有率 省公司数据 用户属性 通信数据 位置数据 网络行为数据等咪咕公司数据 用户内容偏好数据 用户活跃 留存数据等数据标签融合由于省公司用户标签与咪咕内容标签未融合 现仅采取粗放式全量用户进行营销推送 营销方式和效果均不理想 省公司可通过整合咪咕数据标签实现精准推送提升营销效果 省公司关注点 1 2 内容营销 省公司关注点 2 2 标签 数据 需求 目前 咪咕公司部分自有数据与省公司DPI数据没有契机充分结合 没有利用现有数据充分展现出数据优势与市场竞争力 咪咕阅读用户标签 APP内用户行为 咪咕用户标签 DPI内容标签 基础标签 位置 营销推荐效果分析 活跃 留存 付费 推广渠道 营销推荐过程 目标用户群 到达率 渠道触点 营销成本 完整的咪咕用户标签 营销推荐闭环分析 获客和维挽 版权 内容资源 免流量产品 获客和维挽 广告位 渠道 结合套餐 资源互补 经调研 省内咪咕营销现状 业务痛点 PVUV用户数 各渠道分别上线 效果评估 内容调整 内容库 搜集整理人工维护 邮件传递 二次编辑 爬虫内容 2 业务目标 业务痛点 1 3 省内咪咕营销现状 咪咕内容缺乏 需邮件传递 获取效率低 咪咕内容标签缺失 且无法与省公司标签库匹配 缺少模型算法寻找目标用户群 个性化推荐程度低 4 很多内容需二次编辑才能在各渠道上线 5 6 缺乏模型算法智能筛选热门内容 仅凭运营经验 省内内容库需要人工整理维护 更新不及时 智能获取合适的推广内容 如热门内容 列表 名称 URL地址等信息 同时找到与该内容匹配的目标用户群 可直接用于营销平台进行投放 能够获取指定用户群 如月末流量剩余用户 感兴趣的内容列表 可直接用于投放 2 省内咪咕内容营销解决方案 杭硏提供省内咪咕内容营销解决方案 省内咪咕内容营销解决方案 营销案管理 统一用户标签 营销投放 触点管理 提供丰富的内容标签与内容库 通过模型算法为省公司用户标签与咪咕内容标签搭建匹配桥梁 助省公司实现咪咕内容的精准投放 提高用户粘性 统一接入省公司所有触点 支撑营销案的线上流转 构建咪咕公司与省公司运营人员可协同合作的线上平台 缩短投放时间与内容更新周期 省公司运营人员 咪咕运营人员 新建投放任务 上传投放物料 圈选目标用户 体验与合规性审核 营销投放 选择投放触点 营销案投放过程 省公司用户标签系统 咪咕内容标签系统 用户上网行为 内容标签 统一用户ID 标签扩充 用户内容标签 咪咕内容标签 用户 咪咕内容匹配推荐模型 模型 用户 咪咕内容匹配模型 触点 用户行为数据 标签计算系统 更新用户标签 效果分析 用户行为数据 方案优化 手厅首页应用推荐广告位 手厅发现娱乐咪咕阅读广告位 杭研为省内提供咪咕内容营销解决方案 1 积累内容库基于互联网数据 通过爬虫和统一标签技术 积累内容库 音乐 视频 阅读 阅读 游戏 通过解析全网DPI数据 对用户浏览的咪咕内容进行分类 生成内容分类体系 定期更新2 沉淀用户内容偏好标签基于全网DPI数据和内容库 通过DPI二次解析技术 形成用户行为宽表基于用户行为宽表 定期沉淀用户内容偏好标签3 关联内容与目标用户 助力精准营销基于模型算法将咪咕内容找到目标用户群为特定用户群匹配感兴趣内容 为省内构建完善的内容库 杭研 爬虫工程 内容库 定期更新 文件导出工程 加密 文件解析工程 解密 省公司 内容数据传送 杭研1 爬虫工程 负责爬取网络音乐 阅读等数据 持续更新 2 内容库 将互联网内容分类映射到杭研内容分类体系 形成杭研数字内容库 3 文件导出工程 对内容库数据进行处理 形成加密文件 上传至FTP服务器 省公司1 文件解析工程 定期检查FTP服务器更新 拉取内容库数据并解密 2 省公司内容库 定时运行 同步杭研最新内容库到省公司 3 离线计算工程 对接省公司大数据平台 通过使用杭研定制的算法组件 解析DPI日志数据 形成用户行为宽表 杭研内容分类体系构建 省公司内容库 省内内容库的构建 爬虫内容库远程部署方案 注 1 一期优先部署动漫库 阅读库和视频库后期部署其余类别2 一期爬虫覆盖绿色部分 后期爬虫覆盖剩余部分 可动态调整 内容库更新频率 暂定每天早上8点之前传输成功 爬虫范围 内容库分类样例 百度书城爬虫内容详情样例 爬虫内容库内容示例 自定义分类体系标准示例 注 杭研对咪咕内容五大类的分级体系重新梳理 构建标签体系 沉淀用户标签 标签沉淀工程是通过解析用户DPI行为数据关联内容库信息 获取用户浏览偏好 沉淀为用户标签 标签体系的构建1 内容ID匹配 解析用户DPI数据中每条URL 将其中的 ID字符 与湖北内容库中的 ID字符 进行匹配2 沉淀内容标签 根据爬取的网页信息 找到该内容对应的细分类别 沉淀为内容标签 例如 轻音乐 邓丽君 甜蜜蜜 3 沉淀用户标签 定期统计用户访问所有内容的频次 将频次较高的内容对应的标签沉淀为用户标签 4 定期更新 将所有用户标签入库 用户标签定期更新 如每周 每月等 打通内容标签与用户标签 提供基于个性化推荐的内容目录 打通内容标签与用户标签 提供基于个性化推荐的内容目录 基于内容的推荐模型 1 根据内容标签计算内容 内容相似度2 提取目标内容A相关性较高topN的内容3 将近期浏览过相关性较高的topN内容且未浏览过目标内容A的用户加入目标内容A的推荐列表 基于用户的推荐模型 1 根据用户标签计算用户 用户相似度2 提取目标用户A相似度较高topN的用户3 将相似度较高topN用户近期浏览频率较高且目标用户A未浏览过的内容加入目标用户A的推荐列表 LFM推荐模型 1 根据已有用户 内容的标签 构造用户 内容相关度矩阵 进行LMF矩阵分解 且迭代更新矩阵2 根据用户 内容相关度矩阵 提取用户未看过且相关度较高的内容列表 内容热度rank模型 1 根据内容类型 人工选择内容热点topN网站作为目标网站 2 DPI解析目标网站的用户浏览行为 统计热度排序topK内容 用户兴趣协同过滤结合模型 1 用户的搜索和点击行为 构建贝叶斯框架 预测用户对内容的兴趣2 对用户聚类 根据兴趣相似用户浏览行为为用户推荐内容 基于标签的推荐模型 视频库 阅读库 动漫库 省公司标签体系 手机号 imei 用户标签 推荐内容列表 内容名称 内容地址 内容ID 目标用户 手机号码 内容名称 内容地址 内容ID 目标用户 手机号码 业务系统层 数据层 基础能力层 咪咕内容营销产品视图 咪咕 内容 业务系统接口 推荐系统 用户画像 MIGU内容库索引系统 内容标签分类建模 省公司大数据 爬虫库 内容 APP DPI二次解析器 基础数据处理引擎 用户偏好挖掘模型 算法 MIGU内容标签库 杭研爬虫 基础数据统一存储层 可视化子系统 MIGU内容列表 业务层 画像层 数据层 模型层 咪咕内容营销系统架构 解决方案应用场景 3 省内营销人员 热门内容 特定用户群 选择要投放的咪咕内容 可输出目标用户群用户数及明细 提供上传内容列表的入口 1 2内容列表上传 2 使用方式 使用方式 营销平台投放 对接 投放 投放 省内营销人员使用场景说明 注 以上使用方式仅供参考 具体实现方式待定 场景1 月初向全网用户推荐热门内容 全网用户 对内容进行热度排序 按照内容类别分别提取热门topN内容 如top10热门视频 top20热门音乐 top5热门小说 面向全网用户进行个性化推荐 省内营销人员 全网用户 通过营销平台推送 场景2 月末特定用户群体内容推荐 热门内容 感兴趣内容 内容列表 月末流量剩余较多用户 月末流量不足用户 促进流量消耗 目标 特定人群1 为该人群推荐感兴趣内容或热门内容 解决方案 省内营销人员 促活 流量包订购 目标 为该人群推荐感兴趣内容及定向优惠流量包 解决方案 特定人群2 通过营销平台推送 杭研现有能力积累 4 大数据用户行为分析原理 能力1 大数据用户行为分析 通过解析DPI数据 解析用户的行为信息 最终对用户的行为和互联网访问内容做关联 达到对用户做精确定位的效果 爬虫数据积累 爬虫模块 统一规则库 动作深度识别 针对互联网主流重点应用业务 具有识别具体动作深度识别DPI核心规则库 流量业务识别 识别对现网数据流量实现业务名称与流量属性 建立DPI二次解析管理系统 扩展识别规则字段 使其能满足深度识别互联网主流重点应用业务 通用性语言描述 对业务识别规则 制定通用性描述语言 使其具备快速推广能力 内容识别率 识别内容 匹配为内容 15 匹配率 85 以上 匹配 内容 新闻 有效DPI 标签 用户画像 解析率 HTTP协议 90 解析率 全量DPI 80 能力2 DPI二次解析及应用 在深入了解行业的基础上 建立行业特色的模型 优化应用平台架构 提升性能和稳定性 建立核心竞争优势 能力3 模型能力 技术能力和数据沉淀 能力4 营销平台模型架构 标签管理 增值业务偏好标签 应用功能 数字内容偏好标签 关系管理 数据汇总 数据采集 主动推送 实时推广 用户筛选 基于人物的物品关联 基于标签的物品关联 用户用户关联 物品物品关联 人物关联 标签关联 用户物品关联 使用习惯标签管理 内容偏好标签管理 静态属性标签管理 描述性标签管理 统计性标签管理 用户基础画像 业务行为日志采集 用户业务画像 互联网数据采集 用户数据月汇总模型 数字内容信息采集 数字内容产品画像 用户通信属性数据 热门推荐 离线计算数据源 实时计算数据源 用户基本信息 话单数据 月账单数据 位置数据 上网数据 实时 上网数据 历史 互联网数据源 音乐 阅读 新闻 动漫 APP 大数据平台 MapReduce 数据过滤 Kafka JStorm Hbase数据库 HDFS FTP 离线计算数据源包括用户基本信息 话单数据 月账单数据等 省公司提供数据相应HDFS文件路径 杭研进行定时读取相应HDFS文件路径并对自身HBase数据库进行更新 实时计算数据源1 包括位置数据 上网数据 2 在数据