大数据产品培训

1、大数据产品培训注意保密信息化事业部2015年3月2位置域产品3沃风云榜数据可视化4自助建模1.1 产品介绍 1.2产品概述1.3 技术架构 1.4 产品价值什么是“沃风云榜” “沃风云榜”基于广东联通强大的大数据平台处理能力而实现。通过对全省用户上网数据、位置数据、终端数据以及基础数据的实时处理和解析，结合聚类算法以及热度模型，计算得出全省用户所关注的热点事件以及关注热词，并赋予量化的热度值进行排列展现。“沃风云榜”的产品特征突破互联网公司局限以量化角度评价热点不以PV值论英雄打破PV值：基于真实用户的上网行为、真实的浏览数据而计算，避免了热度可能是由机器刷PV而产生的弊端，使整个行业以及用户

2、变得可触摸，更加权威、有序；将热点从定性转为定量：热度模型将用户行为进行热度定量转换，其价值在于通过量化指标充分评价一个事件在业界的反响和传播；突破互联网公司自身局限：一般互联网企业的搜索排行榜或事件风云榜是从自身单一平台的角度来统计热点热词；而“沃风云榜”是从用户的角度，综合计算热点事件在受众群体以及在不同平台之间的浏览情况，更客观真实地反映出事件传播的范围和用户覆盖程度。2位置域产品3沃风云榜数据可视化4自助建模1.1 产品介绍 1.2产品概述1.3 技术架构 1.4 产品价值Potal页展现热点追踪热词排行电商热词地域热词主要包括热点追踪（热点新闻/事件）、热词排行和电商热词、地域热词四

3、个板块；其中热点新闻和热词排行是重点，设置简单直接的交互操作，地域热词以地图形式展示。搜索热词板块热点板块电商板块地域热词板块热词排行页面分类热词展现，按搜索引擎分类按电商分类按搜索词分类按地域搜索分类热点追踪页面分地域热点展现Top10热点即时更新* 设置敏感新闻/事件信息过滤功能2位置域产品3沃风云榜数据可视化4自助建模1.1 产品介绍 1.2产品概述1.3 技术架构 1.4 产品价值沃风云榜的技术框架位置数据信令数据去重过滤转换实体向量识别非实体向量命名内容爬取数据清洗文本表述关键词解析内容分类摘要算法分类算法聚类算法词向量模型热度模型热点事件电商热词搜索热词地域热词热点跟踪预测上网数据

4、数据获取数据处理关键技术功能应用终端数据BSS数据广东联通大数据处理平台主要的算法模型摘要算法过程：（1）通过标题和正文内容，计算每个分词的TF和IDF，得出每个分词的权重。（2）对正文内容进行分段和分句，根据段落位置和句子位置赋予不同的权重。（3）每个句子对包含的分类的权重进行累加并加上句子本身的权重，得出每个句子的得分。（4）挑选得分最高的TopN句子串联起来，形成摘要。聚类算法过程：（1）对文档正文内容进行分词，根据TF-IDF计算每个分词权重，选择TopN分词，转化为特征向量。（2）分别计算已有的簇的质心与该文档的相似度。（3）找出最大相似度，如果最大相似度达到某一个阈值，则加入此簇，

5、并更新该簇的质心（即聚类到已有热点中）；否则该文档就形成一个新的独立簇，即聚成一个新的热点。热度计算模型：事件热度由各种因子线性叠加得出：s=a1*s1+a2*s2+a3*s3+a4*s4其中：s1为该热点的网页得分：s1=e(b1/x); s2为该热点的网站得分：s2=e(b2/x); s3为该热点的用户点击得分；s3=e(b3/x) s4为该热点发布时间的方差得分：s4=e(b4/x)2位置域产品3沃风云榜数据可视化4自助建模1.1 产品介绍 1.2产品概述1.3 技术架构 1.4 产品价值对联通的价值沃风云榜=营销风向标基于真实的用户、真实的数据而形成的风云榜，通过数据还原不同用户群体的

6、兴趣和关注点，能够有效指导营销推广。沃风云榜=商机挖掘器通过定量的指标综合评价热点事件的网络传播力和用户覆盖度，有利于业务部门从中挖掘营销机会，并判断商机价值。沃风云榜=财富通道形成“沃风云榜”的背后是联通利用大数据能力对各类数据的加工和计算，而这些有价值的数据能够帮助联通的合作伙伴优化其产品和服务，是增强与各行业合作的重要窗口。对行业的价值行业标杆“沃风云榜”打破了各类搜索引擎、网络媒体和资讯平台以单一平台数据统计热点的局限，真实反映了热点事件本身，因此“沃风云榜”更具备行业标杆的参考意义。口碑焦点“沃风云榜”所采用的热度模型，打破了唯PV值论的落后统计方法，充分考虑了用户、点击、网站等影响

7、因子，因此对行业合作伙伴而言更客观反映了用户的兴趣、口碑和意愿。直达用户“沃风云榜”基于真实的用户，拥有全面的用户信息和位置、终端和消费能力等高附加值数据，较同类型产品离用户更近，蕴含着巨大的商业价值有待发掘。1位置域产品3沃风云榜数据可视化4自助建模2.1 产品概述 2.2 产品介绍2.3 技术架构 2.4 商业价值位置域产品通过自助圈选区域，配置指标，结合平台用户指标标签生成该区域分析报表及明细数据。3、分析报表促销决策支撑广告屏投放咨询店面选址应用地图圈选配置指标报表展现支撑应用 用户自定义画圈选取商圈，并选取分析用户出现在该位置的时间，选定分析用户群。自助化指标配置，包括人流量、b域指

8、标。生成分析报表，以及图型展示。生成标准化接口，全面支撑对于精确位置用户的用户分析的数据应用。位置域产品产品概述位置域产品产品概述17随着位置域数据的使用需求不断增多，客户的取数要求不断提升，项目团队对交换侧的数据逐渐支撑力不从心，人工成本越来越大。面对这样的情况，必须将位置域信息以指标标签体系的方式放入平台中，由用户自行选取和组合，结合位置数据、用户域数据的实时处理和解析，达到指定位置数据的展现。1位置域产品3沃风云榜数据可视化4自助建模2.1 产品概述 2.2 产品介绍2.3 技术架构 2.4 商业价值位置域产品-新增商圈点击左侧栏目最上方的+号，新增圈定的商圈位置域产品-新增商圈用地图工

9、具 在地图上圈定范围，填写此商圈的标题和相关的商圈描述，点击保存即成功创建了一个位置域商圈位置域产品-新增商圈在左侧栏最上方会出现新建的商圈标题，选中此商圈，会在下方出现5个功能按钮，从左到右分别是：用户分析，用户数据统计，用户数据明细，编辑位置域商圈，删除位置域商圈，点击功能按钮可对商圈进行相关操作位置域产品用户分析功能选择此商圈需要分析的时间段，点击“用户分析”为自助报表功能，“用户明细”为自助取数功能位置域产品自助分析点击新建报表模板，进入自助报表配置板块建立报表所属域，支持不同域的选择位置域产品自助分析24选择报表列相关指标标签选择报表行相关指标标签位置域产品自助分析设置条件时间位置域

10、产品自助分析报表预览完成报表配置位置域产品自助分析查看报表展现位置域产品用户明细点击新建取数模板，进入自助取数配置板块位置域产品用户明细增加取数指标标签按钮位置域产品用户明细配置取数任务过滤条件位置域产品用户明细单次任务执行时间下载文件类型和分隔符位置域产品用户明细查看取数任务执行情况位置域产品用户明细取数文件下载取数任务文件下载1位置域产品3沃风云榜数据可视化4自助建模2.1 产品概述 2.2 产品介绍2.3 技术架构 2.4 商业价值位置域产品系统架构35PAAS数据平台 IAAS虚拟资源主机资源池存储资源池网络资源池管理平台虚拟资源管理物理资源管理业务性能监控应用部署数据服务平台(对内)

11、数据计算二次实时计算实时流式汇总、分析计算统一数据服务平台数据管控服务监控数据导出数据导入统一接口任务调度权限结构化数据存储（资源池）非结构化/大数据存储（资源池）数据服务平台(对外)计量任务调度数据加密认证服务监控数据推送SAAS自助应用平台（自助取数、自定义报表、多维分析、多层级挖掘）数据应用（精细化营销、维系挽留、流量经营、存量经营、作业价值、网络优化、互联网数据分析）MPP数据库关系数据库HADOOP、Cassandra元数据管理数据质量管理数据生命周期管理数据安全管理实时采集实时采集、清洗大数据汇总、挖掘离线计算ETL（数据采集、清洗、汇总、标签挖掘）外部合作应用位置域产品技术架构3

12、6位置数据广东联通数据中心平台去重过滤转换内容爬取数据清洗地图解析定点定位地图测距商圈定制定点报表定点取数数据获取数据处理关键技术功能应用定点找基站地图画圈经纬度与坐标转换1位置域产品3沃风云榜数据可视化4自助建模2.1 产品概述 2.2 产品介绍2.3 技术架构 2.4 商业价值位置域产品商业价值38基于圈定位置真实的基于圈定位置真实的人流量，用户行为，人流量，用户行为，用户业务量分析，可用户业务量分析，可以为营销策略做导向以为营销策略做导向商圈用户的行为分析商圈用户的行为分析，业务量情况，人流，业务量情况，人流量分析，便于业务部量分析，便于业务部门从中挖掘有利的商门从中挖掘有利的商机机通过

13、商圈数据的加工和通过商圈数据的加工和计算，利用这批有用的计算，利用这批有用的数据为其他合作伙伴优数据为其他合作伙伴优化其产品和服务，增强化其产品和服务，增强与各行业合作的窗口与各行业合作的窗口位置位置域产品分析域产品分析财富通道财富通道商机挖掘商机挖掘营销导向营销导向2位置域产品1沃风云榜数据可视化4自助建模3.1 可视化平台规划划3.2 可视化平台介绍产品定位可视化平台=大数据门户l 能力可视化l 应用可视化l 模型可视化l 数据可视化l 服务可使用l 产品可交易产品定位l 能力可视化l 应用可视化l 模型可视化l 数据可视化l 服务可使用l 产品可交易 用数据说话： 广东联通大数据，用户可

14、触摸、可到达演进方向 可看见 可使用 可交易p 数据可视化p 能力可视化p 应用可视化p 模型可视化p 热点可视化p 用户可视化p 业务可视化p 用户360画像p 沃.风云榜p 热力图p 广告人流分析p 热点营销专题p 数据合作案例p 更多p 数据能力封装p 数据能力共享p 数据资源置换p 跨行业合作p 业务精准营销p 行业咨询分析p 更多2位置域产品1沃风云榜数据可视化4自助建模3.1 可视化平台规规划3.2 可视化平台介绍大数据能力展现内容规划数据范围 展示大数据中心所拥有的数据范围、种类和规模。数据能力 展现大数据中心整体计算资源和强大的处理能力。模型能力 展现大数据中心高超的模型搭建能

15、力。通过图文、动画、多媒体等方式，形象的展现联通大数据能力。功能划分能力产品专题案例模型能力数据范围数据能力计算储存用户360画像沃.风云榜热力图广告人流分析老板专题春运迁徙双旦促销更多南都户外广告用户流失预测用户真实性更多层级简洁，内容丰富大数据能力展现实例-数据范围大数据能力展现实例-数据能力大数据能力展现实例-模型能力大数据产品-用户画像展示内容规划用户360画像互联网部现有标签123456自然属性标签社会属性标签生活和爱好标签通讯行为标签收入和消费行为标签用户性别用户年龄民族婚姻状态户籍和证件用户身份人群特征居住位置工作位置社交信息用户状态在网时长使用行为产品种类接触渠道搜索行为访问行

16、为使用偏好APP使用更多购物需求和偏好健康需求和偏好教育需求和偏好理财需求和偏好更多月薪收入网购支出信用卡支出生活缴费通讯支出展现实例大数据产品-用户画像展现实例1、号码输入框：输入用户手机进行查询。2、用户的基本信息：如年龄、身份、社交特征、用户状态、在网时长等。3、用户360画像：根据用户性别、年龄、消费情况等，为用户生成直观的用户画像。4、重要特征：左边为快捷点击栏，右边为详细内容，可通过下列菜单查看每个特征下的具体内容。5、勋章墙：根据用户特征为用户标识不同的勋章，如购物达人。123445大数据产品-用户画像要素规则1人物画像权重次序可获取数据建议使用数据性别 年龄 身份 收入 职业

17、社交 性别 年龄 身份 收入 职业 社交1234567891010 2人物勋章3人物特征通讯类应用类游戏类通讯特征消费特征位置特征数据分析专题展示内容框架以社会热点为抓手，深度挖掘用户特征，分析客户业务需求。前端专题展示数据接口后台管理外围系统页面展现效果管理模块专题管理模块模型管理模块专题模型固化模块经分系统BI系统老板在哪里国际常旅用户在哪里商圈人群分析谁是音乐发烧友宽带潜在用户在哪里网购达人都是谁国庆黄金周出行预测春运迁徙预测图十一出行分析用户终端使用情况分析转4G面面观其他专题数据分析专题-栏目列表页1、搜索栏：可输入关键字进行搜索，搜索结果在右侧展现。2、分类栏：点击可查看相关分类的

18、专题列表，现分为用户识别、预测分析、业务分析和特别专题四类。3、左下侧扩展栏：放置其他扩展内容。4、列表说明栏：说明下方专题是属于某一分类或关键字的搜索结果，右上角显示该列表专题数量。5、专题列表：以豆腐块形式展现每一个数据分析专题，展现内容包括：封面、标题、更新日期、概述、其他功能（下载、收藏、分享）。6、列表分页功能：每页展现5个专题。123456数据分析专题-专题详情页1、专题信息栏：包括专题标题、更新日期、概述、其他功能（下载、收藏、分享）。2、专题正文：每个专题有其个性化的展现方式，主要以文字、图表、长图片、内嵌动态页面等展现方式。123位置域产品1沃风云榜数据可视化2自助建模4.1 功