灯塔大数据方案介绍

1、灯塔大数据方案介绍技术创新与行业实践内容提纲大数据行业发展运营商大数据思考灯塔大数据技术创新与行业实践2大数据行业进入稳定发展期201220132014点燃大数据热潮2013年4月，阿里收购友盟，参股新浪微博2013年5月，阿里入股高德地图1201123萌芽期过热期市 场 持 续 升 温， 价 值 不 断 显 现42015年9月，国务院发 布促进大数据发展的 行动纲要幻灭期20152014年5月，美国白宫发布2014年全球“大数据”白皮书大数 据：抓住机遇、守护价值2016年3月，中华人民共和国国民经 济和社会发展第十三个五年规划纲要 要求加快政府数据开放共享20166落地阶段 案例层出学术研

2、究 行业混沌静观其变 择机出手云公司成立内蒙云池建成贵州云池建成云公司大数据团队成立 北研布局大数据产业圈5习主席视察贵州信息园区 天翼大数据品牌产品发布 灯塔、旅游产品落地成功复苏期政府大数据项目正式落地 云公司大数据开放平台与新疆网运、乌市集成多次 推介大数据产品为战略合作年中，硬件资源就位，乌市 项目机会展露5月中旬，灯塔团队+市场研究部团队赴乌 鲁木齐集中撰写标书，并准备竞标6月初，北研团队与新疆公司同事赴标场唱标，中标32017发展期大数据技术体系日趋完善The Google File SystemMapReduce: Simplifed Data Processing on Lar

3、ge ClustersBigtable: ADistributed Storage System for Structured Data2003200420062008年，Hbase第一个版本发布，标志着开源社区3架马车正式形成。2011年，mapreduce由1.0升级至2.0，资源管理和任务调度从mapreduce拆分出来，作为独立子项目yarn开始单独发展，mr仅作为yarn上的运行的计算框架，这为其它计算框架的百花齐放带来了机遇。2016年，已经从传统的Hadoop三驾马车HDFS，MapReduce和HBase社区发展为60多个相关组件组成的 庞大生态，大数据技术体系已经发展比较完善

4、，开源大数据架构日益丰富。4大数据的三个视角融合平台智能互联网+生态政务大数据5行业大数据消费大数据网络优化客户洞察客流监测能力平台智能网络大数据的三个方向大数据三个方向涉及的关键词大数据平台的要素与趋势能力能处理多源异构数 据，实现数据融合 增益的分析能力开放对数据能力进行有 效封装，使用API 进行能力开放微服务平台及能力组件能 够快速部署和灵活 扩容云面向多源数据和多 种应用场景，打造 云化平台与能力6运营商大数据核心价值：连接运营商大数据在整个生态中充当重要的打通作用，其连接价值类似于“经线”和“纬线”，通过串联起不同行业的数据，形成“地毯”效应，链接不同类型的数据源，通过融合，实现“

5、1+12”的价值增益。大数据产业生态：运营商数据的连接价值互联网数据企业自有数据7位置数据物联网数据其他更多数据以连接来实现数据融合与价值增益以数据整合+打通+增值为核心，构建大数据生态圈。建立运营商内部多源数据融合分析与价值提升的技术及业务体系，并寻求内外部数据打通，切入垂直领域，提供面向场景的大数据产品和服务，形成多方共赢的产业生态。运营商数据价值体系内外部数据融合互联网 数据线下WiFi数据物联网 数据运营商外部数据企业自有 数据政务金融交通旅游工业医疗教育其他8灯塔大数据4+1产品体系新型智慧城市 综合治理泛娱乐同源数据 解决方案O2O领域大数据客流洞察Baymax大数据能力开放平台农

6、业云 解决方案工作成效9Baymax：打造运营商级大数据能力开放平台1/2灯塔大数据通过长期技术积累，打造能力平台，实现数据质量控制、数据融合增益和数据能力封装，极大提高数据价值和数据可用性数据 质量标准化API定量刻画与预测基础人与物关联IDMapping10数据源A数据源B数据源C数据源D异构 程度噪声比例数据质量控制数据融合增益数据能力封装Baymax：打造运营商级大数据能力开放平台2/2Baymax平台架构核心能力组件云资源池物理主 机物理主 机物理主 机物理主 机物理主 机OSOSOSOSOS物理主 机物理主 机OSOSOSOS物理主 机物理主 机能力开放API存储组件Hive |

7、HBase | MySQL | Redis | Neo4j计算及集群管理组件MapReduce | Spark | Storm | Hadoop YARNID-Mapping深度标签关联挖掘轨迹跟踪数据可视化内容爬虫机器学习实时计算任务调度流式ETLBaymax核心指标支持1000万级多维数据的秒级查询展现支持10亿级多维数据的24小时内基础演算支持100毫秒级的数据流处理支持秒级完成10亿级边、1000万级节点的子图查询运算数据总量2600亿条，日增数据量5亿条11新型智慧城市综合治理1/3基于电信用户位置数据和上网行为数据，服务于政府部门的城市管理、区域洞察、治安维稳、交通旅游等领域12G

8、eoInsight产品界面：人口密度综合视图实时人口热力图人口详细统计分析新型智慧城市综合治理2/3GeoInsight产品界面：重点区域人群监测区域实时人口分布图13区域人口详细分析基于电信用户位置数据和上网行为数据，服务于政府部门的城市管理、区域洞察、治安维稳、交通旅游等领域新型智慧城市综合治理3/3GeoInsight产品界面：外来人口监测预警T+1疆外人口迁入图T+1疆内城市间人口迁徙图14基于电信用户位置数据和上网行为数据，服务于政府部门的城市管理、区域洞察、治安维稳、交通旅游等领域泛娱乐同源数据解决方案1/3用户圈定根据需求圈定目标人群用户洞察收视指数 排行分析圈定人群 行为特征圈

9、定人群在电影、电视剧收视排名圈定人群使用的媒体渠道排名媒体渠道 投放广告效果评估各类电影、电视剧广告转化率等指标媒体/节目 商业价值媒体、电视剧、 电影、综艺节目 的商业价值排名15泛娱乐同源数据解决方案2/31617泛娱乐同源数据解决方案3/3O2O领域大数据客流洞察1/250%线下客流到访时间、停留时长等人流信息监测50%线上行为标签画像、 商业价值、风险评估线 下线 上O2O客流洞察的数据融合物联网运营商移动互联网互联网大数据O2O客流洞察主要功能18将用户线下的位置信息关联用户的线上行为，服务于区域人口洞察、店铺选址、客流分析等一系列地理方向的应用19O2O领域大数据客流洞察2/2O2

10、O客流洞察产品界面将用户线下的位置信息关联用户的线上行为，服务于区域人口洞察、店铺选址、客流分析等一系列地理方向的应用20农业云解决方案1/3草原 生态 牧场智慧 绿色 畜牧卫生检疫生产 加工绿色溯源 餐桌对养殖企业或牧主来讲，如何 利用科技手段降低人工养殖成 本、降低意外风险、改善工作 条件，实现智慧放牧与规模化 管理？对上新兴的网上养羊/牛模式， 企业预售领养，如何实现消费 者可远程随心所欲地查看到所 领养牛羊的生长、活动、及视 频等，让其真正体验到网上领 养乐趣，吸引更多认养者参与？智慧放牧对消费者来讲，如何对确保自 己吃到的牛羊肉是绿色的？如 何能看到其从出生、生长、出 栏、检疫整个全

11、过程的详细数 据？对于养殖企业来讲，如何向消 费者采用一种简单易行的方式 证明自己养殖的牲畜是纯散养 的、有机的？对政府质监部门来讲，如何配 合政府部门进行食品安全监管？溯源管理对各个环节采集到的数据进行 计算分析，输出各类分析指数、 统计图表，进行多种形式的数 据可视化展示。为提高生产效 率、降低成本、增加收益、科 学管理服务对企业全产业链数据，结合行 业、政府、运营商数据进行深 入挖掘分析，输出专业性专题 报告和数据服务。科学监管21农业云解决方案2/3小牧童服务平台小牧童APP标准化接口终端第三方平台数据服务接口绿色溯源服务系统外包装盒佩带承载不同目标客户价值交易平台方：网上养牛（羊）消费者畜牧企业/牧主政府畜牧厅保险公司系统核心组成部分小牧童数据采集终端，采集牛马等牲口位置 及温度等信息，上报服务平台小牧童用户App，提供用户侧溯源信息采集及业务使用等小牧童运营服务平台，提供采集数据接收、 业务运营管理及第三方数据服务溯源服务系统，在小牧童运营服务平台基础上面向消费者和认养者等提供绿色溯源和网 上养牛(羊)的服务系统22农业云解决方案3/3为每一头牛羊佩戴物联网终端，终端设备编号，即条码，做为牛羊唯一标识，对牛羊从出生到出栏的整个 过程包括牛羊