中国电信大数据技术及平台介绍－201605-江林

掘金云计算大数据时代

--中国电信大数据技术、平台及产品介绍中国电信股份有限公司云计算分公司江林（jiangl@qq：6883457）2016年4月每分钟都有大数据产生大数据已经成为中国国家战略“制定‘互联网+’行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展，引导互联网企业拓展国际市场。”——————李克强总理政府工作报告在宏观管理、税收征缴、资源利用与环境保护、食品药品安全、安全生产、信用体系建设、健康医疗、劳动保障、教育文化、交通旅游、金融服务、中小企业服务、工业制造、现代农业、商贸物流、社会综合治理、收入分配调节等领域实施大数据示范应用工程。2015年11月，十八届五中全会公报提出要实施“国家大数据战略”，标志着大数据战略正式上升为国家战略；9月5日,《国务院关于印发促进大数据发展行动纲要的通知》。开展大数据运营需要进行顶层设计4企业和单位在生产、运营中产生并记录了大量的数据、信息。数据具有价值、又因数据会涉及企业经营数据、用户的隐私，所以需要安全管理、慎重开发、高效利用。围绕数据这一核心生产要素进行顶层设计、开展运营体系建设及管理：

安全、获取、运营、开放。数据获取运营开放安全eCloud第一部分大数据技术概念及发展壹大数据的概念6麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。Hadoop核心设计7Hadoop分布式文件系统8HDFS架构主从结构主节点（1个）：namenode从节点（多个）：datanodenamenode负责：接收用户操作请求维护文件系统的目录结构管理文件与block之间关系，block与datanode关系Datanode负责：存储文件文件被分成block存储为保证数据安全，文件存多个副本MR计算框架9MR架构主从结构主节点（1个）：JobTracker从节点（多个）TaskTrackerJobTracker负责：接收客户提交的计算任务把任务分给TaskTrackers执行管理监控TaskTracker执行情况TaskTracker负责：执行JobTracker分配的任务HBase介绍10HBase简介

HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。HBase利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。

分布式开源数据库，基于hadoop分布式文件系统（HDFS） 模仿提供了Google文件系统的BigTable数据库所有功能 处理非常庞大的表 普通计算机处理10亿条数据

利用mapreduce计算数据，利用zookeeper协调资源Spark的兴起11Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。已成为大数据领域最活跃的开源项目之一，当下已活跃在Hortonworks、IBM、Cloudera、MapR和Pivotal等众多知名大数据公司。1.轻量级快速处理：Spark通过减少磁盘IO来达到性能提升，它们将中间处理数据全部放到了内存中。Spark使用了RDD（ResilientDistributedDataset）弹性分布数据集的理念，只在需要时才持久化到磁盘。2.易于使用，Spark支持多语言。Spark允许Java、Scala及Python。3.支持复杂查询。在简单的“map”及“reduce”操作之外，Spark还支持SQL查询、流式查询及复杂查询，比如开箱即用的机器学习机图算法。4.实时的流处理。Spark依赖SparkStreaming对数据进行实时的处理：简单、容错、集成。5.可以与Hadoop和已存Hadoop数据整合。这个特性让用户可以轻易迁移已有Hadoop应用。6.活跃和无限壮大的社区。采用适用业务的计算框架12eCloud第二部分大数据平台介绍贰现在的中国电信大数据平台总体架构文件接入ftp-over-hdfs/local流式接入/消息接入结构化数据接入SQOOP合作伙伴多租户资源管理元数据管理数据质量管理数据资产运营程序管理基础接口服务接口网络爬虫NutchETL服务KafkaFlume可视化开发环境业务监控采集交换开发者社区服务MySQLMariaDBProconaOracle关系数据库政府服务者交通人口风险防控精准营销政府开放合作创新大众创新数据存储与计算环境大数据能力产品与应用总体支撑架构分布式计算MapReduce/Spark分布式资源管理：YarnHBaseHive数据仓库MongoDBNoSQL数据库Storm/Streaming实时流计算Hadoop分布式存储与计算接口服务数据开放服务物化数据管理日志管理能力组件管理应用管理基础能力监控数据开发服务数据管理&市场运营者平台管理&运维者平台能力层运营服务层平台服务组件元数据服务数据开放服务图数据库资源服务舆情分析区域洞察O2O出行…社会开发者任务调度接入控制管理流量控制管理应用市场管理OpenAPI管理产品管理&运营者服务计量管理产品开放层数据处理组件DPI清洗详单解码WCDR清洗计算数据脱敏标签处理ID识别关联……共享存储接入系统数据内传导系统基础能力框架数据稽核与数据作业系统&框架统一资源&数据服务中间件大数据产品运营管理系统数据资产治理与管控系统大数据质量网管&平台管控系统众创数据开放&开发系统BDCSC接口系统开放创新应用数据采集、汇聚阶段的管理工具介绍数据作为资产文件接入监控动态概览数据数据质量分析数据质量评分周期质量报告数据字典管理15中国电信大数据资产运营管理系统集群元数据的管理工具介绍16中国电信大数据治理系统元数据管理基本信息字段结构数据质量检查血缘分析影响分析集群任务统一调度及响应管理17消息总线：可以将分部在大数据平台、经分、集市、VGOP应用整合起来。使接口平台、数据分发等应用可以跨系统部署，从而实现协同生产。控制中心：调度平台的业务逻辑控制器，负责将各个子系统协同，状态接受，资源管理，任务管理，并提供系统运行报告。Agent:接受控中心命令并执行，支持跨平台的统一任务作业执行、支持JAVA、shell、tcl、python等程序。运行监控:能够监控多种作业的执行情况，并分析作业执行效率，发现作业执行的关键环节。集中的作业告警与错误反馈。统一的作业告警，支持多种告警方式，并集中作业运行错误反馈，将问题日志抓取在平台统一查看。大数据集群平台开放支持多租户产品运营、服务接口测试及开通18开始服务测试申请正式开通配置联动客户反馈客户响应业务统计变更服务服务结束eCloud第三部分属地支撑关注叁大数据运营的安全考虑合法、合规20分类数据结合运营对应处理数据信息需分类、分级敏感数据需脱敏或加密不直接对内外提供原始数据访问和服务应用不侵害相关权益遵守国家信息安全管理规定刑法第九修正案全国人民代表大会常务委员会关于加强网络信息保护的决定信息安全技术公共及商用服务信息系统个人信息保护指南工信部24号令《电信和互联网用户个人信息保护规定》……建立数据管理委员会决策护航大数据是集团新型的战略业务，是企业核心资产，是实现企业转型发展的强劲推动力把握全集团大数据发展方向、决策重大事项为更好地经营大数据建立政策和环境保障21电信数据安全规定遵循国家法律及中国电信集团相关规定，所有输出项以不能还原至个人信息或样本较少的特定群体为标准。原始数据不能输出，所有数据服务均以接口形式对外提供服务。（具体形式参见本材料P6)：涉及用户隐私相关的（包括但不限于姓名、身份证、手机号、实时位置等）数据，不能对外输出，最终确认字段需以法务确认文件为准，并且使用方需具有用户授权。双方合作模型应以互相公开为原则，针对模型及输出项等信息，需要云公司安全部门审核。1234平台数据安全应用管理示意说明原始数据敏感数据脱敏数据清洗数据脱敏提取转换加载数据接入敏感数据区数据封装接口封装对外服务算法加载授权认证审计服务加载实施大数据获取规范、高效严格控制敏感数据，拥有者知情通报与实时授权，全程监控与审计留痕数据获取、处理主要环节采集汇聚处理存储计算数据获取、处理面临挑战统一规范数据门类众多来源设备型号各一各厂商采集输出自成体系要求高效采集频次传输时效处理时效应用、业务特殊要求建立数据采集、汇聚质量保障体系制定、下发各类数据规范明确数据的采集、清洗和上传要求，提出需求口径、维护规程、运营保障等规范，奠定了全网数据汇聚的基础通过建设大数据质量网管强化管理建设集团大数据质量网管，打通集团-省两级保障体系，实现数据全流程可视化管理明确考核、问责机制参照国际和行业标准，建立数据质量评估指标责任落实到部门、系统和人，7*24小时保障响应，引入考评、量化和通报ODS详单VSOPIT数据专业线集团企信部数据管理委员会OIDDDPI网络数据专业线综合平台专业数据专业线用户消费数据线用户行为数据线专业公司数据线数据汇聚路径省省条线数据责任部门数据规范协调监督规范执行大数据运营单位（对内应用/对外产品）数据需求集团网运部集团创新部…数据质量保障路径数据质量评估标准15评估项评估因子评估因子描述数据完整性数据覆盖因子描述一定时间内某地用户数与全国总用户数之比数据集完整因子描述一定时间内某地采集上传的数据集是否有遗漏或多余数据一致性数据传递因子数据上下游平台间对接的数据结构，内容保持一致即接收的数据与原始平台产生的数据相同。

所有场景：传输文件大小与传输文件个数一致数据重复因子是否有相同的数据重复传输，评估数据重复传输对一致性的影响情况数据准确性封装因子描述：检测文件命名是否正确，是否收到结束上报文件校验因子校验数据字段个数，字段格式是否符合规范要求关键字段选取因子检测对关键字段是否包含关联因子检测关联成功率数据时效性采集因子传输带宽是否满足要求传输频率因子一定时间内某地传输文件的频率以中国电信大数据能力平台数据质量评估标准为例eCloud第四部分开放体系肆

打造开放的大数据开发环境

开放、共赢27马云曾经在一次演讲中说道：“人类正从IT（信息技术）时代走向DT（数据技术）时代。”“IT以我为中心，DT则以别人为中心，DT让客户和员工越来越强大，DT越来越开放、透明”。马云如此描述：“我们需要懂得分享和学会如何分享资源，构建更加低成本、高效率的商业社会，更多人参与和建设基于大数据的新商业文明。”开放的大数据平台技术架构IAAS虚拟资源主机资源池存储资源池网络资源池管理平台虚拟资源管理物理资源管理业务性能监控应用部署数据服务平台(对内)数据计算二次汇总计算实时流式汇总、分析计算统一管控服务监控数据导出数据导入统一接口任务调度权限结构化数据存储（资源池）非结构化/大数据存储（资源池）数据服务平台(对外)计量任务调度数据加密认证服务监控数据推送自助型工具应用政府决策应用MPP分布式关系数据库HADOOP系统管理数据管理运维管理实时流数据处理实时采集、事件处理大数据汇总、挖掘计算ETL（数据采集、清洗、汇总、标签挖掘）市场监管应用公共服务应用社会管理应用SAAS统一数据服务平台数据平台……应用管理PAAS自然与环境保护应用…28数据授权与验证数据交换与交易交易管理可信授权授权验证数据开放应用管理功能架构图对外数据服务门户我的应用查看应用信息应用申请应用使用应用评论应用推荐应用使用者运维管理人员应用管理数据服务管理计量应用评估平台监控账号管理应用退订查看使用日志安全管理开发者平台介绍查看产品介绍查看平台服务注册应用注册查看服务应用基础环境日志缓存权限数据服务文件服务推送消息服务高可用性游客对外数据服务门户是对外提供一个宣传数据服务，在线使用数据产品的门户。关键特性：角色的适配分为游客，应用使用者，开发者，运维管理人员。每类角色采用不同的模板内容。应用基础运行环境提供企业发布应用和数据服务的基础运行环境，为应用建立标准化的管理手段。中国电信云公司的“123456”301我们正运营着一K台机器的大数据集群2我们有内蒙古和贵州两大云资源基地3我们有三项基础能力、31省中国电信省级公司驻地支撑4我们具有4项运营级系统能力、实时处理着4门8类8128个字段类型数据5我们现在每天日均处理50T原始压缩数据、平均端到端5分钟处理时延6我们已经在六大行业开展深入拓展和合作，取得卓有成效的进展7待您的信赖，共同开创大数据运营

技术咨询设计实施运营支撑中国电信大数据产品介绍大数据产品体系（对外）敏感信息核验风险分值评估风险变化探针风险个体追踪用户兴趣分析用户行为追踪电商竞品分析星图--风险防控星图--精准营销终端魔方舆情控制精细运营鲲鹏--咨询报告数据产品人流热图实时交通商业选址鲲鹏--区域洞察飞龙--大数据云PaaS数据托管服务处理分析服务产品孵化服务平台产品大数据产品一微观产品介绍二三宏观产品介绍大数据云-PaaS服务电信大数据微观产品敏感信息核验风险分值评估风险变化探针风险个体追踪用户兴趣分析用户行为追踪电商竞品分析星图--风险防控星图--精准营销终端魔方舆情控制精细运营鲲鹏--咨询报告数据产品概述风险分值评估敏感信息核验风险个体追踪风险变化探针信用风险进行排查和评估发现问题、预防诈骗对申请人的消费能力、还款能力等及时跟进分析提前进行风险预警核实客户信息的真实性对风险进行初步的判断风险个体信息、位置等进行追查全流程服务3124贷前贷后一、风险防控——全流程服务基于问答模式，进行真实性验证。多组合策略、多角度核验用户信息的真实性和风险情况一、风险防控——敏感信息核验交往圈验证工作圈验证上网时段验证家庭地址验证公司地址验证公司名称验证个人收入评估通信消费档次亲友、公司同事验证担保人验证通话交叉验证身份验证电话所属人验证开机停机欠费验证借款用途验证YesORNo?上网时间段查询用户实名制验证用户证件验证家庭地址验证第一、第二联系人验证生活圈验证工作圈验证个人收入评估通话交叉验证交叉检验真实的信息虚假的信息用户敏感信息一、风险防控——风险分值评估基于各行业各场景采取打分形式的风险分值总分，和划分等级方式的五个子模型。对个人的合规性、还款能力、还款意愿、风险行为等相关指标进行分析，形成个人信用模型，为金融机构提供信用评估分析行为偏好消费能力履约意愿高危行为身份特征人脉关系“五维一高”体系高危行为模型的最大价值在于，当用户出现高风险行为时，模型可以及时感知并进行相应的操作。根据不同应用场景确定各场景风险控制要求，授信额度及直接盈利要求。输出适用于各场景的风险分值评估模型。一、风险防控——风险变化探针

位置信息通话次数搜索信息欠费信息关机信息短信行为上网行为通话时长更换终端呼转行为······正常异常异常正常贷后关键指标追踪判断指标是否达到门限值不预警预警否是推送预警信息至银行负责人主动预警提供信用情况动态监控，行为指标数值出现较大偏差时，提供风险预警。主动推送风险信息异常异常异常异常正常正常出现异常一、风险防控——风险个体追踪电话号码追踪位置追踪公司、家庭追踪亲朋追踪及舆论压力新号码预测、追踪到风险个体公司或家里追讨不良贷款常活动位置追踪、最近位置追踪联系风险个体的亲朋，不得已借助舆论压力追踪方式详细措施二、精准营销——用户兴趣分析摇光星用户兴趣分析人查标签标签查人功能：

用户唯一标识ID、自然人识别、大数据标签体系、URL标签库、 APP标签库、关键字标签库、用户标签查询、兴趣人群查找二、精准营销——人查标签IMSIMEIDMDN移动DPI数据年龄性别流量消费终端习惯语音套餐个人属性标签——接口调用提供服务ODMS话单数据CRM终端数据二、精准营销——人查标签AD+UA+IPIMSIMEIDMDN固网DPI数据移动DPI数据DPI行为兴趣行为标签——KV调用提供服务二、精准营销——标签分类标签体系标签示例标签分类标签数量一级标签19个,二级标签117个,三级489个，持续增加中。标签举例娱乐、电商购物、工具软件、社交、体育、出行、房产、教育、时尚、汽车、财经等。标签范围二、精准营销——标签查人标签查人——KV调用提供服务AD+UA+IPIMSIMEIDMDN固网DPI数据移动DPI数据DPI行为旅游CookieidMEID(MD5)MDN触点平台三、咨询报告——舆情产品：主动发现DPI数据解析：找到发布谣言、传播恐怖言论的互联网个体（上网账号、手机号码）CRM数据关联：映射出实际个体详单数据、终端自注册数据关联：危险个体画像通话/短信/上网时间通话/短信/上网对象通话/短信/上网地点漫游城市终端型号、OS终端启用时间、流转节点终端插拔卡记录姓名年龄民族归属地入网时间电商关键词搜索VPN/代理服务器经常出没的地点出现的时间位移轨迹出入云南/某地市的频次谁做的他是谁他的画像他在哪儿爬虫系统：找到包含危险关键词的文章、回帖、评论三、咨询报告——舆情产品：交际圈关联互联网社交圈通信圈位置交集圈位置交集经常在同一时间出现在同一地点有通话、固定时段来自同一个地区、同一民族跟帖、互联网社交互动在犯罪嫌疑人名单中ABC位置交集经常在同一时间出现在同一地点有通话、固定时段来自同一个地区、同一民族D跟帖、互联网社交互动在犯罪嫌疑人名单中有通话、固定时段来自同一个地区、同一民族三、咨询报告——舆情产品：情报监测多次在电商网站搜索、查看危险品：硝酸铵、亚硝酸钠、管制刀具多次搜索危险品制作方法、危险区域到达方法、搜索暴力恐怖视频等新闻评论当中的危险评论及极端言论使用翻墙工具、使用代理服务器经常插拔卡、非正常时段上网、通话、短信；通话详单中有警方监控对象经常出现在宗教场所、交通枢纽、会展中心等重点区域论坛、贴吧发表恐怖言论、极端言论或进行相关评论小时级互联网爬取9大类情报监控缩小监控范围，主动追踪助排查危险自定义危险线索危险分子的位置轨迹追踪三、咨询报告——舆情产品线索线索指标自媒体文章数浏览数转发数核心订阅自然人数新闻文章浏览数转载量评论数情绪指数关键词搜索量自然人数商品浏览数自然人数代理浏览数自然人数位置国/省/市/县切换次数特定区域停留次数特定区域停留时长通信TOP20联系人通话时长、频次危险号码通话时长、频次非实名制号码通话时长、频次海外/长途/本地通话时长、频次主动/被动占比插拔卡次数通信时段特征区域高危人口数人口数通话次数特定号码拨打次数交际圈同类危险行为次数相同特定区域停留时长/次数相同时间同一地点停留时长/次数危险交集圈并集相同区域切换特征危险事件总量变化率阈值

总量阈值

特定时段变化率阈值

特定时段总量阈值

特定区域变化率阈值

特定区域总量阈值

情报事件演变热度分析受众分析线索聚类情报，阈值定义危险事件，提前预警三、咨询报告——终端魔方产品终端大数据魔方产品，通过讲述“终端一生”的故事，回答终端从哪里来，到哪里去以及终端经历了怎样的一生，来进行终端市场洞察、品牌洞察、流向洞察以及终端发展预测。数据算法模型分析终端多棱镜终端这一生终端性格图谱终端大数据魔方输入输出终端自注册数据数据源客户消费数据客户行为数据……三、咨询报告——终端魔方产品终端大数据魔方终端多棱镜终端这一生终端性格图谱市场份额品牌洞察流向洞察市场预测终端这一生终端年龄终端使用时间终端使用行为应用概括应用对标应用粘性用户行为三、咨询报告——终端魔方产品市场份额终端结构……热门机型终端流转终端网龄终端流转……终端周期终端换机大数据产品一微观产品介绍二三宏观产品介绍大数据云-PaaS服务eCloud第一部分

区域洞察产品概述壹基于对划定区域的特征及区域内人员及商业的分析，针对不同客户的市场需求，提供不同维度、不同特征的数据指标，满足客户提高其生产效率，提高其服务质量的诉求，有效的促进以大数据分析为基础的产品及服务提升。区域洞察产品概览区域洞察：城市规划管理-城市综合交通实时信息-道路人流分析-指定区域商业选址-特征区域区域广告-特征区域区域安全-特征区域区域洞察的核心要素指定区域人群统计指定区域环境统计区域人群数量及变化区域人群年龄，性别分布区域人群常驻/流动状态区域人群上网热点统计行业地理分布银行分布商户分布学校分布医院分布数据关联分析人流OD分析商户选址分析交通实时状况信息区域广告行业特征分析安全医院银行其他企业绩效管理区域地理画像数据：商业POI周边小区人流变化消费写字楼上网分析通话量长漫话音分析户外，户内广告牌其他区域指数：互联网活跃度区域消费潜力指数区域流动指数区域交通指数区域经济指数其他eCloud第二部分

交通实时信息平台贰节能及改善空气污染需要交通信息服务节能减排已成为全球共识，我国也已经把节能减排定为基本国策。汽车作为能源消耗和废气排放的大户，如何节能减排已成为令人关注的问题，而汽车导航和动态交通信息服务有利于此问题的解决。通过使用导航和交通信息服务，汽车燃油效率提高12%。以2010年我国燃油消耗1.4亿吨计算，每年可减少约1680万吨燃油消耗我国汽车排出的废气约占城市空气中气态污染物的50%，通过使用导航和动态交通信息服务，废气排放量可减少20%，意味着城市空气中气态污染物可减少10%汽车燃油效率提高12%废气排放量减少20%使用导航和动态交通信息服务交通信息服务的主要市场车厂：前装电子设备后装电子设备政府相关部门：交通出行信息服务区域数据交通信息产品处理流程线路洞察对需要交通数据的线路进行分析建模进行区域用户速度标签根据用户的位置进行数据计算交通数据优化根据多用户计算结果及其他数据进行算法优化（Kalman滤波，神经网络、D-S证据理论）数据交通数据分析展现Hive网格划分根据基站数据建立蜂窝网络地理信息数据3.23.4中国电信大数据交通实时信息产品多种指数产品：多种标识方式7项指数发布更多功能扩展eCloud第三部分大数据人流分析叁政府需要有效的技术手段实现对人流变化的监控2014穆斯林开斋节盛况人流聚集呈常态节假日出行人员聚集各地自主举行的活动多，人员集中爆发的情况经常出现每年全国节假日体育赛事少数民族节假日各地活动经济活动……多样化的分析展现方式Page64功能描述——区域人流热图灵活配置监控区域实时展现人流变化直观的热图展现方式可配置多种热图效果人群构成展现可配置多个监控区域功能描述——区域人流特征分析性别分布民族分布籍贯分布年龄分布归属地分布消费能力分布其他平台可根据分析要求对区域人流特征进行分析，包括且不限于：功能描述——常驻/外来人员分析通过对常住/外来人群分析，提前发现外来人群聚集构成，并进行环比，同比变化建立分析及预警模型。常驻/外来人群变化常驻/外来人群构成变化配置预警模型及门限功能描述——区域人流OD分析通过对区域人流的来源地分析，给出区域内人群迁入、迁出流向，并进行环比，同比变化建立分析及预警模型。分析指定时间段人员OD情况可配合指定人群进行分析配置预警模型及门限实时人群监控案例实时人流热图人群特征统计人群来源可视化展馆内实时人流热图实时人群监控案例eCloud第四部分区域选址和经营分析平台肆电信大数据选址的优势传统选址方法：主要依赖公开数据+扫街，公开的人口和经济环境等数据适合大范围待选区域分析，待选区域内人流及人口精准分析则主要以扫街的方式，*劣势：样本数少；人力成本高；人物画像不精准；时效性差。电信大数据选址优势：全景大数据：全面，精准，多样；其他互联网公司数据源单一。电信数据全景（面）覆盖，包括通话，短信，固网，移动网络等，人群网络行为可分析所有网站用户访问数据，分析出的人群标签更全面、精准。大数据选址特点：多数据来源分析，精准人物画像刻画，足不出户精准选址。中国电信大数据分析实现多维度选址服务商业选址洞察根据选址的商业需求对初选区域进行分析建模进行选址输出根据选址评分计算因子完成选址并输出锁定分析对评分排名靠前地址进行多维度分析，供用户参考多维度多因数选址分析评估3.4Hive网格划分GIS商业地理规划分析区域人口常驻信息区域人流分析区域车流分析区域富裕程度区域银行网点分布区域安全信息区域竞争信息区域其他各类商业信息

结合线上线下数据、从商业数据、用户行为数据、地理数据等多维度，采用大数据分析手段、自助分析模型，帮助零售、金融等各业态客户解决新店选址、品牌招商、经营分析等方面的业务需求，降低选址成本、提高品牌竞争力、最大化投资回报。房地产大数据分析产品功能定位以运营商大数据助力房地产企业置地、售前、售中和售后运营商大数据位置信息应用使用通信行为电商消费终端信息内容访问漫游出访特定位置应用偏好特定位置访问内容搜索内容电话/短信通信缴费大数据分析-数据价值挖掘当前终端使用年限购物偏好消费能力售前售中售后潜在购房客户挖掘线上广告策略支持小区配套策略支持服务合作商评估小区业主舆情监控物业广告合作决策户外广告媒体决策置地区域特征分析区域客户特征分析房地产行业旅游大数据分析应用主体：政府、景区、服务商专题：旅客来源数据转化：对排名靠前地区进行宣传和指导。应用主体：政府、景区、开发商专题：人流量、趋势图、尖峰时刻数据转化：人流诱导、人流发布、安全预警应用主体：服务商、政府专题：交通到达方式数据转化：接待、安置、疏导力量配置。应用主体：景区、旅游服务商专题：旅游轨迹、停留时长等数据转化：合理配套吃、住、行、游、乐、娱Where人哪来hoW怎么来Which去哪玩What怎么玩大数据产品一微观产品介绍二三宏观产品介绍大数据云-PaaS服务传统IT架构无法满足大数据分析业务要求跨域融合难数据分散在烟囱式系统里扩容已到极限单CPU主频高的一台机器不能满足大数据多任务并行处理实时性差随着数据量增加，性能陡降，无法满足秒级处理的需求软硬件成本高IBM、EMC、ORACLE提供的软硬件价格昂贵，服务费高数据格式复杂传统数据库无法应对多媒体数据的爆炸式增长业务上线周期长大数据需求变化快，不能满足按天、按周上线的要求自建大数据平台技术门槛高环境准备：安装硬件：服务器、存储和网络安装系统软件：OS、虚拟化等安装中间件：DB、MQ等配置硬件、软件、网络等开发、编译调试：安装Runtime：如JVM等业务idea构想Coding、编译调测部署、上线：硬件、软件版本申请，发货现场安装配置软硬件、网络等上线APP监控日志开发可视化监控、日志系统找到服务器对监控、日志系统进行安装部署配置每个模块与监控、日志对接…规划设计研发上线监控维护升级扩容扩容：申请新硬件、软件版本安装软件栈配置新硬件、软件配置集群，接入新节点升级：OS/DB等升级、补丁升级APP…新产品上线周期长达半年、年……新需求上线周期长达月、季……基础平台建设周期长新的项目总是申请新的设计、设备以及构建环境硬件占据了大部分时间，不是若干月就是若干周，有时候因为复杂的采购和验收流程会更长需要必要的设计和开发确定系统大小，因而无法提早下订单新的运营的上线环境专门为新的系统服务软件部署和配置复杂新基础架构或者版本需要配置、打包构建以及优化工作.专有系统，甚至虚拟化的基础架构发生变更都需要花费时间，因此可用于测试的资源或者对变更需求的响应都是有限的.战略规划业务顶层设计技术与实施规划应用系统规划数据资源规划网络规划计算与存储规划灾备系统规划信息安全规划管理与服务规划运维管理规划运营服务规划自建大数据平台运维面临的问题大数据业务不断发展，规模越来越大，系统越来越复杂，自建大数据平台需要更多的资源投入资源管理复杂多种虚拟资源池和物理设备混合管理，无法全局进行容量评估，影响业务上线故障发现、业务恢复慢被动管理，缺乏自动化的统一管控工具，为提供连续的业务服务费心费力规模越来越大大大用户量和业务量的快速增长，手工部署应用不具有重复性，无法满足增长的要求发展大数据业务需多种角色的人员储备大数据分析数据集成工程师快速加载，数据加载速度始终是瓶颈数据整理复杂，工作量占大数据项目的70％如何管理数据资产和质量传统分析方法面临大数据的挑战海量数据分析的及时性、效率和实时应用数据分析师开发工程师快速上手、高效开发典型场景最好免代码开发无缝集成到已有系统和支撑移动互联网应用环境快速上线：易安装部署，升级和配置低维护成本：可靠、安全、问题快速定位主动运维：主动进行健康/风险/效率监控分析运维工程师构建专业大数据团队选、育、留困难选：人才缺口大育：技术门槛高，变化快大数据有一整套自己的技术体系，包括统计、编程、JAVA、数据库、Hadoop、Spark、NoSQL、机器学习、自然语言处理、算法、数据可视化等等，光是Hadoop需要用到的技术和编程语言就有很多项，要求非常较高据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才“我们开办公司之初，主要工作就是挖掘分析数据、编制在线文档。要找到拥有丰富实际经验的人基本上很难。我们只好从雅虎和Facebook这些公司那里招人”BinhTran(KloutCTO)留：人才战争，行业工资高大数据人才的平均工资比普通程序员的平均水平高50%以上在大数据时代，企业之间正在为了吸引并留住商业智能和信息管理的专业人才而展开战争。以深圳工资水平为例，数据挖掘工程师月薪平均在1.5W以上，架构师更达到了2W选：人才缺口大，资源少育：技术门槛高，变化快留：人才战争，行业工资高中国电信对大数据的理解数据能力和产品提供商业务应用提供商最终使用者基础设施提供商分析技术提供商构建大数据生态圈，引导大数据产业链基础设施提供商数据能力和产品提供商分析技术提供商业务应用提供商最终使用者大数据综合平台提供者大数据业务与应用参与者电信云公司PaaS业务定位飞龙-大数据云PaaS业务以数据为中心的先进云计算服务提供商关注企业数据资产的积累，提供大数据基础资源租赁服务关注企业数据创新和发展，提供大数据变现开放化生态服务关注企业研发方式的变化，提供大数据应用快速迭代服务通过云计算PaaS平台，提供比基础设施层更高、更丰富的平台服务，降低用户使用大数据挖掘门槛；通过分布式计算框架，完善的数据分析工具组件，能够为客户实现更精准大数据营销；通过PaaS平台能力开放，提供敏捷可靠的开发平台，缩短产品上市周期！致力于打造企业数据分享的第一平台，打造以数据为中心的云计算服务生态！大数据云PaaS业务演进路径数据可托管降低成本，节省资源数据可分析经营参考，分析决策数据可变现数据共享，价值增强大数据云PaaS集成服务咨询集成分析开发运维管理可服务可管理可创新数据基础资源服务数据挖掘分析服务数据开放服务网络安全管理数据安全管理数据运营管理数据挖掘能力创新数据开放能力创新数据应用能力创新商业咨询技术咨询数据迁移和集成服务挖掘工具定制与集成数据分析与报表服务数据资源运维管理数据开放运维管理大数据Pa