大数据基础概论与应用实践

大数据基础概论与应用实践利用数据在每个行业都可以有阿里巴巴趋势：互联线上数据和线下交易数据融合4趋势：互联网基因植入传统公司1、卖产品产品转变为卖金融服务企业自身的转型粘性的增强2、服从管理转为创造客户价值组织的再造可持续3、互联网思维、数据思维、消费者驱动商业模式的核心思维大数据+冲击传统市场表现：1、平台型企业按客户需求聚散资源企业无边界2、微企业自主经营体管理无领导3、产品按需定制持续创造客户需求供应链无尺度4、数据驱动资源共享业务融合5、分享经济所有的产品都可以共享除了老婆孩子等亲人6大数据基因植入更多企业CDO信息管理ERPCRM网上企业数据中心产品创新部互联网金融数据金融社交金融新媒体运营自媒体矩阵S大数据系统运营大数据大数据分析精准营销大数据驱动组织架构变化KPI：每个部门都是业务经营体1、大数据。-金融产品数据精准营销-大数据分析-网络化售后服务2、新媒体运营-网络媒体、新媒体消费者数据库积累-新媒体运营投资和回收3、产品创新-互联网金融产品社交金融产品大数据金融产品大数据将销售和营销有机的结合大数据重新定义用户体验DT时代技术领先业务BI，分析&经验决策

太多噪音数据

事后诸葛

依靠猜测重-开发重-发布新-平台每年每季每月业务、产品&人员协作

周期长&高成本

专家偏见开发&QA

太多项目

茅盾的优先级

昂贵批准&部署

优先级问题

计划实施

与市场脱节SaaS部署实时更新升级使用群体智慧少量IT参与实时自动调节数据对企业KPI的的价值11分享传播产品服务体验对企业的忠诚度浏览页面数量转化率客单价品牌价值消费者流量产品体验真实反馈满意度品牌的软性指标（长期）经营的硬性指标（短期）倒逼企业的人财物产供销体系，从新构建新的商业体系消费者数据销售额大数据的价值和意义因为有了大数据，所有物体和行为都，有可能变得智能，所有物体和行为都可以链接起来，做人心中有数，做企业有商业树数商，一个国家有数据的掌控能力，应用能力，变现能力，数据使人类如同自然一样真正参与创造，而不是制造。DATA+=智能大数据基础概论与应用实践大数据时代的背景分析大数据在中国的发展情况大数据基础概论北京市科委于今年4月10日召开了“首都科技大数据平台”的方案征集发布会，提出大数据时代的创新资源共享，从开放政府科技数据资源开始。上海起步迈向“大数据时代”推出三年行动计划。3年内，基于大数据的航空流量管理及机场协同决策平台，将覆盖华东地区近40个机场，并逐步推广到全国七大地区民航部门。广东粤"政府治理能力现代化"清远市借力传统媒体、新媒体，通过大数据平台、队伍建设，实现对数据的分析、应用，清远“新闻施政”打造了一个“不设围墙”的政府治理体系。四川着力产业技术创新，抢占技术链和产业链制高点，启动节能环保、大数据、物联网、干细胞等领域产业技术路线图，进一步找准科技创新的切入点和突破口。山东“山东省大数据产业情报服务平台”帮助山东省广大企业从传统的“直觉+经验”决策模式，走向科学的“数据驱动决策”的智能商务模式，将大大提升传统企业的核心竞争力。浙江设立“浙江省城市大数据智能处理与服务重点实验室”，得大数据者得天下，通过强大的云计算技术，能让信息数据“思考”，实现信息资源的开发利用。贵州打造“七云”工程，推动建设面向政府、公众和企业的云计算和大数据服务平台，包括智能交通云工程、智慧物流云工程、智慧旅游云工程、电子商务云工程和食品安全云工程等。全国各地大数据开启了一次重大的时代转型，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发。联合组织实施2014年云计算工程。本次专项重点支持三个领领域：公共云计算服务平台建设、基于云计算平台的大数据服务、云计算和大数据解决方案研发及推广项目。通过该专项，拟突破云计算平台软件、大数据管理与分析等关键技术，形成一批满足市场需求的云计算和大数据处理系统解决方案，加强公共云计算服务能力建设，提升大数据应用水平。商务部党组将中央巡视组提出的六个方面意见建议，分解成19项落实任务，着力推进长效机制建设，认真开展整改后续工作。“认真执行民主集中制原则”中要求提高科学民主决策水平。把公众参与、专家论证、风险评估、合法性审查和集体讨论决定作为重大决策的必经程序，研究推进“商务部大数据”建设，为部党组科学民主决策提供有力支撑。提升大数据时代预防打击犯罪本领。要进一步强化服务意识、提高服务效能，让群众办事更方便、出行更安全、生活更安心。要坚持以信息化引领基层基础工作，加强基础信息采集录入，注重信息资源联通共享，不断提升基础信息支撑决策、服务实战的效能。教育部发布30年来学生体质与健康“大数据”，自2007年中央7号文件印发以来，各级政府、各类学校和社会各界凝共识、聚合力、谋发展，特别是加强学校体育治理体系建设，从配套文件到细节落实，从工作号召到监督检查，从定性分析到定量评价，科学决策，扎实工作，使得学校体育改革发展成效显著。大数据既是商机，更是变革国防和军队建设模式的引擎。国防动员作为军民融合的纽带，应主动把握大数据带来的大机遇，积极应对大数据带来的大变革，着力抢占大数据运用的战略制高点。树立与大数据时代相适应的数据思维，运用数据思维想问题、作决策，运用数据语言搞交流，努力实现国防动员工作模式从定性思维向定量思维转型。大数据在中国的发展形势大数据基础概论大数据故事1）群众智慧2）关联分析3）垃圾数据4）中信企业大数据营销案例5）小米的口碑营销6）杜蕾斯的雨夜之疯狂传播7）阿迪达斯产品创新8）中航信体系下的航班管家和商旅众横为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据应用路线图（Map）大数据营销的应用场景（Value）目录“数据现在就像新型石油。数据就像原油一样，非常宝贵，但是如果未进行优化则毫无用处。”–专家“我们的经济是基于一种不仅可再生并且会自我生成的资源。用完不是问题，被淹没才是问题。”–JohnNaisbitt能力向消费者转移数据竞争的压力大数据的激增商业模式驱动*Truthfulness,accuracyorprecision,correctnessVolume多Velocity快Veracity垃圾*Variety杂DataatrestTerabytestoexabytesofexistingdatatoprocessDatainmotionStreamingdata,millisecondstosecondstorespondDatainmanyformsStructured,unstructured,text,multimediaDataindoubtUncertaintydueto

datainconsistency

&incompleteness,ambiguities,latency,deception,modelapproximations全新的计算时代4V特点为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据应用路线图（Map）大数据的应用场景（Value）目录何为大？—数据度量

1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes大数据的“大“《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB约等于671部红楼梦1TB约等于631,903部1PB约等于647,068,911部美国国会图书馆藏书（151,785,778册）（2013年4月：收录数据235TB）中国国家图书馆：2631万册1EB=4000倍美国国会图书馆存储的信息量600美元的硬盘就可以存储全世界所有的歌曲MGI估计,全球企业2010年在硬盘上存储了超过7EB(1EB等于10亿GB)的新数据,同时,消费者在PC和笔记本等设备上存储了超过6EB新数据专注于企业级大数据集群容量–约60000台服务器

–物理CPU~30000核–内存~1000TB–磁盘~360000块–存储容量~200PB阿里巴巴云梯一数据规模(2015)集群负载–每天Job数150,000+道–每天hivequery数6,000+–每天扫描数据量~7.5PB

–每天扫描文件数~4亿–存储利用率~80%–CPU利用率~65%峰值80%阿里巴巴是数据信息流制造业为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据能做什么方法（HOW）大数据应用路线图（Map）大数据的应用场景（Value）目录大数据约90%是机器数据25关系型数据、高度结构化、基于僵化模式财务记录、多维数据、数据计算月报，非实时事件时间序列非结构化数据，无预定义模式由所有IT系统生成，大量不同类型的格式巨量；快速导航和相关性最重要由人与人之间的互动而产生包括电子邮件、即时通信、语音、视频和文本储存在集中式公司服务器、文件共享和桌面中机器产生的数据90%商业应用程序数据2%人为产生的数据8%互联网络谷歌大数据中心：全球有8个（几十万台服务器）

全国几百万平方米几百个数据中心为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据有哪些潜在价值（Value）大数据应用路线图（Map）目录不断量化的宇宙Web1.0被动Web2.0主动碎片移动互联网随时随地云计算全部29人口天体长度重量面积体积时间空间电流电压声音图像社会关系辐射能量信息过去现在随机样本多维数据（全体样本）精确性混杂性因果关系相关关系30为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据应用路线图（Map）大数据的应用场景（Value）目录大数据产业相关企业一览图关键技术结构化数据库IT基础设施即服务数据操作基础设施数据分析基础设施虚拟化应用广告/媒体应用商务智能分析与展示日志数据应用数据即服务为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据应用路线图（Map）大数据的应用场景（Value）目录大数据应用路线图大数据涉及的关键技术需求技术描述关键技术海量数据分布式处理Hadoop生态系统针对大量数据进行分布式处理的系统框架实时数据处理StreamingData流计算引擎非结构化数据处理文本处理技术；自然语言理解；

多媒体处理技术…文本内容分词与分析；图像、音视频分析可视化交互界面通过交互式可视化界面辅助用户进行分析交互式可视化探索分析技术智能数据分析大规模机器学习技术计算机模拟人类学习行为，包括特征提取、图形生成等保护隐私数据与信息个体的对应关系等安全技术高效存储和管理大规模数据数据存储备份技术、数据放置和调度技术、数据溯源存储、放置、调度大规模的数据数据隐私保护数据隐私防范保护措施与数据安全技术大数据采集处理大数据分析存储、组织、管理为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据应用路线图（Map）大数据的应用场景（Value）目录为什么要研究大数据（WHY）什么是大数据（WHAT）哪里有大数据（WHERE）大数据现在什么阶段（WHEN）谁在做大数据（WHO）大数据应用路线图（Map）大数据有哪些潜在价值（Value）目录数据成为资产像石油一样可以交易数据资产的不同维度让数学家成为上帝吗？40数学世界物理世界精神世界量化量化哲学宗教大数据让社会学成为科学？41人类的行为是随机的，不可预测的人的行为是小概率事件人类需要的是随机的智慧人类工作娱乐等活动具有间歇性，总是在长时间休息后突然爆发，然后沉寂人类93%的行为是可预测的自然界人类世界，符合幂律大数据对企业生产收入有大幅提高提高生产效率降低风险并提高合规性利用现有资产增加收入消除数据壁垒利用现有研究和知识消除/引退未使用的系统从现有资产中抽取价值降低培训成本提高员工保留率改善协作捕获部落知识消除冗余项目为销售和服务员工提供最新且精确的信息增加追加销售和交叉销售

缩短销售周期增加客户生命周期价值建议缩短监视和合规的时间推送相关法规更新/提醒支持定价、NDA等等单一版本的真相避免处罚2009201025.9%34.2%展厅综合运用大数据可视化技术、声光电、多媒体等高科技展示手段，系统介绍了园区的开发历史、建设成就以及园区人朝气蓬勃的精神面貌34案例–苏州无线WiFi项目现场现场4政府大数据可视化案例全球55个城市数据分享平台政府大数据可视化案例客流分析&PM2.5分析以街道为单位的中国PM2.5地图济南市民出行20亿"电子脚印"政府大数据了解交通和人口分布国内首个交通大数据示范项目获批

世界人口分布大数据能够做—传感器、智慧地球2011年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制作的海啸影响模型出现在各大网站。1962年，经过“圣灰星期三”风暴后，美国陆军工程部和美国国家海洋与大气管理局共同建设了一个传感器监测系统，对兴风作浪的海洋进行监测。2005年，浮标上安装了更高端的传感器，用来监测海浪方向。2009年，系统再次升级，开始着手建立一个覆盖全美海岸线的精确海浪监测网络。这些传感器以分秒为单位，将数据源源不断实时传回。智慧商区智慧制造智慧政务运行指挥智慧楼宇数据中心……智慧城市和大数据智慧交通智慧园区空间（路网、建筑、管网、工厂、车辆等）资源（水、空气、电力等）人事（公民、社区、企业、资产等）虚拟化云计算信息平台模型（路网模型、建筑模型、管网模型）数据/感知（交通、水量、空气质量、能耗、视频）信息（人口信息、企业信息等）IT基础设施（Server/storage/network/IP）IDC基础设施（电力/空调/安防/布线/监控）智慧新城/园区云数据中心智慧新城/园区运营中心服务中心管理中心产业中心基础建设集成平台信息平台应用平台运营智慧智慧能源能源管理大数据系统信息标准化动态数据静态数据基本配置信息：名称、编号、归属地市、位置信息（GPS经纬度）、面积、总载频数等；设备信息：标识码、名称、厂家、设备类型、规格型号、用途、入网时间、额定功率、额定负荷等；节能措施：技术名称、实施时间、描述等；能耗数据：用能场所总耗电量、主设备耗电量、空调耗电量；环境因素：室内外温湿度；业务量：话务量、数据业务流量；AI量：电流、电压、温度、湿度、压力、流量、振动；DI量：告警信息；实现耗电量、PUE值、电费、告警的分时段、任意时段统计查询。能耗有效管理始于精准、全面、标准化的能耗排放数据计量。物联网示范：动态跟踪管理，牧场大数据电信运营商覆盖全国物联网及云计算体现优势十二五期末年排放超千吨标煤的省级重点能耗单位原则上必须纳入政府节能减排监管机构的监测量化管理，年排放超万吨标煤的国家级重点能耗单位必须自建企业级能源管理系统接入当地市级能源管理监控中心，市级汇聚到省级能源管理监控中心，省级接入中央发改委全国能源管理监控中心平台，市省中央所汇集的排放原始数据向全社会开放。这样超级大数据系统需要极高的云计算网络存储资源，还要对各用能户建立多维度关联能耗排放模型，对自控可靠的用能户以模型仿真模拟结果对相关用能设备实施反向开关待机操作，实现用能设备动态能效优化，这样的操控实施理应掌控在国有3大运营商手中AmazonAmazon个性化推荐系统大数据之KOL营销应用UserSegmentation对用户标识的Tag进行聚类究，确定面向应用的用户分群看车买车产品库经销商用车用车服务轮胎油耗保养问答汽车八卦图片打酱油型看热闹型汽车汽车兴趣型买车念头型买车计划型快要出手型聚类分析在汽车行业的应用潜在客户意向客户目标客户消费客户大数据挖掘销售机会数据评级金融产品金融机构金融消费者信用金融产品评级金融消费者可以在享受金融产品服务的同时，对金融产品进行评价，所有数据来自于客户客观评价，让金融机构更快速了解产品需求及服务情况，及时进行调整。金融机构评级金融消费者可以对金融机构进行评级。金融消费者评级平台也会根据金融产品对消费者的筛选程度，及资产情况等多个维度对金融消费者进行金融属性评级。信用评级根据