G30(大)数据杂谈20140703-文库

（大）数据杂谈坐忘/spanlessbug2014-06-23引言何谓大数据？主题

MyTopics大数据技术大数据方案大数据价值对我们的启示引言用数据打造冠军团队——《点球成金》；大数据什么都知道；尿布与啤酒还有飓风和蛋挞；数据爆炸式增长；大数据时代来临；引言→电影《点球成金》基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功；布拉德•皮特主演的《点球成金》是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。引言→没有隐私：它什么都知道你的什么大数据都知道旧手机坏了想换新的是一个爱国的屌丝女朋友有了一个新手提包邻居上高中的女儿怀孕了你两年后可能要买车喜欢日本爱情动作片你可能会得高血压你最近手头不宽裕特别讨厌某个明星你在这个世界上留下了太多的痕迹！！！引言→飓风&蛋挞And啤酒&尿布沃尔玛在上世纪创造的啤酒与尿布的相关性销售是一个营销的经典案例，但是类似的不只有这一个，飓风和蛋挞也是沃尔玛基于大数据分析之后的一个又很成功的营销案例。啤酒和尿布、星期五、男人、小孩飓风和蛋挞、躲在家里、吃蛋挞引言→数据爆炸式增长（每分钟……）Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单Facebook上更新69.5万+条新状态12306出票1840+张大数据时代→业界对大数据的关注持续升温2012年世界经济论坛发布了“Bigdata，Bigimpact”的报告麦肯锡于2011年5月发布《下一个前言：创新、竞争和生产力》报告从金融服务、健康、教育、农业、医疗等多个领域阐述了大数据为国际发展带来的机会。大数据将成为竞争的关键，大数据将引发新一轮的生产力增长与创新。

BigDataInsightGroup和EMC完成的《解读大数据的商业价值和战略意义》对大数据在英国企业中的应用趋势进行了调查和解读，发现大数据还处于发展初级阶段。早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，就将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大数据时代→大数据规划战略2012年3月29日，美国总统科技政策办公室OSTP（OfficeofScienceandTechnologyPolicy）宣布了每年投资两亿美元的“大数据研究计划”（BigDataR&DInitiative）。2010年1月，英国政府的数据开放网站正式出台，2010年5月卡梅伦上台之后正式提出“数据权”的概念，2011年4月主要部门宣布“我的数据”新项目，旨在落实和强化数据权。继美英之后，国际上德国、法国、日本、加拿大和新西兰等国家也开始了各自国家的大数据发展战略规划。大数据时代→大数据在国内日益受重视2012年5月，中国云计算国际论坛在北京召开；2012年6月，中国计算机协会成立“CCF大数据专家委员会”；2012年7月，阿里巴巴宣布设立首席数据官，推动“数据分享平台”战略；2012年7月，第二届大数据世界论坛召开，首届中国大数据论坛同年召开；大数据事件2011年12月，中信证券《大数据（BigData）专题研究报告》；2011年12月，国金证券《“大数据”专题分析报告》；2012年4月，ETIRI《大数据行业应用现状与未来应用热点》；2012年6月，《中国互联网市场洞见：互联网大数据技术创新研究》；2013年1月，华为《超越信息和通信，迎接新一轮数字化变革》；专业报告随着大数据产品的逐步推出与完善，2013年国内大数据市场将进入主要培育期；光大证券随着解决方案增多以及用户需求的明确，未来大数据市场将进入高速增长期；计世资讯大数据对国家治理模式、企业决策、组织和流程、个人生活都将产生巨大影响；国金证券在这场呼之欲来的产业革命中，我国并没有落在世界的后面。事实上，全世界都还没有准备好迎接这场革命；周涛他们如此说何谓大数据？大数据定义；大数据的4V特征；大数据带来的思维变革；何谓大数据→大数据定义大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯

——百度百科大数据是指用传统方法或工具不能处理或者分析的数据信息——《大数据——大价值、大机遇、大变革》一书，李志刚主编大数据=海量数据+复制类型的数据——Informatica中国区首席产品顾问但彬“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产——Gartner何谓大数据→大数据的4V特征（更普遍意义）Volume数量非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍Value价值大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能）Velocity高速实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效Variety多样化大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义BigData大数据1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB（PetaByte）相当于50%的全美学术研究图书馆藏书信息内容5EB（ExaByte）相当于至今全世界人类所讲过的话语1ZB（ZetaByte）如同全世界海滩上的沙子数量总和1YB（YottaByte）相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为单位进行计量的何谓大数据→大数据的4V特征（Volume）何谓大数据→大数据的4V特征（Velocity）82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；何谓大数据→大数据的4V特征（Variety）行业/企业内数据互联网数据物联网数据大数据数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，70~80%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。何谓大数据→大数据的4V特征（Value）挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；何谓大数据→大数据带来的思维变革Google利用网络大数据预测流感2008年阿里巴巴预测金融危机埃齐奥尼的Farecast有10万亿条数据预测机票价格乔布斯的癌症抗争，自身所有DNA和肿瘤DNA排序大数据大价值大数据大价值总述；大数据行业应用；大数据大价值→总述推动社会进步促进经济发展加强科技创新大数据大价值→总述-推动社会进步历史经验证明，每次重大信息技术的应用，都将会给国家和社会带来深刻的变革。如1993年美国推出的“信息高速公路”计划在一系列工业领域每年创造了3000亿的销售额，于此同时推动了相关多个产品的发展。如在预测和响应方面：传染病预测、粮食生产趋势预测、天气预测、经济预测……提升国家国防安全水平促进政府开放提升公共服务质量提高政策预见性、响应性大数据大价值→总述-加强科技创新互联网行业技术创新生物工程-数字化模拟细胞海洋勘探-捕捉海洋活动运动科学-数据提高成绩计世资讯预测，2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个行业都存在大数据应用需求，潜在市场空间非常可观。计世资讯认为，2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。计世资讯预测，2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。大数据大价值→总述-促进经济发展大数据大价值→行业应用-整体说明应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）纵轴契合度：

表示该用户的IT应用特点与大数据特性的契合程度；横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；注：

该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。大数据大价值→行业应用-零售业市场Market销售规划、Merchandising运营Operation供应链Supplychain基于大数据分析，市场活动变得更加智能，帮助销售进行有针对性的营销，指导制定市场策略；帮助商家进行定价调整，如根据不同客户类别设置价格区间；网上零售商基于用户的交互行为调整网页的布局设计；提高运营效率及满意度，让管理者能够更及时调整运营措施。优化劳动力投入，更加准确预测人员配置要求，避免产能过剩，降低人员成本；库存优化：根据历史数据、天气、季节等因素改进库存管理；物流优化：优化线路及车辆分布；供应商协调：利用顾客偏好与购买行为协调供应商与零售商谈判；大数据大价值→行业应用-零售业交叉营销使用客户的相关数据促进销售，如客户的地理位置信息，购买历史和购买偏好等；基于位置的营销源于智能手机等设备的大规模普及，如客户接近某个商店，系统就能自动推送商品信息；店内用户行为分析帮助提升店内布局，货架布置等，数据来源与客户的店内行为，如行走路径和花费时间等；客户群划分划分更加精确化和精细化，通过实时数据分析及时调整客户群划分方式；情绪分析辅助商业决策，如利用情绪分析，理解营销活动的真正响应时间，并做出相应调整；渠道整合无论客户是在线上还是线下，商家都能将渠道数据进行整合，为顾客提供无间隙服务；基于大数据分析，市场将变得更加智能大数据大价值→行业应用-零售业北京朝阳大悦城2011年销售额突破10亿元。这是一个不错的首年成绩。朝阳大悦城组建了一个数据团队，以数据为驱动打造一个全新购物中心。下面讲述柱子、电梯、车流、客流监控与数据的故事。大数据方案MicrosoftIBMOracleIntel大数据方案→微软大数据方案MicrosoftSQLServer2012与SQLServer并行数据仓库应用可以管理结构化数据。WindowsAzure和WindowsServer上基于Hadoop的发行版本让你可以处理PB级的非结构化数据。SQLServerStreamI