浅谈大数据.docx

浅谈大数据去年三月，在北京举行的一场大数据产业推介会上，马云首次提出“人类正从IT时代走向DT时代”，并指出DT(Data technology)时代利用数据处理技术，以服务大众、激发生产力为主。在变革过程中，IT与DT不仅存在技术上的差异，在思想观念层面也有显着不同。IT(Information Technology)时代利用的是信息技术，以“我”为中心，强调自我控制、自我管理，而DT 则充分挖掘数据资源，以“别人”为中心，不仅强调舒服的客户体验，而且也需要公开透明的游戏规则与行业环境。DT时代的挑战和机遇，在于把互联网和传统行 业相结合。当然，在走向DT的过程中，无论是客户体验，还是互联网与传统行业的结合，数据无疑是争夺的重点资源，甚至可以说Data为王。那么什么是大数据呢？Garnter给出的定义：大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的大数据时代1中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。下面我们从一个有趣的例子开始，1948年辽沈战役期间，司令员林彪要求每天要进行例常的“每日军情汇报”，由值班参谋读出下属各个纵队、师、团用电台报告 的当日战况和缴获情况。那几乎是重复着千篇一律枯燥无味的数据：每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少，枪支、物资多少有一天，参谋照例 汇报当日的战况，林彪突然打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗?”大家都很茫然，因为如此战斗每天都有几十起，不都是差不多一模一 样的枯燥数字吗?林彪扫视一周，见无人回答，便接连问了三句：“为什么那里缴获的短枪与长枪的比例比其它战斗略高?”“为什么那里缴获和击毁的小车与大车 的比例比其它战斗略高?”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高?”林彪司令员大步走向挂满军用地图的墙壁，指着地图上的那个点说： “我猜想，不，我断定!敌人的指挥所就在这里!”果然，部队很快就抓住了敌方的指挥官廖耀湘，并取得这场重要战役的胜利。这个例子真实的反映在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。首先，我认为大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或者与我们关系不大。在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。其次，想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开：第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；从对大数据的现在和未来去洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。第二层面是技术，技术是大数据价值体现的手段和前进的基石。将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。第三层面是实践，实践是大数据的最终价值体现。我将分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。传统的分析技术如数据挖掘、机器学习、统计分析等在大数据时代需要做出调整，因为这些技术在大数据时代面临着一些新的挑战，主要有：l 数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音的增多。l 大数据时代的算法需要进行调整（邦弗朗尼原理1）l 数据结果好坏的衡量大数据分析主要是从五个方面入手，分别是：数据质量和数据管理（Data Quality and Master Data Management）、语义引擎(Semantic Engines)、预测性分析能力(Predictive Analytic Capabilities) 、数据挖掘算法(Data Mining Algorithms)和可视化分析（Analytic visualizations）等五个方面。数据质量和数据管理（Data Quality and Master Data Management）：大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。语义引擎(Semantic Engines)：大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。预测性分析能力(Predictive Analytic Capabilities)：大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。数据挖掘算法(Data Mining Algorithms)：大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。可视化分析（Analytic visualizations）：大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。数据分析是大数据处理的核心，但是用户往往更关心结果的展示。如果分析的结果正确但是没有采用适当的解释方法，则所得到的结果很可能让用户难以理解，极端情况下甚至会误导用户。大数据的数据分析结果往往也是海量的，同时结果之间的关联关系极其复杂，采用传统的数据处理方式比较困难，目前处理海量数据比较好的技术就是云计算， 从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。从大数据的价值链条来分析，存在三种模式：1- 手握大数据，但是没有利用好；比较典型的是金融机构，电信行业，政府机构等。2- 没有数据，但是知道如何帮助有数据的人利用它；比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。3- 既有数据，又有大数据思维；比较典型的是Google，Amazon，Mastercard等。未来在大数据领域最具有价值的是两种事物：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。我们先看看大数据在当下有怎样的杰出表现：大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督；大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力；大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物；大数据帮助航空公司节省运营成本，帮助电信企业实现售后服务质量提升，帮助保险企业识别欺诈骗保行为，帮助快递公司监测分析运输车辆的故障险情以提前预警维修，帮助电力公司有效识别预警即将发生故障的设备；大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格；大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放精准度；大数据帮助娱乐行业预测歌手，歌曲，电影，电视剧的受欢迎程度，并为投资者分析评估拍一部电影需要投入多少钱才最合适，否则就有可能收不回成本；大数据帮助社交网站提供更准确的好友推荐，为用户提供更精准的企业招聘信息，向用户推荐可能喜欢的游戏以及适合购买的商品。其实，这些还远远不够，未来大数据的身影应该无处不在，就算无法准确预测大数据终会将人类社会带往到哪种最终形态，但我相信只要发展脚步在继续，因大数据而产生的变革浪潮将很快淹没地球的每一个角落。未来的大数据除了将更好的解决社会问题，商业营销问题，科学技术问题，还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰，大部分的数据都与人类有关，要通过大数据解决人的问题。当然，上面的一切看起来都很美好，但是否是以牺牲了用户的自由为前提呢？只能说当新鲜事物带来了革新的同时也同样带来了“病菌”。比如，在手机 未普及前，大家喜欢聚在一起聊天，自从手机普及后特别是有了互联网，大家不用聚在一起也可以随时随地的聊天，只是“病菌”滋生了另外一种情形，大家慢慢习 惯了和手机共渡时光，人与人之间情感交流仿佛永远隔着一张“网”。看看我国的大数据都做了哪些，我国目前也比较重视大数据的发展，积极的推进行业大数据，政府大数据、民生大数据等。在国内，政府各个部门都握有构成社会基础的原始数据，比如，气象数据，金融数据，信用数据，电力数据，煤气数据，自来水数据，道路交通数据，客运 数据，安全刑事案件数据，住房数据，海关数据，出入境数据，旅游数据，医疗数据，教育数据，环保数据等等。这些数据在每个政府部门里面看起来是单一的，静态的。但是，如果政府可以将这些数据关联起来，并对这些数据进行有效的关联分析和统一管理，这些数据必定将获得新生，其价值是无法估量的。具体来说，现在城市都在走向智能和智慧，比如，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市，这些都依托于大数据，可以说大数据是智慧的 核心能源。从国内整体投资规模来看，到2012年底全国开建智慧城市的城市数超过180个，通信网络和数据平台等基础设施建设投资规模接近5000亿元。 “十二五”期间智慧城市建设拉动的设备投资规模将达1万亿元人民币。大数据为智慧城市的各个领域提供决策支持。在城市规划方面，通过对城市地理、气象等自 然信息和经济、社会、文化、人口等人文社会信息的挖掘，可以为城市规划提供决策，强化城市管理服务的科学性和前瞻性。在交通管理方面，通过对道路交通信息 的实时挖掘，能有效缓解交通拥堵，并快速响应突发状况，为城市交通的良性运转提供科学的决策依据。在舆情监控方面，通过网络关键词搜索及语义智能分析，能 提高舆情分析的及时性、全面性，全面掌握社情民意，提高公共服务能力，应对网络突发的公共事件，打击违法犯罪。在安防与防灾领域，通过大数据的挖掘，可以 及时发现人为或自然灾害、恐怖事件，提高应急处理能力和安全防范能力。大数据这个词现在已经被大多数人所熟知，慢慢成为一种常态化的IT及企业生产变革，彻底改变了信息安全行业、信息技术、企业和社会的方式，对于大多数企业 来说，大数据已经成为左右战局的决定性力量，然而其安全风险也随之凸显。像所有的科学技术一样，大数据也是一把双刃剑，能否合理利用成了其剑锋所向的分界点。大数据”之“大”实际上指的是它的种类丰富、存储量大，因此管理起来是一个具有挑战性的工作。然而，无论从企业存储策略与环境来看，还是从数据与存储操作 的角度来看，“管理风险”不可避免地成为了“大数据就是大风险”的潜在推力。大数据让人欢喜让人忧，围绕它的问题主要体现在五个方面。 1、云数据：目前来看，企业快速采用和实施诸如云服务等新技术还是存在不小的压力，因为它们可能带来无法预料的风险和造成意想不到的后果。而且，云端的大数据对于黑客们来说是个极具吸引力的获取信息的目标，所以这就对企业制定安全正确的云计算采购策略提出了更高的要求。 2、网络安全：随着在线交易、在线对话、在线互动，在线数据越来越多，黑客们的犯罪动机也比以往任何时候都来得强烈。如今的黑客们组织性更强，更加专业，作案工具也是更加强大，作案手段更是层出不穷。相比于以往一次性数据泄露或者黑客攻击事件的小打小闹，现在数据一旦泄露，对整个企业可以说是一着不慎满盘皆输，不仅会导致声誉受损、造成巨大的经济损失，严重的还要承担法律责任。所以在大数据时代，网络的恢复能力以及防范策略可以说是至关重要。 3、隐私：随着产生、存储、分析的数据量越来越大，隐私问题在未来的几年也将愈加凸显。所以新的数据保护要求以及立法机构和监管部门的完善应当提上日程。 4、消费化：众所周知，数据的搜集、存储、访问、传输必不可少的需要借助移动设备，所以大数据时代的来临也带动了移动设备的猛增。随之而来的是BYOD风潮的兴起，越来越多的员工带自己的移动设备进行办公。不可否认的是，BYOD确实为人们的工作带来了便利，而且也帮助企业节省很大一笔开支，但也给企业带来了更大的安全隐患。曾几何时，手持设备被当成黑客入侵内网的绝佳跳板，所以企业管理和确 保员工个人设备的安全性也相应增加了难度。 5、互相联系的供