大数据的意义 李重辉.ppt

,大数据的意义,|,大数据的意义,|李重辉|,大数据的意义【目录】,什么是大数据,大数据不同领域的意义,大数据的发展未来,什么是大数据,大数据(bigdata)或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。,四个特征,海量,多样,高速,易变,企业面临着数据量的大规模增长。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。,一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。,高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMSResearch关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。,大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。,大数据在不同领域的意义,宏观经济领域,农业领域,商业领域,金融领域,医疗保健领域,社会安全领域,Themore,1,宏观经济领域,IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。,印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。,华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；,一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。,有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。,2,农业领域,2,农业领域,农业是大数据理念、技术和方法在农业的实践。农业大数据涉及到耕地、播种、施肥、杀虫、收割、存储、育种等各环节，是跨行业、跨专业、跨业务的数据分析与挖掘，以及数据可视化。,国内第一个农业大数据的研究和应用推广机构农业大数据产业技术创新战略联盟于2013年6月18日在山东农业大学正式成立，标志着国内大数据技术在农业领域的应用又有了实质性突破。,3,商业领域,3,商业领域,商务智能可有效提高企业运营活动的效率。,零售企业需要根据销售有特色的本地化商品并增加流行款式和生命周期短的产品，零售企业需要运用最先进的计算机和各种通信技术对变化中的消费需求迅速做出反应。通过对大数据的挖掘，零售企业在选择上架产品时，为确保提供式样新颖的商品，需要对消费者的消费行为以及趋势进行分析；在制定定价、广告等策略时，需进行节假日、天气等大数据分析；在稳定收入源时，需要对消费群体进行大数据分析，零售企业可以利用电话、Web、电子邮件等所有联络渠道的客户的数据进行分析，并结合客户的购物习惯，提供一致的个性化购物体验，以提高客户忠诚度。同时，从微博等社交媒体中挖掘实时数据，再将它们同实际销售信息进行整合，能够为企业提供真正意义上的智能，了解市场发展趋势、理解客户的消费行为并为将来制定更加有针对性的策略,4,金融领域,4,金融领域,国内金融业开始进入大数据竞争时代,大数据为金融机构提供了客户全方位信息，通过分析和挖掘客户的交易和消费信息掌握客户消费习惯，并准确预测客户行为，有针对性地推销产品和服务，满足银行对潜在客户量身定制服务的需求。另外，在品牌管理和客户服务反馈方面，大数据通过对人们在思想、情绪和通信方面的数据化情感分析，获取并汇总顾客的反馈意见并对营销活动效果做出准确判断。金融机构最为关注的是风险管理，而大数据在管理交易、信贷风险和合规方面大显神通。许多金融机构早已采用大数据防治欺诈，保持交易方面的合规，如在庞大的数据库中核对黑名单中的名字，区别同名同姓。信用卡公司用大数据分析客户大规模的交易规律，大大降低了风险。虽然大数据时代为金融业带来的潜力和新商机还有待人们的捕捉，但毋庸置疑的是，大数据正在成为金融业运作的最有价值、最强大的决策辅助工具。,5,医疗保健领域,5,医疗保健领域,大数据让专业医疗保健走入寻常百姓家,“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。,6,社会安全领域,6,社会安全领域,大数据提供更多破案途径,通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可收集热点事件，挖掘舆情，还可追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。,大数据的发展未来,预测一:大数据平台Hadoop，将会在未来两三年当中，会有一个很明显的商业化的过程。,预测二:很早期的Hadoop项目也面临着种种挑战。,预测三:开源软件的发展会给很多相关市场带来更多的机会。,预测四:大数据会带来更多的软件公司之间的收购。,预测五:大数据将在未来一两年从我们看到的传统的互联网和电信方面的应用，现在