大数据的基本概念和简介

1、大数据简介和应用大数据简介:大数据是规模非常巨人和复杂的数据集，传统数据库管理工具处理起来面临 很多问题，比如说获取、存储、检索、共享、分析和可视化，数据量达到pb、 eb或zb的级别。大数据有三个v, 是数据量（volume）,数据量是持续快速 增加的；二是高速度（velocity）的数据i/o;三是多样化（variety）数据类型和 来源。随着云吋代的来临，大数据（big data）也吸引了越来越多的关注。支撑人 数据以及云计算的底层原则是一样的，即规模化、自动化、资源配置、自愈性。 參大数据的处理流程数据采集一一数据统计分析一一数据挖掘1. 数据釆集:利用多种轻型数据库来接收发自客户端的

2、数据，并ii用户可以通过这些数据 库来进行简单的查询和处理工作，具有并发性高的特点。经常使用的产品有： mysql, oracle, hbase, redis和mongodb等，并且这些产品的特点各不 和同2. 统计分析:将海量的来自前端的数据快速导入到一个集中的大型分布式数据库或者分布 式存储集群，利用分布式技术来对存储于其a的集屮的海量数据进行普通的 查询和分类汇总等，以此满足大多数常见的分析需求。会面临：导入数据量 大，查询涉及的数据量大，查询请求多的挑战。3. 数据挖掘:基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求，这一步 面临算法复杂，并且计算涉及的数据量和计算量都大的

3、难题。一般使用r/sas大数据"在各个领域的应用咨询业：ibm对50000名咨询顾问的档案建立了数学模型，从而计算机可以对不同的项s自动挑选出最合适的团队。广告业：硅谷的最优边界公司对网上广告提供了优化服务，对每一条网上广告都可以计算出反应率和投资收益率市场营销业：umbria公司通过数值计算选择博客网站上应该跳出来的广告产品，通过向量数学，可以确认汉堡王的广告的确对年较人的目标客户最有效媒体业：纽约的inform公司运用几何学原理将文章根据单词和词组进行转换，存入虚拟阁书馆，然后根据读者档案挑选出最适合读者阅读的文章提供给读者社交网络：社交网络产生了海量用户以及实时和完整的数据，同

4、时社交网络 也记录了用户群体的情绪，通过深入挖掘这些数据来了解用户，然后将这些分析后的数据信息推给需要的品牌商家或是微博营销公司。ibm的大数据战略基于“3a5步”动态路线图，tbm提出了 “大数据平台”架构。该平台的四 大核心能力包括iladoop系统、流计算（streamcomputing）、数据仓庵（data warehouse）和信息整合与治理（information integration and governance）。如下图所示。ibm大数据平台和应用程序框架包括bi，莰猁和离级分 析，风晗分析，情绪分折 .web和败字分析等採索/可棵化i力能tl 宙用行处松用内容对析利用分析和

5、应用程序 加途器.加快实现价值的速度ibm大数据平台可视化与发现sffl程序幵发分析流数据和激塌的 大型数据，获得实时hadoop系统s漁搜索流计w教据仓库以经济离汶的方式分 析pb级的结沟化和 菲结沟化（«云计丨移动应用丨安全性 2012 ibm corporabon利用先进的败据库內 分析和运篱分析， 提供深入涵察利用最佳的可视化组 合，收集、提取开採索數据么璦数据肪最幵管理倍 息生耜阛期索引和联邦捜索，实现 上下文协作泥察多重挑战及我们的应对首先，如何将数据信息与产品和人相结合，达到产品或服务优化是大数据商 业模式延展上的挑战之一。张夏天认为，大数据对算法和计算平台的挑战加 大，计算开销大増。总量上升，质量下降，这是大数据带来的重大挑战。 其次，数据大爆炸下，怎样挖掘这些数据，也而临着技术与商业的双重挑战。大数据