大数据应用解决方案38

{管理信息化大数据分析}大数据应用解决方案38大数据应用解决方案目录1.大数据概述61.1.概述61.2.大数据定义61.3.大数据技术发展82.大数据应用112.1.大数据应用阐述112.2.大数据应用架构132.3.大数据行业应用132.3.1.医疗行业132.3.2.能源行业142.3.3.通信行业142.3.4.零售业153.大数据解决方案163.1.大数据技术组成163.1.1.分析技术163.1.1.1.可视化分析163.1.1.2.数据挖掘算法163.1.1.3.预测分析能力163.1.1.4.语义引擎163.1.1.5.数据质量和数据管理173.1.2.存储数据库173.1.3.分布式计算技术183.2.大数据处理过程203.2.1.采集203.2.2.导入/预处理213.2.3.统计/分析213.2.4.挖掘213.3.大数据处理的核心技术-Hadoop213.3.1.Hadoop的组成223.3.2.Hadoop的优点：253.3.2.1.高可靠性。253.3.2.2.高扩展性。253.3.2.3.高效性。253.3.2.4.高容错性。253.3.3.Hadoop的不足253.3.4.主要商业性“大数据”处理方案263.3.2.5.IBMInfoSphere大数据分析平台263.3.2.6.OracleBigDataApplianc273.3.2.7.MicrosoftSQLServer273.3.2.8.SybaseIQ283.3.5.其他“大数据”解决方案283.3.2.9.EMC283.3.2.10.BigQuery293.3.6.大数据”与科技文献信息处理293.4.大数据处理技术发展前景293.4.1.大数据复杂度降低293.4.2.大数据细分市场303.4.3.大数据开源303.4.4.Hadoop将加速发展303.4.5.打包的大数据行业分析应用303.4.6.大数据分析的革命性方法出现313.4.7.大数据与云计算:深度融合313.4.8.大数据一体机陆续发布314.基于基站大数据应用及案例324.1.气象灾害应急短信发布平台324.1.1.概述324.1.1.1.项目背景324.1.1.2.平台概述324.1.2.平台建设特点与原则324.1.2.1.建设特点324.1.2.2.建设原则324.1.2.3.大数据管理平台特点334.1.3.平台整体架构334.1.3.1.建设原理334.1.3.2.平台总体设计351.平台总体结构352.平台技术架构364.1.3.3.平台技术思路374.1.3.4.平台技术路线381.内存数据库382.短信发送多链路配置383.队列缓存384.参数可配置384.1.3.5.平台性能要求384.1.4.平台网络拓扑384.1.5.平台关键流程394.1.5.1.平台数据流程394.1.5.2.平台业务主流程404.1.5.3.短信下发审批流程414.1.5.4.信令分析处理流程424.1.5.5.短信发送流程434.1.6.平台功能模块434.1.6.1.信令分析子系统434.1.6.2.短信发送子系统441.短信发送功能442.短信回执接收功能443.短信批量发送管理功能454.统计报表454.1.6.3.管理子系统451.用户管理452.权限管理463.实时监控464.日志管理465.基站位置信息管理466.系统参数配置管理464.1.6.4.内容数据库子系统464.1.7.平台外部接口474.1.7.1.信令采集接口471.接口说明472.数据采集模式474.1.7.2.短信发送接口471.短信发送通知接口472.短信发送状态查询接口473.短信发送接口474.1.7.3.基站位置信息接口481.数据同步模式482.基站位置信息全量同步接口483.基站位置信息增量同步接口484.2.旅游客源分析484.2.1.建设目标484.2.2.整体方案494.2.2.1.方案思路494.2.2.2.分析范围494.2.2.3.方案特点504.2.3.方案设计514.2.3.1.系统关系514.2.3.2.系统架构511.数据分析后台能力522.Web前台能力524.2.3.3.数据采集534.2.3.4.业务分析531.总体分析流程532.景区综合流量统计分析543.景区游客来源地构成分析554.景区全网总游客实时估算575.景区流量预判模型分析586.景区流量上限告警597.旅游景点热度排名分析598.旅游线路归类统计609.景区与相关场所关联分析614.2.3.5.界面功能介绍611.菜单功能列表622.界面辅助功能介绍633.运营部门应用Portal644.用户权限641.大数据概述1.1.概述大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、术产业领域又一重大创新变革。未来的十年将是一个“大数据引领的智慧科技将比历史上的任何时期都要多、都要快。数据技术发展历史如图一所示：图一1.2.大数据定义“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间IBM”理念定义为4个V(Volume)(Variety)(Velocity)及由此产生的价值(Value)。如图二;图二要理解大数据这一概念，首先要从"大""大"般指在10TB(1TB=1024GB)其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。数据体量巨大。从TB级别，跃升到PB级别。数据类型繁多价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。"大数据"不仅指数据本身的规模，体现在如何加强大数据技术研发，抢占时代发展的前沿。1.3.大数据技术发展大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速长的数据迫切需要寻求新的处理技术手段。如图三所示：图三在“大数据时代，通过互联网、社交网络、物联网，人们能够息载体的数据以远超人们想象的速度迅速膨胀。云时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产生的计到201275%的“大数据，往往是这些非结构化数据。传统的数据仓库系统、BI、链路挖掘等应用对数据处理的时间要求往往以小时或天为单位。但“大数据应用突出强理时间要求在分钟甚至秒级。全球技术研究和咨询公司Gartner将“大数据技术列入2012年对众多公算、下一代分析、内存计算等也都与“大数据”的研究相辅相成。Gartner在其新兴技术成熟度曲线中将“大数据技术视为转型技术，这意味着“大数据技术将在未来3—5年内进入主流。而“大数据”的多样性决定了数据采集来源的复杂性，从智能传感器到社数据的多样性成为“大数据应用亟待解决的问题。例如如何实时地及通过各种义上说，数据将成为企业的核心资产。“大数据”不仅是一场技术变革，更是一场商业模式变革。在“大数据”概念提出之前，尽管互联网为传统企业提供了一个新的销售渠道，但总体来看，二者平行发展，鲜有交集。我们可以看到，无论是Google通过分析用户个人信息，根据用户偏好提供精准广告，还是Facebook将用户的线下社会关系迁移在线上，构造一个半真实的实名帝国，但这些商业和消费模式仍不能脱离互联网，难获得大范围用户的真实需求。企业从大规模制造过渡到大规模定制，必须掌握用户的需求特点。在互联行关联、参照、聚类、分类等方法分析，才能得到答案。“大数据”在互联网与传统企业间建立一个交集。它推动互联网企业融合革。大数据正成为IT所示：图四大数据将带来巨大的技术和商业机遇，大数据分析挖掘和利用将为企业带规模数据处理和行业应用需求日益增加和迫切出现越来越多的大规模数据处理IT专业人员对云计算中诸多关键技术最为关心的是大规模数据并行处理技术大数据并行处理没有通用和现成的解决方案对规模数据处理应用没有现成和通用的软件，需要针对特定的应用需求专门开发，为大数据处理技术的发展提供了巨大的驱动力，2.大数据应用2.1.大数据应用阐述第一，对信息的理解。你发的每一张图片、每一个新闻、每一个广告，这些都是信息，你对这个信息的理解是大数据重要的领域。第二，用户的理解，每个人的基本特征，你的潜在的特征，每个用户上网的习惯等等，这些都是对用户的理解。第三，关系。关系才是我们的核心，信息与信息之间的关系，一条微博和频之间的关系，这些在我们肉眼去看的时候是相对简单的。比如有条微博说这两天朝鲜绑架我们船的事，那条微博也大概是谈这件事户与信息之间的关系，他无非是做这件事。FACEBOOK和TIWTTER的数据来预测即将上映的电影的票房。他也是一个趋势的分析，只是我们把这个趋势提前来。核心就是这三件事。2.2.大数据应用架构2.3.大数据行业应用2.3.1.医疗行业1.SetonHealthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客地分析病人的信息。2.3000次的数据读采取措施，避免早产婴儿夭折。3.它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，完成会自动提醒你再次服药。2.3.2.能源行业1.智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了2~3个月时间里，贵。通过这个预测后，可以降低采购成本。2.维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对以往需要数周的分析工作，现在仅需要不足1小时便可完成。2.3.3.通信行业1.XOCommunications通过使用IBMSPSS流失率。XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取措施，保留客户。此外，IBM新的Netezza网络分析加速企业制定更科学、合理决策。2.电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。3.中国移动通过大数据分析，对企业运营的全业务进行针对性的监控、预警、使他在最短时间内获知市场行情。4.NTTdoo店信息，接近末班车时间时，提供末班车信息服务。2.3.4.零售业1."位公司的差异化，他们通过从Twitter和Facebook上收集社交信息，更深入的"Informatica的技术帮助性。2.零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。3.大数据解决方案3.1.大数据技术组成大数据技术由四种技术构成，它们包括：3.1.1.分析技术据分析技术涵盖了以下的的五个方面3.1.1.1.可视化分析数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。3.1.1.2.数据挖掘算法图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、一定要能够应付大数据的量，同时还具有很高的处理速度。3.1.1.3.预测分析能力数据挖掘可以让分析师对数据承载信息更快更好地消化理解，进而提升判断些前瞻性判断。3.1.1.4.语义引擎非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的地提取信息。3.1.1.5.数据质量和数据管理数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。先，以Google为首的技术型互联网公司提出了MapReduce的技术框架，利用廉价的PC服务器集群，大规模并发处理批量事务。利用文件系统存放非结构化数据，加上完善的备份和容灾策略，这套经济实惠的大数据解决方案与之前昂贵的企业小型机集群+商业数据库方案相比，不仅期内的业务量和数据量，加入多余的计算单元（CPU）和存储，以备不时只需。算需求和存储超出设计量时的系统性能。而一旦需要扩容，问题就会接踵而来。能力。而随着硬件的更新，我们通常加入的新硬件都会强于已有的硬件。这样，的数据节点也只是在几十或上百这个数量级，这主要是由于架构上的设计问题，MapReduce+GFS调度这些资源，丝毫不影响现有系统的运行3.1.2.存储数据库存储数据库(In-MemoryDatabases)供奖励回馈。展性差等问题在大数据分析中被逐渐暴露。随之而来，NoSQL数据存储模型开始风行。NoSQL，也有人理解为NotOnlySQL，并不是一种特定的数据存储模型，它和水平扩展。NoSQL并不是单纯的反对关系型数据库，而是针对其缺点的一种补充和扩展。典型的NoSQL数据存储模型有文档存储、键-值存储、图存储、对象数据库、列存储等NoSQL数据库是一种建立在云平台的新型数据处理模式，NoSQL在很多情况下又盘，因此它可以帮助网页和各种交互性应用快速处理过程中的海量数据。它为Zynga、AOL、Cisco以及其它一些企业提供网页应用支持。正常的数据库需要将NoSQL数据库则完全不关心这些，它能处理各种类型的文档。在处理海量数据同时请求时，它也不会有任何问题。比方说，如果有1000万人同时登录某个Zynga1万人同时在线没什么两样。现今有多种不同类型的NoSQLCouchbase10gen的mongoDB以及Oracle的NoSQL;开源免费的模式如CouchDB和Cassandra;还有亚马逊最新推出的NoSQL云服务。3.1.3.分布式计算技术分布式计算结合了NoSQL与实时分析技术，如果想要同时处理实时分析与NoSQL这种技术的普及变成可能。SGI的SunnySundstrom一些消费行为和模式中识别网上交易的欺诈行为。可能。SkyboxImaging就是一个很好的例子。这家公司通过对卫星图片的分析得分析这么大量卫星图片数据将是不可能的。如图五所示：图五分布式计算技术是Google的核心，也是Yahoo的基础，目前分布式计算技术是基于Google创建的技术，但是却最新由Yahoo所建立。Google总共发表了两篇论文，2004年发表的叫做MapReduce的论文介绍了如何在多计算机之间进行数据处理;另一篇于2003于Yahoo的工程师DougCutting他儿子的玩具大象命名。如图六所示图六而Hadoop作为一个重量级的分布式处理开源框架已经在大数据处理领域有所作为3.2.大数据处理过程3.2.1.采集WebApp或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。3.2.2.导入/预处理一些用户会在导入时使用来自Twitter的Storm部分业务的实时计算需求。常会达到百兆，甚至千兆级别。3.2.3.统计/分析面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright可以使用Hadoop。特别是I/O会有极大的占用。3.2.4.挖掘主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。一个比较完整的大数据处理3.3.大数据处理的核心技术-Hadoop绍和分析大数据处理的核心技术——Hadoop。3.3.1.Hadoop的组成TB甚至PB和SAN方法来有效地存储和处理庞大的数据量。这些都决定了“大数据需要不同的处理方法，而Hadoop目前正是广泛应用的大数据处理技术。Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。该框架在很大程度上受Google在2004年白皮书中阐述的MapReduce的技术启发。Hadoop主要组件包含如图七：图七HadoopCommon：通用模块，支持其他Hadoop模块HadoopDistributedFileSystem（HDFS的应用数据访问HadoopYARN：支持工作调度和集群资源管理的框架HadoopMapReduce：针对大数据的、灵活的并行数据处理框架其他相关的模块还有：ZooKeeper：高可靠性分布式协调系统Oozie：负责MapReduce作业调度HBase：可扩展的分布式数据库，可以将结构性数据存储为大表Hive：构建在MapRudece之上的数据仓库软件包Pig：架构在Hadoop之上的高级数据处理层在HadoopHDFS存储Hadoop集群中所有存储节点上的文件。HDFS图八这些节点包括一个NameNode和大量的DataNodeHDFS中的文件被分DataNodeRAID架构大不相同。块的大小（通常为64MB）和复制的块数量在创建文件时由客户机决定。NameNodeHDFS内部的所有通信都基于标准的TCP/IP协议。NameNode在HDFS内部提供元数据服务，负责管理文件系统名称空间和控制DataNode上的复制块上。DataNode通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。HadoopMapReduce是GoogleMapReduce的开源实现。MapReduce技术是一种简洁写的Map函数和Reduce函数，自动地在可伸缩的大规模集群上并行执行，从而可以处理和分析大规模的数据[6]。Hadoop提供了大量的接口和抽象类，从而为Hadoop应用程序开发人员提供许多工具，可用于调试和性能度量等。在Hadoop应用实例中，一个代表客户机在单个主系统上启动MapReduce的应用程序称为JobTracker。类似于NameNode，它是Hadoop集群中唯一负责控制MapReduce应HDFS中的输入和输出目录。JobTrackerTaskTracker从属任务。MapReduce应用程序被复制到每个出现输入文件块的节点，将为特定节TaskTracker将状态和完成信息报告给JobTracker。如图显示一个示例集群中的工作分布，如图九:图九3.3.2.Hadoop的优点：Hadoop能够使用户轻松开发和运行处理大数据的应用程序。它主要有以下几个优点：3.3.2.1.高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。3.3.2.2.高扩展性。Hadoop方便地扩展到数以千计的节点中。3.3.2.3.高效性。Hadoop处理速度非常快。3.3.2.4.高容错性。HadoopHadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。3.3.3.Hadoop的不足Hadoop是其自身的技术特点也决定了它不能完全解决大数据问题。在当前Hadoop的设metadata操作都要通过集中式的NameNode来进行，NameNode有可Hadoop单一NameNodeJobtracker的设计严重制约了整个HadoopNameNode和JobTracker是整个系统中NameNodeHadoop集群的节点数量被限制到200010-50PB能支持的文件数量大约为1.5亿左右。实际上，有用户抱怨其集群的NameNode重启需要数小时，这大大降低了系统的可用性。随着Hadoop被广泛使用，面对各式各样的需求，人们期望Hadoop能提供更多特性，比如完全可读写的文件系统、Snapshot、Mirror等等。这些都是当前版本的Hadoop不支持，但是用户又有强烈需求的。3.3.4.主要商业性“大数据”处理方案“大数据IBMHadoop展性和灵活性等优势使其成为各种面向大数据处理分析的商业服务方案的首选。Oracle、IBM、Microsoft三大商业数据提供商是Hadoop的主要支持者。很多知名企业都以Hadoop技术为基础提供自己的商业性大数据解决方案。这一部分主要介绍以Hadoop为基础的典型商业性大数据解决方案。3.3.2.5.IBMInfoSphere大数据分析平台IBM于2011年5月推出的InfoSphere大数据分析平台是一款定位为企业级BigInsights和StreamsBiglnsights基于Hadoop随时增加节点，提升数据处理能力。Streams采用内存计算方式分析实时数据。它们将包括HadoopMapReduce在内的开源技术紧密地与IBMHadoop这样开源技术的人很多，但是IBM这次是真正将其变成了企业级的应用，针对不同的人员增加不同的价值。InfoSphereBigInsights1.3的存储和运算框架采用了开源的HadoopMapReduceHadoopIBM特有的通用并行文件系统——GPFS。利用GPFS的目的是为了避免单点故障，保证可用性。BigInsights中还有两个分析产品——Cognos和SPSS级语言进行自定义规则，如文本格式转换等。目前BigInsights提供两种版本，EnterpriseEdition种是基础版（BasicEdition载，主要提供给开发人员和合作伙伴试用。Streams最大的特点就是内存分析，利用多节点PC服务器的内存来处理大批量的数据分析请求。Streams的特点就是“小快灵，数据是实时流动的，其分析反应速度可以控制在毫秒级别，而BigInsights的分析是批处理，反应速度无法同Streams相比。总体来说，二者的设计架构不同，也用于处理不同的大数据分析需求，并可以形成良好的互补。InfoSphere平台仅仅是IBMIBM大数据平台包括4大部分：信息整合与治理组件、基于开源ApacheHadoop的框架而实现的BigInsights平台、加速器，以及包含可视化与发现、应用程序开发、系统管理的上层应用。通过IBM的解决方案可以看出，解决大数据问题不能仅仅依靠Hadoop。3.3.2.6.OracleBigDataAppliancOracleBigDataApplianceHadoop装载器、应用适配器以及Oracle新的NoSQL数据库，主要目的是为了将非结构化数据加载到关系型数据库中去，并对软硬件的集成做了一些优化。OracleBigData机包括开源ApacheHadoop、OracleNoSQL数据库、Oracle数据集成Hadoop应用适配器、OracleHadoop装载器、OpenSourceDistributionofR、OracleLinux和OracleJavaHotSpot虚拟机。它能够快速、便捷地与Oracle数据库11g、OracleExadata数据库云服务器和OracleExalytics商务智能云服务器集成。分析师和统计人员可以运行现有的RR客户端直接处理存储在Oracle数据库11g中的数据，从而极大地提高可扩展性、性能和安全性。3.3.2.7.MicrosoftSQLServer微软已经发布HadoopConnectorforSQLServerParallelDataWarehouse和HadoopConnectorforSQLServer用户可以在Hadoop和微软数据库服务器之间向前或者向后迁移数据。微软的SQLServer2012将并入Hadoop分布式计算平台，微软还将把Hadoop引入WindowsServer和Azure3.3.2.8.SybaseIQSybaseIQ是Sybase公司推出的特别为数据仓库设计的关系型数据库，添加了Hadoop的集成，并提供了MapReduce的API。相比于传统的“行式存储的关系型数据库，SybaseIQ3.3.5.其他“大数据”解决方案“大数据解决方案并非只有Hadoop一种，许多知名企业还提供了其他的解决方案。3.3.2.9.EMCEMCIsilon和AtmosIsilon能够提供无限的横向扩展能力，Atmos是一款云存储基础架构，在内容服务方面，Atmos是很好的解决方案。在数据分析方面，EMC提供的解决方案、提供的产品是Greenplum，Greenplum有两个产品，第一是GreenplumDatabase，GreenplumDatabasePB10TB非常惊人。这是EMC可以提供给企业、政府，用来分析海量的数据。但是GreenplumDatabase面对的是结构化数据。很多数据超过90%是非结构化数据，EMC有另外一个产品是GreenplumHDGreenplumHD可以把非结构化的数据或者是半结构化的数据转换成结构化数据，然后让GreenplumDatabase去处理。3.3.2.10.BigQueryBigQuery是Google推出的一项Web服务，用来在云端处理大数据。该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。BigQuery必投资建立自己的数据中心。Google曾表示BigQuery引擎可以快速扫描高达70TB多优势，BigQuery服务无需组织提供或建立数据仓库。而BigQuery在安全性和100GB的数据，用户也可以付费使用额外查询和存储空间。3.3.6.大数据”与科技文献信息处理“大数据Web有提及文献信息。事实上，现在的科技文献信息日益凸显出“大数据”的特征，据技术对文献内容进行分析，挖掘用户访问日志、评价反馈等数据的价值，为中，文本分析技术、语义计算技术、数据安全需要与“大数据解决方案结合起来考虑实施，这样才能更有效地提供知识服务。3.4.大数据处理技术发展前景随着大数据时代的来临，应用越来越广，其发展前景是很光明的。3.4.1.大数据复杂度降低MapReduce依赖越来越少，另外一个是会把Hadoop技术深入的应用到企业的软件架构中。对于第一个特点，像Cloudera的Impala和微软的PolyBase这样的软件会得到充分发展，他们绕开了MapReduceHDFS的使用Hadoop是个必然趋势，渐渐的就会形成行业的标准，进而成为更有价值的软件基础，而不仅是自己内部使用。3.4.2.大数据细分市场(AnalyzeasaService)业务;析的组件产品;基于社交网络的社交大数据分析;甚至会出现大数据技能的培训市场，教授数据分析课程等。3.4.3.大数据开源开源软件的盛行不会抑制市场的商业机会，相反开源软件将会给基础架构硬件、应用程序开发工具、应用、服务等各个方面的相关领域带来更多的机会。3.4.4.Hadoop将加速发展Hadoop之上。HadoopHadoop技术市场将达到前所未有的高峰。从整体上说，不仅是Hadoop本身本会得到迅猛的发展，同时Hadoop在多个数据中心中的配置和无缝集成技术也将成为热门。HadoopSQL的Hadoop工具将会得到持续发展。3.4.5.打包的大数据行业分析应用知识，也会吸引大量行业软件开发公司的投入。3.4.6.大数据分析的革命性方法出现破。3.4.7.大数据与云计算:深度融合网等新兴计算形态，既是产生大数据的地方，也是需要大数据分析方法的领域。3.4.8.大数据一体机陆续发布出不穷。在未来几年里，数据仓库一体机、NoSQL一体机以及其它一些将多种技术结合的一体化设备将进一步快速发展。4.基于基站大数据应用及案例4.1.气象灾害应急短信发布平台4.1.1.概述4.1.1.1.项目背景生的不利影响，将灾害信息及时通知相关人员，建设气象灾害应急短信发布平台。4.1.1.2.平台概述息服务。4.1.2.平台建设特点与原则4.1.2.1.建设特点平台具有以下特点：区域外的用户；收看率高：手机自动接收，收看率高，见效快，比传统媒体信息更深入用户；修