大数据处理技术参考架构

大数据处理技术参考架构（共23

页）-本页仅作为预览文档封面，使用时请删除本页-#包括：报表、综合查询（具有实时、多表关联、自定义条件或表样的特点）、多维分析（如：维度表、事实表）。在研发能力方面，现有的技术团队在Hadoop&Spark技术方面的技能和经验比较欠缺，特别是大数据相关的技术正处于成长阶段，技术团队丰富的实践经验尤为重要，否则难以快速响应和处理突发问题。具有大数据处理需求的系统在建设过程中，可以考虑通过与实施经验丰富的、有较强的自主研发能力的大数据技术平台厂商或技术团队进行合作。一方面，能够通过借鉴外界成熟的实践经验，来应对研发能力不足所带来的风险；另一方面，能够引入外界技术力量对系统研发过程进行指导，促进大数据技术团队的组建。附录：名词解释大数据：由维克托迈尔-舍恩伯格和肯尼斯・库克耶在2008年8月提出，大数据指不用随机分析法（如：抽样调查）这样的捷径，而采用所有数据进行分析处理。全球最具权威的IT研究与顾问咨询机构Gartner将大数据定义为，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。IBM提出大数据的5V特点，Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）和Veracity（真实性）。2015年8月国务院在《促进大数据发展行动纲要》中指出，大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。互联网+：“互联网+”是把互联网的创新成果与经济社会各领域深度融合，推动技术进步、效率提升和组织变革，提升实体经济创新力和生产力，形成更广泛的以互联网为基础设施和创新要素的经济社会发展新形态。IOE：指服务器提供商IBM，数据库提供商Oracle，存储设备提供商EMC的简称。互联网金融：是传统金融机构与互联网企业利用互联网技术和信息通信技术实现资金融通、支付、投资和信息中介服务的新型金融业务模式。P2P借贷：peertopeer网络借贷的一种模式，包括个体网络借贷（即P2P网络借贷）和网络小额贷款。个体网络借贷是指个体和个体之间通过互联网平台实现的直接借贷。众筹：股权众筹融资，主要是指通过互联网形式进行公开小额股权融资的活动。股权众筹融资必须通过股权众筹融资中介机构平台（互联网网站或其他类似的电子媒介）进行。第三方支付平台：指一些和产品所在国家以及国内外各大银行签约、并具备一定实力和信誉保障的第三方独立机构提供的交易支持平台。x86架构：由Intel推出的一种复杂指令集，用于控制芯片的运行的程序。x86架构于1978年推出的Intel8086中央处理器中首度出现。HDFS：HadoopDistributedFileSystem，Hadoop分布式文件系统，是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。YARN：HadoopDistributedFileSystem，YARN是Hadoop的资源管理器，它是一个通用资源管理系统，可以为上层应用提供统一的资源管理和调度。MapReduce：Hadoop的计算框架，用以进行大数据量的计算。Hadoop的MapReduce与Common、HDFS一起，构成了Hadoop发展初期的三个组件。Hive:建立在Hadoop基础上的数据仓库架构，它为数据仓库的管理提供的主要功能包括：数据ETL工具、数据存储管理和大型数据集的查询和分析能力。ZooKeeper：分布式系统的可靠协调服务，提供的功能包括：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。ZooKeeper的目标是封装好复杂、易出错的关键服务，将简单易用的接口和性能高效、功能稳定的服务提供给用户。Sqoop：SQL-to-Hadoop，Sqoop主要作用是在结构化数据存储与Hadoop之间进行数据交换。Sqoop可以将一个关系型数据库（如：MySQL、Oracle等）中的数据导入Hadoop的HDFS、Hive中，也可以将HDFS、Hive中的数据导入关系型数据库中。Ambari：Ambari是一个基于Web的工具，用于配置、管理和监视Hadoop集群，并支持HDFS、MapReduce、Hive、ZooKeeper、Sqoop等框架。Ambari还提供了集群状况仪表盘，以及查看MapReduce、Hive应用程序的能力，以友好的用户界面对它们的性能进行诊断。Spark：Spark是与Hadoop相似的开源集群计算环境，Spark启用了内存分布数据集，基于内存进行分布式计算，除了能够提供交互式查询外，它还可以优化迭代工作负载。MPP：MassivelyParallelProcessing大规模并行处理技术