CDHHDPMAPRDKH星环组件比较

1、序号组件名称CDH（美国Cloudera ）HDP（美国Hortonworks ）MAPR（美国MapRDKH（中国大快）Transwarp（中国星环）1HadoopVVVVV2HBaseVVVV3ZookeeperVVVVV4SparkVVVV5HiveVVVV6HueVVV7ImpalaVV8SqoopVVVVV9FlumeVVVVV10OozieVVVVV11SolrVVV12IsilonV13KVindexerV14ClouderaManagerV15kafkaVV16StormVVV17ElasticsearchVV18DK-ESSQLV19DK-NLPV20DK-SPIDERV21

2、DKMV22DK-DMYSQLV23FalconV24KnoxV25PhoenixV26PigVV27RangerV28SliderV29TezV30DrillV31MapR-DBV32MapRStreamsV33MahoutVV34HttpFSV35SentryV36SaharaV37MyriadV38TranswarpInceptorV39TranswarpHyperbaseV40TranswarpStreamV41AmbariV二、组件简介：Hadoop简介：集群基础组件，分为存储(HDFS和计算(Mapreduce)两大部分。apache社区开源。技术来源于的GFS口 Mapreduc

3、e。Hbase简介：键-值非关系型数据库，apache社区开源。是的Bigtable 一个的实现Zookeeper简介：集群协调组件，已开源。是的Chubby一个的实现。4、Spark简介：内存计算框架，伯克利首先提出，现已开源。5、Hive简介：基于HDFS勺SQLX具,facebook开发，后开源。6、Hue简介：图形化集群工具，cloudera开发，后开源。7、Impala简介：基于HDFS勺SQLX具,cloudera开发，后开源。Sqoop简介：用于关系型数据库与 NOSQ数据库之间的数据导入导出。Cloudera开发，已开源。9、Flume简介：用于数据流的导入，Cloudera开

4、发，已开源。10、Oozie简介：工作流系统，用于提交、监控集群作业。Cloudera开发，已开源。11、Solr简介：基于Lucene的全文搜索服务器。已开源。12、Isilon简介：基于OneFs操作系统的存储产品，美国赛龙公司开发，后属于 EMC 一种集群存储方案13、K-Vstoreindexer简介：为HBase到solr的索引中间件，为 NGDAT於司开发，已开源。14、ClouderaManager简介：CDH1群安装管理工具。Cloudera开发。15、kafka简介：消息队列组件。已经开源。16、Storm简介：流数据处理组件。17、Elasticsearch简介：基于Luc

5、ene的全文搜索服务器。已开源。18、ESSQL简介：基于Elasticsearch 的SQL工具，大快开发19、DK-NLP简介：自然语言处理组件。大快开发，已开源。20、DK-SPIDER简介：分布式爬虫组件。大快开发。21、DKM简介：集群安装管理工具。大快开发。22、DK-DMYSQL简介：分布式MYSQ组件，大快改写23、ApacheFalcon简介：Falcon是一个面向Hadoop的、新的数据处理和管理平台，设计用于数据移动、数据管道协调、生命周期管理和数据 发现。24、ApacheKnox简介：Apacheknox是一个访问hadoop集群的restapi网关，它为所有rest

6、访问提供了一个简单的访问接口点。25、ApachePhoenix简介：Phoenix是HBase的SQL驱动。26、ApachePig简介：Pig定义了数据流语言PigLatin ,它是MapReduc编程抽象。27、ApacheRanger简介：ranger是一个hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的hadoop生态圈的所有数据权限。28、ApacheSlider简介：Slider是一个YARNS用，用于发布已有的分布式应用到YARNt,并对这些应用进行监控以及根据需要调整规模。Tez简介：Tez支持DAG乍业的计算框架，它

7、直接源于 MapReduce匡架，核心思想是将 Map和Reduce两个操作进一步拆分形成一个大的DAG乍业。30、ApacheDrill简介：ApacheDrill是一个低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSISQL兼容语法。31、MapR-DB简介：MapRff发32、MapRStreams简介：MapRff发33、Mahout简介：机器学习算法库，现已停止更新。34、HttpFS简介：Cloudera开发的基于http协议的HDFSt作组件。35、Sentry简介：ApacheSentry是Cloudera公司发布的一个 Hadoop开源组件

8、，截止目前还是 Apache的孵化项目，它提供了细粒度级、 基于角色的授权以及多租户的管理模式。36、Sahara简介：Sahara旨在为用户提供简单部署 Hadoop集群的能力，提供在 OpenStack上快速配置和部署 Hadoop集群的能力。37、Myriad 0.1.0简介：Myriad是一个Mesos框架用来动态扩展 YARNNft群，并支持运行 Hadoop应用，如Spark和非Hadoop应用，如Node.js、 Memcached RoR等。38、TranswarpInceptor简介：由ApacheSpark改写，TranswarpInceptor 交互式分析引擎提供高速 S

9、QL分析和R语言数据挖掘能力，可帮助企业建立高速可扩展的数据仓库和/或数据集市，结合多种报表工具提供交互式数据分析、即时报表和可视化能力。星环开发。39、TranswarpHyperbase简介：TranswarpHyperbase实时数据库是建立在 ApacheHBaseSS础之上，融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQl据库。星环开发。40、TranswarpStream简介：TranswarpStream实时流处理引擎提供了强大的流计算表达能力，支持复杂的应用逻辑，生产系统的消息通过实时消息队列进入计算集群，在集群内以流水线方式被依次处理，完成数据转换、特