实时国内大数据厂商.docx

实时大数据厂商概述大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值密度低(Veracity)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。目前国内大数据发展很快，但绝大部分都是基于开源生态圈展开的应用开发，很少有自主的独立技术，下面介绍下国内拥有独立自主技术的大数据厂商。北京永洪科技：Yonghong Z-SuiteYonghong在大数据、分布式计算、数据分析等领域具备核心竞争力、自主创新并拥有多项发明专利。Yonghong研发团队推出的商业智能平台Z-Suite，是由一系列基于MPP架构的商业智能产品组成。Z-Suite是探索式的商业智能产品，她具备丰富的数据分析能力。当用户访问数据应用的时候，如果看到商业活动的异常或者变化时，除了数据展现，我们更需要的是能够通过即席的、深入的分析以获取现象背后的深层次原因。基于Z-Suite，用户可以不断地与数据对话（Talk），深入分析信息(Analyze)，直到得到满意的答案。Z-Suite具有高性能的实时大数据分析能力，她完全摒弃了向上升级(Scale-Up)，全面支持横向扩展(Scale-Out)。Z-Suite主要通过以下核心技术来支撑PB级的大数据：跨粒度计算(In-Database Computing)Z-Suite支持各种常见的汇总，还支持几乎全部的专业统计函数。得益于跨粒度计算技术，Z-Suite数据分析引擎将找寻出最优化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，我们称之为库内计算(In-Database)。这一技术大大减少了数据移动，降低了通讯负担，保证了高性能数据分析。并行计算(MPP Computing)Z-Suite是基于MPP架构的商业智能平台，她能够把计算分布到多个计算节点，再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源，不管是服务器还是普通的PC，她对网络条件也没有严苛的要求。作为横向扩展的实时大数据平台，Z-Suite能够充分发挥各个节点的计算能力，轻松实现针对TB/PB级数据分析的秒级响应。列存储 (Column-Based)Z-Suite是列存储的。基于列存储的数据集市，不读取无关数据，能降低读写开销，同时提高I/O 的效率，从而大大提高查询性能。另外，列存储能够更好地压缩数据，一般压缩比在5 -10倍之间，这样一来，数据占有空间降低到传统存储的1/5到1/10 。良好的数据压缩技术，节省了存储设备和内存的开销，却大大了提升计算性能。内存计算得益于列存储技术和并行计算技术，Z-Suite能够大大压缩数据，并同时利用多个节点的计算能力和内存容量。一般地，内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算，CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速，是实现大数据分析的关键应用技术。GBaseGBase 是南大通用数据技术有限公司推出的自主品牌的数据库产品， GBase系列产品包括：分析型数据库GBase 8a、分布式并行数据库集群GBase 8a Cluster、高速内存数据库GBase 8m/AltiBase、可视化商业智能GBaseBI、大型目录服务体系GBase 8d、硬加密安全数据库GBase 8s、数据抽取转换加载管理系统GBase ETL。 GBase内部使用的是Mysql的分布式数据仓库Infobright，所以也介绍下Infobright。Infobright是开源的MySQL数据仓库解决方案，引入了列存储方案，高强度的数据压缩，优化的统计计算(类似sum/avg/group by之类)，infobright 是基于mysql的，但不装mysql亦可，因为它本身就自带了一个。mysql可以粗分为逻辑层和物理存储引擎，infobright主要实现的就是一个存储引擎，但因为它自身存储逻辑跟关系型数据库根本不同，所以，它不能像InnoDB那样直接作为插件挂接到mysql，它的逻辑层是mysql的逻辑 层加上它自身的优化器。Infobright优点：1、高压缩比率，平均压缩比可达10：1，甚至可以达到40:1，我用infobright把3.1G的数据存成不足300M。2、列存储，即使数据量十分巨大，查询速度也很快。用于数据仓库，处理海量数据没一套可不行。3、不需要建索引，就避免了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放，每块有知识网格