infobright 基于mysql的数据仓库综述

1、infobright: 基于mysql的数据仓库综述摘要：infbright是基于ysql的，但不装ysql亦可，因为它本身就自带了一个。ysql可以粗分为逻辑层和物理存储引擎，infbright主要实现的就是一个存储引擎，但因为它自身存储逻辑跟关系型数据库根本不同，所以，它不能像inndb那样直接作为插件挂接到ysql，它的逻辑层是ysql的逻辑层加上它自身的优化器。关键词：infbright；ysql整合；数据仓库；高数据压缩比一、技术概况infbright进展复杂的查询时，通过其专利的知识网格knledgegrid和综合优化技术，可以实现优异的性能表现。数据在导入infbright之后将

2、被高度压缩并以“数据块datapak的形式存储，于此同时，知识网格会自动创立一个非常紧凑的元数据，其中包含了统计数据和数据块之间的关系信息。因此当接收到查询时，infbright查询优化器可以通过元数据智能的决定哪些数据块与查询恳求相关，并将之解压。基于知识网格技术，infbright不需要专门对数据进展划分，也不需要建立索引，从而节省查询处理时间，提升响应速度。基于列的数据架构infbright施行、管理非常简便，不需要人工调试、数据分区和创立索引，有效的降低了管理本钱，此外infbright不需要运行在特殊的专用硬件上，同时它的数据压缩比很高10:140:1，比任何其他数据仓库系统对存储设

3、备的占用都校这些特性让infbright为企业it部门降低了预算上的负担。二、功能infbright企业版分析型高性能数据仓库在随时在线的今天，需要进展业务分析的数据规模惊人增长。商业决策需依托海量数据的实时访问，企业才能保证正确方向。infbright是一个基于独特的专利知识网格技术的列式数据库，可以降低您90%的管理工作量。使用infbright不需要创立特殊的数据库形式，无需创立和维护索引，无需对数据进展分区，甚至不需要手动调整，知识网格就会在原始数据导入时，自动创立和维护数据，并用以优化每一个查询。在一台p效劳器上，infbright企业版在对50tb甚至更多数据量进展多并发复杂查询时

4、，可以显示出令人惊叹的速度，相比于ysql，其查询速度提升了数倍甚至数十倍。在同类产品中，infbright的单机性能处于领先地位。三、高数据压缩比1.行业领先的数据压缩技术假如您的系统数据量每天都在快速增长，受限于磁盘的容量与传输速率，您进展备份的本钱与时间将快速增加，直至您无法承受。幸运的是，软件技术的开展速度超越了磁盘数据传输技术的开展速度，infbright可以将数据以10:1至40:1的比率压缩，通过知识网格与列式架构的结合，极大的提升了查询响应速度，并降低了存储本钱。通过列式架构和超压缩算法，10tb的原始数据在infbright中将被压缩至1tb，对某些类型的数据，最高可以到达4

5、0:1的压缩率。并且infbright压缩的速度非常快，目前已经可以以每小时1tb甚至更快的速度向infbright导入数据，从而让您的数据仓库系统接近“实时工作的状态。假如您的企业正苦于应对剧增的数据规模、增长的客户需求以及较高的用户期望，同时优化it投入，infbright先进的数据库技术就可能帮助到您。让您的it团队能专注于快速完成业务交付而非根底架构，才能创造更大商业价值。2.ysql整合1与ysql整合infbright是基于ysql开发的分析型数据库，ysql原有用户可以通过infbright得到理想的数据仓库解决方案，它使用ysql用户熟悉的界面，对基于ysql开发的应用不需要进

6、展改动，就可以无缝晋级到infbright。与ysql相兼容的bi工具及etl工具，infbright都能完美支持。三、技术特性sql支持全面支持ansisql-92标准和sql-99扩展标准中vie和存储过程的部分1.灵敏的shea支持。支持所有shea设计；2.行业标准接口。支持标准数据库接口，包括db、jdb和本地连接；3.api接口支持支持的api接口包括、+、#、brlanddelphi(viadbexpress)、eiffeel、salltalk、java(ithanativejavadriveripleentatin),lisp,perl,php,pythn,ruby,realb

7、asi,freebasi,andtl；4.dl支持。支持dl语句insert、update、delete；5.并发用户数。支持至多500个数据库用户，32个并发查询视pu核心数与内存大小而定；6.操作系统支持。indsserver2022/2021(64-bit,32-bit),slaris10(64-bit),redhatenterpriselinux5(64-bit),nvellsuselinuxenterprise10,redhatenterpriselinux5advanedserver(64-bit),debianlenny(64-bit),rents5.2(64-bit)7.处理器

8、支持。最少4g内存的intel和adx86架构效劳器建议16g内存或更多8.数据导入方式支持。infbright企业版支持两种数据导入方式。通过文本方式向ysql中导入，或通过文本和二进制文件的方式向infbright中导入最高280gb/小时。2.在线分析无论您的公司是在线广告网络，零售商， 广告效劳提供商或是任何其他的制造业，分析的重要性都与与日俱增，理解您网站的性能、您的客户的访问行为、评估广告和营销活动的效果，并分析成功与失败之间的差异，这可以让您企业与竞争对手拉开差距，获得最终的成功。而这需要您对来自网页和离线方式的大量数据进展有效的利用，infbright让您可以用低本钱的方式轻松

9、获得这种才能，相比与其他类似的方案，infbright的本钱低廉，管理简便，降低了您获得竞争优势的门槛。3.数据集市dataart数据集市通常定义为包含特定应用分析的数据仓库,其分析应用与用户的业务紧耦合，具有较强的专业特性，因此通常针对集团内部某个特定的部门建立。在过去几年里，数据集市系统的施行数量快速增长，这种增长是由商业用户快速查询的需求驱动的。过去数据集市工程由集团的it部门统一施行，而如今，越来越多的集团内部用户部门自行施行数据集市工程，并由内部it经理担任施行负责人，以确保数据集市的功能与需求吻合。四、infbright几大优点：1.高压缩比率，平均压缩比可达10：1，甚至可以到达

10、40:1，我用infbright把3.1g的数据存成缺乏300。2.列存储，即使数据量非常宏大，查询速度也很快。用于数据仓库，处理海量数据没一套可不行。3.不需要建索引，就防止了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放，每块有知识网格节点记录块内的统计信息，代替索引，加速搜索。4.单一台效劳器可以高效地读写30t数据。具有可扩展性，这里是指对于同样的查询，当数据量是10t时，它消耗的时间不应该比1t数据量时慢太多，根本是一个数量级内。与ysql比照：1.infbright适用于数据仓库场合，即非事务、非实时、非多并发；分析为主；存放既定的事实根本不会再变，例如日志，或汇总的大量

11、的数据。所以它并不合适于应对来自网站用户的恳求。实际上它取一条记录比ysql要慢很多，但它取100条记录会比ysql快。2.ysql的总数据文件占用空间通常会比实际数据多，因为它还有索引。infbright的压缩才能很强大，按列按不同类型的数据来压缩。3.效劳形式与接口跟ysql一致，可以用类似ysql的方式启用infbright效劳，然后原来连接ysql的应用程序都可以以类似的方式连接与查询infbright。这对纯熟ysql者来说是个福音，学习本钱根本为0。infbright有两个发布版：开源的ie及闭源商用的iee。ie提供了足够用的功能，但不能insert，delete，update，只能laddatainfile。iee除提供更充分的功能外，据说查询速度也要更快。五、缺