大数据技术交流

1、YOUR SITE HERE大数据技术交流2013.02 YOUR SITE HERE目录1.大数据技术介绍2.Hadoop(HDFS,MapReduce)介绍3.Hadoop的最新发展4.流计算技术5.内存数据库6.列式数据库7.各技术适用的场合8.讨论YOUR SITE HERE什么是大数据？大数据 指的是海量无法通过传统方式管理的数据。Big Data作为一个专有名词成为热点，主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互要处理的数据量实在是太大、增长太快了，而业务需

2、求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应付。 YOUR SITE HERE大数据的4V特性体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效YOUR S

3、ITE HERE大数据技术分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案,内存数据库等。存储处理应用Map Reduce，流计算HIVE,pig,R，mahout等查询统计，数据挖掘技术YOUR SITE HERE大数据的存储采用了一批新技术，主要包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。YOUR SITE HERE分布式数据库与传统数据库对比YOUR SITE HERE大规模并行处理MPP (Massively Parallel Processing)YOUR SITE HEREYOUR SITE HERE硬

4、件一些领先的存储厂商都在建立专门针对Hadoop和大数据分析的存储设备。这些供应商包括EMC，目前提 供Hadoop解决方案，例如Greenplum HD Data Computing Appliance。甲骨文正在考虑进一步深化Exadata系列设备，提供计算能力以及高速存储。最后一个存储选择是云形式的存储，Cloudera、微软、Amazon和很多其他供应商都在提供基于云的大数据解决方案，这些解决方案能够提供处理能力、存储和支持。横向可扩展存储 开放性 YOUR SITE HERE所需的硬件和成本那么，我们又需要多少的硬件呢？ 估计Hadoop所需的硬件有点不一样，这取决于你是在问哪家厂商

5、。Cloudera的清单详细地列出了Hadoop的典型从属节点应该有怎样的硬件配置：中档处理器4GB至32 GB内存每个节点连接至千兆以太网，并配备一只万兆以太网架顶式交换机专用的交换基础设施，以避免Hadoop拥塞网络每个机器4至12个驱动器，非RAID配置方式YOUR SITE HEREHadoop方案(例：intel)YOUR SITE HEREYOUR SITE HEREYOUR SITE HEREHP Vertica 的数据仓库系统解决方案基于列存储和MPP等先进技术平均性能提高50 x-1000 x倍高可扩展性(TBs PBs)节省高至90%的存储空间快速集成ETL/BI解决方案高

6、性能运行于电信级硬件快速和灵活部署YOUR SITE HERECloudera CDH4YOUR SITE HEREHadoop一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程

7、序。YOUR SITE HEREHadoop相关子项目子项目作用ZooKeeper为分布式提供高一致性服务Avro序列化，提高分布式传输效率HBase分布式数据库Hive提供类似oracle的数据添加，查询，修改，删除方法。Mahout提供一些可扩展的机器学习领域经典算法的实现Pig一种用于探索大型数据集的脚本语言YOUR SITE HERE目 录1.大数据技术介绍2.Hadoop(HDFS,MapReduce)介绍3.Hadoop的最新发展4.流计算技术5.内存数据库6.列式数据库7.各技术适用的场合8.讨论YOUR SITE HERE Hadoop简介Hadoop 一个分布式系统基础架构，

8、由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储 。 Hadoop是项目的总称，主要是由分布式存储（HDFS）、分布式计算（MapReduce）组成 。 Hadoop程序目前只能运行在Linux系统上，window上运行需要安装其他插件，安装过程见hadoop安装说明.docx 。YOUR SITE HEREHadoop优点可扩展：不论是存储的可扩展还是计算的可扩展都是Hadoop的设计根本。经济：框架可以运行在任何普通的PC上。可靠：分布式文件系统的备份恢复机制以及MapReduce的任务监控保证了分布式处理的可靠性。（元数据

9、磁盘错误，心跳测试，副本数，快照（目前还没实现）高效：分布式文件系统的高效数据交互实现以及MapReduce结合Local Data处理的模式，为高效处理海量的信息作了基础准备。YOUR SITE HEREHadoop生态系统YOUR SITE HEREHDFS适应条件超大文件 指的是几百MB，几百GB，几百TB，甚至几百PB流式数据访问 HDFS建立的思想是：一次写入、多次读取模式是最高 效的。商用硬件 hadoop不需要运行在昂贵并且高可靠的硬件上。HDFS：为以流式数据访问模式存储超大文件而设计的文件系统。YOUR SITE HEREHDFS不适应条件低延迟数据访问 HDFS是为了达到高

10、数据吞吐量而优化的，这是以延迟为代价的，对于低延迟访问，可以用Hbase（hadoop的子项目）。大量的小文件多用户写入，任意修改YOUR SITE HEREHdfs集群框架图YOUR SITE HERENameNode记录着每个文件的元数据。每个文件在那个块中，每个数据节点包含哪些块。（不储存原始文件）DataNode是文件的工作者，它们存储文件并提供定位块的服务，并且定时向名称节点发送它们的存储块的列表。 （储存原始文件）重要参数 dfs.replication.min参数。最小为1，表示每个块在HDFS中的副本个数。Hdfs集群框架YOUR SITE HEREHdfs集群框架文件写入：C

11、lient向NameNode发起文件写入的请求。 NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。 Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。文件读取： Client向NameNode发起文件读取的请求。 NameNode返回文件存储的DataNode的信息。 Client读取文件信息。YOUR SITE HEREHdfs文件写入图YOUR SITE HEREHdfs文件读取图YOUR SITE HEREHDFS的几个设计特点Block的放置：默认不配置。一个Block会有

12、三份备份，一份放在NameNode指定的DataNode，另一份放在与指定DataNode非同一Rack上的DataNode，最后一份放在与指定DataNode同一Rack上的DataNode上。备份无非就是为了数据安全，考虑同一Rack的失败情况以及不同Rack之间数据拷贝性能问题就采用这种配置方式。心跳检测DataNode的健康状况，如果发现问题就采取数据备份的方式来保证数据的安全性。数据复制（场景为DataNode失败、需要平衡DataNode的存储利用率和需要平衡DataNode数据交互压力等情况）：这里先说一下，使用HDFS的balancer命令，可以配置一个Threshold来平衡

13、每一个DataNode磁盘利用率。例如设置了Threshold为10%，那么执行balancer命令的时候，首先统计所有DataNode的磁盘利用率的均值，然后判断如果某一个DataNode的磁盘利用率超过这个均值Threshold以上，那么将会把这个DataNode的block转移到磁盘利用率低的DataNode，这对于新节点的加入来说十分有用。YOUR SITE HEREI/O操作Writable接口序列化:指的是将结构化对象转换为字节流以便网络进行传输 或者写入存储的过程。 反序列化:指的是将字节流转为一系列结构化对象的过程。 （java定义的序列化和反序列化工具不够紧凑，高效）在had

14、oop中，常规JAVA数据类型是不能表示Hdfs的数据类型的， 例如hdfs中的字符串不是string类表示，而是Text类，这些 数据类型都必须实现一个writable接口 。Writable是Hadoop的核心(MapReduce程序使用他来序列化 键/值对)： void write(DataOutput out) throws IOException; void readFields(DataInput in) throws IOException; 分别实现对数据的序列化和反序列化。YOUR SITE HEREWritable接口的子类 YOUR SITE HEREWritable接口

15、的子类 1.对Java中的int型进行封装那么就是hadoop中的IntWritable类在写程序时可以把IntWritable可以看着是int 类型，它实现了WritableComparable接口。 WritableComparable又是 Writable、 parable接口的子接口。2.Writable类对所有的Java基本类型进行封装：如：boolean - BooleanWritable ; Byte - ByteWritable3.我们可以自已实现Writable接口，编写更复杂的结构的类。 核心：hadoop有自己一套的I/O机制。I/O类都必须实现Writable接口。YO

16、UR SITE HEREMap ReduceMap/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达。YOUR SITE HEREMapReduce程序1：run jobJobClient客户端JVMJobTrackerTaskTracke

17、rChildMapTask或者ReduceTaskJobtracker节点子JVMTasktracker 节点HDFS2：get new job ID3:copy Jobrescouce4:submit job5:initialize job6:retrieve Input splits7:returns task8:retrieve jobresources10:run9:launch客户端： 提交MapReduce作业， 即一个job。jobTracker： 协调作业的运行。taskTracker：作业划分后的任务 （一个job对应多个task, 一个task对应一个 或者多个MapRed

18、uce线程）。MapReduce数据流MapReduce的工作原理YOUR SITE HEREMapReduce数据流YOUR SITE HEREMapReduce数据流1 根据输入数据的大小和参数的设置把数据分成splits, 每个split对于一个map线程。2 Split中的数据作为Map的输入， Map的输出一定在Map端。3 Map的输出到Reduce的输入的过程(shuffle过程)： 第一阶段：在map端完成 内存-排序-写入磁盘-复制 分区-排序-分区合并-合并后分区-复制 第二阶段：在reduce端完成 映射到reduce端分区-合并-排序4 Reduce的输入到Reduce

19、的输出 最后排好序的key/value作为Reduce的输入，输出不一定 是在reduce端。YOUR SITE HEREMapReduce数据流MapReduce是 Hadoop程序的体现。框架极其简单：首先是对MapReduce程序运行前的参数配置，然后编写Map类(实现Map方法)，最后是Reduce类(实现Reduce方法)。MapReduce程序的每个细节都与设置的参数有很大的关系，参数设置的好，程序的效率肯定得到提高。Map方法：Map(k1,v1)-list(k2,v2) ，并行应用于每一个输入的数据集，每一次调用都会产生一个(k2,v2)的队列 。Reduce方法：Reduce

20、(k2,list(v2)-list(k3,v3)。收集map端输出队列list(k2,v2)中有相同key的数据对，把它们聚集在一起，输出时形成目的数据list(k3,v3)。YOUR SITE HEREHadoop应用案例谁在用hadoopYahooFacebookAmazonEbayHuluIBMLinkedInLast.fmAlibabaBaidu中国移动研究院YOUR SITE HERE目录1.大数据技术介绍2.Hadoop(HDFS,MapReduce)介绍3.Hadoop的最新发展4.流计算技术5.内存数据库6.列式数据库7.各技术适用的场合8.讨论YOUR SITE HEREHa

21、doop已经过时了吗？ Google后Hadoop时代的新“三驾马车”Caffeine、Pregel、Dremel 在2010年，Google搜索引擎发生了重大变革。Google将其搜索迁移到新的软件平台，他们称之为“Caffeine”（bigtable）。Pregel主要绘制大量网上信息之间关系的“图形数据库” Dremel可以在极快的速度处理网络规模的海量数据。据Google提交的文件显示你可以在几秒的时间处理PB级的数据查询。 YOUR SITE HEREDremel做到了“不可能完成的任务”，Dremel设法将海量的数据分析于对数据的深入挖掘进行有机的结合。Dremel所处理的数据规模

22、的速度实在令人印象深刻，你可以舒适的探索数据。在Dremel出现之前还没有类似的系统可以做的像Dremel这样出色。 DremelYOUR SITE HEREDrill项目Cloudera 公司的两个新项目：Impala 和 Trevni，将有助在 2013 年实现 Hadoop 实时查询。 Impala 是开源版的 Dremel （Dremel 是 Google 大数据查询解决方案），预计明年第一季度发布 Impala 的首个 beta 版。Impala 允许你在 Hadoop 的 HDFS、 Hbase 和 Hive 之上运行实时查询。不必迁移。 YOUR SITE HERE更多Hadoo

23、p子项目YOUR SITE HEREHBaseHBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式，这样方面读写你的大数据内容。HBase是介于MapEntry(key&value)和DBRow之间的一种数据存储方式。就点有点类似于现在流行的Memcache，

24、但不仅仅是简单的一个key对应一个value，你很可能需要存储很可能需要存储多个属性的数据结构，但没有传统数据库表中那么多的关联关系，这就是所谓的松散数据。YOUR SITE HEREHiveHive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mappe

25、r 和 reducer 无法完成的复杂的分析工作。YOUR SITE HERE YOUR SITE HEREHive 和数据库的比较查询语言HQLSQL数据存储位置HDFSRaw Device 或者 Local FS数据格式用户定义系统决定数据更新支持不支持索引无有执行MapRedcueExecutor执行延迟高低可扩展性高低数据规模大小YOUR SITE HEREMahout介绍Apache Mahout 是 ApacheSoftware Foundation (ASF) 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序，并且，在

26、 Mahout 的最近版本中还加入了对Apache Hadoop 的支持，使这些算法可以更高效的运行在云计算环境中YOUR SITE HEREYOUR SITE HEREYOUR SITE HEREpigpig是在HDFS和MapReduce之上的数据流处理语言，它将数据流处理翻译成多个map和reduce函数，提供更高层次的抽象将程序员从具体的编程中解放出来。Pig不适合所有的数据处理任务，和MapReduce一样，它是为数据批处理而设计的。如果只想查询大数据集中的一小部分数据，pig的表现不会很好，因为它要扫描整个数据集或绝大部分。YOUR SITE HEREpigPig包括两部分：用于描

27、述数据流的语言，称为Pig Latin；和用于运行Pig Latin程序的执行环境。Pig Latin程序有一系列的operation和transformation组成。每个操作或变换对输入进行数据处理，然后产生输出结果。这些操作整体上描述了一个数据流。Pig内部，这些变换操作被转换成一系列的MapReduce作业。YOUR SITE HEREPig和数据库的比较：1）Pig是数据流编程语言，而SQL是一种描述型编程语言。Pig是相对于输入的一步步操作，其中每一步都是对数据的一个简单的变换； 而SQL语句是一个约束的集合，这些约束结合在一起定义了输出。Pig更像RDBMS中的查询规划器。2）R

28、DBMS把数据存储在严格定义了模式的表内，但pig对数据的要求更宽松，可以在运行时定义模式，而且是可选的。3）pig对复杂、嵌套数据结构的支持更强；4）Pig不支持事务和索引，也不支持随机读和几十毫秒级别的查询，它是针对数据批量处理的。5）Hive是介于Pig和RDBMS之间的系统。Hive以HDFS为存储，但是查询语言是基于SQL的，而且Hive要求所有数据必须存储在表中， 表必须有模式，而模式由Hive管理。但Hive允许为预先存在HDFS中的数据关联一个模式，因此数据加载步骤是可选的。YOUR SITE HEREHadoop适用场景适合Hadoop的应用场景： 【1】日志分析 【2】排序

29、 【3】搜索引擎，搜索关键字进行内容分类，创建索引 【4】广告计算，广告优化、分析，点击流分析，链接分析 【5】大规模图像转换 【6】搜索引擎，创建索引 【7】数据分析，数据统计，过滤，查询 【8】机器学习，数据挖掘， 适合于海量数据文件的批处理任务。 不适合实时性要求高的场景，不适合用户操作，修改数据频繁的场景。YOUR SITE HERE目录1.大数据技术介绍2.Hadoop(HDFS,MapReduce)介绍3.Hadoop的最新发展4.流计算技术5.内存数据库6.列式数据库7.各技术适用的场合8.讨论YOUR SITE HEREMapReduce Hold不住？ 对于实时性要求很高的应

30、用，尽管MapReduce作了实时性改进，但仍很难稳定地满足应用需求。因为Hadoop为批处理作了高度优化，MapReduce系统典型地通过调度批量任务来操作静态数据;而流式计算的典型范式之一是不确定数据速率的事件流流入系统，系统处理能力必须与事件流量匹配，或者通过近似算法等方法优雅降级，通常称为负载分流(load-shedding)。当然，除了负载分流，流式计算的容错处理等机制也和批处理计算不尽相同。 YOUR SITE HERE流计算（Stream Computing） Hadoop（大数据分析领域无可争辩的王者）专注于批处理。这种模型对许多情形（比如为网页建立索引）已经足够，但还存在其他

31、一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助 Nathan Marz 推出的 Storm（现在在 Twitter 中称为 BackType）。Storm 不处理静态数据，但它处理预计会连续的流数据。考虑到 Twitter 用户每天生成 1.4 亿条推文 (tweet)，那么就很容易看到此技术的巨大用途。 YOUR SITE HERE YOUR SITE HEREStorm 与HadoopStorm 与其他大数据解决方案的不同之处在于它的处理方式:Hadoop 在本质上是一个批处理系统。数据被引入 Hadoop 文件系统 (HDFS) 并分发到各个节点进行处理。

32、当处理完成时，结果数据返回到 HDFS 供始发者使用。Storm 支持创建拓扑结构来转换没有终点的数据流。不同于 Hadoop 作业，这些转换从不停止，它们会持续处理到达的数据。YOUR SITE HEREStorm 模型Storm 实现了一种数据流模型，其中数据持续地流经一个转换实体网络。一个数据流的抽象称为一个流，这是一个无限的元组序列。元组就像一种使用一些附加的序列化代码来表示标准数据类型（比如整数、浮点和字节数组）或用户定义类型的结构。每个流由一个惟一 ID 定义，这个 ID 可用于构建数据源和接收器 (sink) 的拓扑结构。流起源于喷嘴，喷嘴将数据从外部来源流入 Storm 拓扑结

33、构中。YOUR SITE HEREStorm 实现了一种数据流模型，其中数据持续地流经一个转换实体网络一个数据流的抽象称为一个流，这是一个无限的元组序列。元组就像一种使用一些附加的序列化代码来表示标准数据类型（比如整数、浮点和字节数组）或用户定义类型的结构。流起源于喷嘴，喷嘴将数据从外部来源流入 Storm 拓扑结构中。接收器（或提供转换的实体）称为螺栓 YOUR SITE HERE使用 Storm 为词频轻松地实现 MapReduce 功能。如图中所示，喷嘴生成文本数据流，螺栓实现 Map 功能（令牌化一个流的各个单词）。来自 “map” 螺栓的流然后流入一个实现 Reduce 功能的螺栓中

34、（以将单词聚合到总数中）。YOUR SITE HERE流计算产品：1.Yahoo的S4： S4是一个通用的、分布式的、可扩展的、分区容错的、可插拔的流式系统，Yahoo！开发S4系统，主要是为了解决：搜索广告的展现、处理用户的点击反馈。 2. Twitter的storm Twitter的storm：Storm是一个分布式的、容错的实时计算系统Storm用途：可用于处理消息和更新数据库（流处理），在数据流上进行持续查询，并以流的形式返回结果到客户端（持续计算），并行化一个类似实时查询的热点查询（分布式的RPC）。3.streamBaseYOUR SITE HEREItemsProjectsYah

35、oo! s4Twitter Storm协议Apache license 2.0Eclipse Public License 1.0开发语言JavaClojure,Java,Clojure编写了核心代码结构去中心化的对等结构有中心节点nimbus，但非关键通信可插拔的通讯层，目前是基于UDP的实现基于facebook开源的thrift框架事件/Stream序列，用户可自定义事件类提供Tuple类，用户不可自定义事件类，但是可以命名field和注册序列化器处理单元Processing Elements，内置PE处理Bolt，没有内置任务，提供IBasicBolt处理count,join和aggre

36、gate等常见任务自动ack第三方交互提供API,Client Adapter/Driver，第三方客户端输入或者输出事件定义Spout用于产生Stream，没有标准输出API持久化提供Persist API规范，可根据频率或者次数做持久化无特定API，用户可自行选择处理可靠处理无，可能会丢失事件提供对事件处理的可靠保证（可选）多语言支持暂时只支持Java多语言支持良好，本身支持Java,Clojure，其他非JVM语言通过thrift和进程间通讯Failover部分支持，数据无法failover部分支持，数据同样无法failoverLoad Balance不支持不支持并行处理取决于节点数目，

37、不可调节可配置worker和task数目，storm会尽量将worker和task均匀分布动态增删节点不支持支持动态部署不支持支持web管理不支持支持代码成熟度半成品成熟活跃度低活跃编程编程 + XML配置纯编程YOUR SITE HERE 目录1.大数据技术介绍2.Hadoop(HDFS,MapReduce)介绍3.Hadoop的最新发展4.流计算技术5.内存数据库6.列式数据库7.各技术适用的场合8.讨论YOUR SITE HERE内存数据库：大数据时代数据管理新宠 内存数据库，顾名思义就是将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中

38、相比从磁盘上访问能够极大地提高应用的性能。同时，内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要快很多，一般都在10倍以上。内存数据库的最大特点是其“主拷贝”或“工作版本”常驻内存，即活动事务只与实时内存数据库的内存拷贝打交道。 YOUR SITE HERE主流内存数据库产品1Oracle TimesTenOracle TimesTen是Oracle从TimesTen公司收购的一个内存优化的关系数据库，它为应用程序提供了实时企业和行业(例如电信、资本市场和国防

39、)所需的即时响应性和非常高的吞吐量。Oracle TimesTen可作为高速缓存或嵌入式数据库被部署在应用程序层中，它利用标准的 SQL 接口对完全位于物理内存中的数据存储区进行操作。IBM SolidDBIBM SolidDB是一款数据管理平台，该平台将基于内存和磁盘的全事务处理数据库引擎、载体级高，可用性及强大的数据复制功能紧密地融为一体。SolidDB集基于内存和磁盘的多线程数据库引擎于一身，以提高事务处理速度并在同一数据库内最有效地利用系统资源。SolidDB管理平台的设计可以无缝融合到需要高速、灵活以及需要不间断访问的数据管理技术解决方案中。用户既可以把表建在内存内，也可以象普通数据

40、库一样建在磁盘上，使用非常灵活，而且具备完善的数据保护机制。YOUR SITE HERE主流内存数据库产品2eXtremeDBeXtremeDB实时数据库是McObject公司的一款特别为实时与嵌入式系统数据管理而设计的数据库，只有 50K到130K的开销，速度达到微秒级。eXtremeDB完全驻留在主内存中，不使用文件系统(包括内存盘)。eXtremeDB采用了新的磁盘融合技术，将内存拓展到磁盘，将磁盘当做虚拟内存来用，实时性能保持微秒级的同时，数据管理量在32BIT下能达到20G。AltibaseAltibase是一个在事务优先的环境中提供高性能和高可用性的软件解决方案。它提供高性能、容错

41、能力和事务管理能力，特别适合通信、网上银行、证券交易、实时应用和嵌入式系统领域。Altibase能够最大限度地发挥数据库服务系统的潜力，增强数据服务器的处理能力。Altibase支持客户端/服务器架构或嵌入式架构。其中客户端/服务器架构非常适合一般的应用。而嵌入式架构将应用程序嵌入到数据库服务器，适合于有高时效要求的实时系统。YOUR SITE HERE主流内存数据库产品3SQLiteSQLite是一款轻型的数据库，它占用资源非常的低，同时能够跟很多程序语言相结合，但是支持的SQL语句不会逊色于其他开源数据库。它的设计目标是嵌入式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，比如Tcl、PHP、Java 等，还有ODBC接口，同样比起Mysql、PostgreSQL这两款开源世界著名的数据库管理系统来讲，它