SequoiaDB技术概述SACC.ppt

SequoiaDB - 企业级NoSQL 技术简介,2013/09/01,提纲,公司简介：企业级 NoSQL,核心软件产品：新型NOSQL分布式大数据库(未使用任何开源数据库引擎和代码)， 由前IBM DB2资深研发成员在北美完成原型设计和内核开发。 SequoiaDB V1.0发布于2013年4月，主要向政府、电信、金融、电力和互联网等拥有海量业务数据的行业提供大数据解决方案，主要客户已包括国内知名银行、电信及互联网企业。 云计算与大数据的系统集成，部署，以及提供顾问咨询服务 /index.html,3,公司里程碑：,2011年3月，在北美完成SequoiaDB原型设计及其内核开发 2012年8月，公司及广州研发中心正式成立 2013年4月，SequoiaDB 1.0版正式推出 2013年4月，国内某大网络设备生产商使用SequoiaDB开发内部云平台系统 2013年5月，国内某大银行使用SequoiaDB开发行业贷款系统 2013年5月，与IBM正式达成合作伙伴关系，捆绑IBM大数据解决方案，参与省级电信公司大数据方案评测 2013年7月，与当地政府合作，成为政府云平台数据库 2013年7月，与Cloudera正式达成合作伙伴关系 2013年9月，SequoiaDB推出1.5版本,2,核心技术团队,IBM DB2北美实验室全球最高顾问小组成员之一（全球仅15人） IBM DB2资深研发成员，负责编写DB2内核代码 IBM北美实验室大数据平台架构师，负责设计IBM下一代数据平台架构,提纲,数据库平台新的趋势：传统关系型数据库不能满足这一趋势,大数据,关系连接,人际关系,高并发,灵活数据类型,数据云,数据量成几何数级增加,仅支持垂直扩张，成本昂贵,单节点最大吞吐量为瓶颈,关系型数据模型僵化,单节点架构无法支持 海量数据的扩张,关系型数据库的局限性,海量数据瓶颈,数据模型僵化,性能瓶颈,高成本,性能瓶颈：关系型数据库仅支持垂直扩张,关系数据库模型复杂,提纲,企业级24x7技术支持 面向企业级定制功能,分布式存储与高并发 访问带来性能的飞跃,Schemaless带来开发的敏捷,分布式架构+非结构化存储= 水平扩张,SequoiaDB 巨杉分布式数据库特点,海量数据,敏捷开发,高性能,企业级 NoSql,数据库的发展,应用程序,从数据节点,主数据节点,从数据节点,App Server,App Server,App Server,协调节点,协调节点,协调节点,编目节点,协调节点：与应用程序直接通讯，向数据节点请求数据并转发给应用程序 编目节点：存储分布式数据库的元数据信息，一般来说推荐部署在至少三台逻辑节点中 数据节点：存储分布式数据库的用户数据。多台数据节点组成一个复制组，在复制组中数据冗余多份。一般一个复制组推荐至少包含三个数据节点,巨杉分布式数据库架构,编目节点,编目节点,应用程序,从数据节点,主数据节点,从数据节点,App Server,App Server,App Server,协调节点,协调节点,协调节点,编目节点,巨杉分布式数据库架构,编目节点,编目节点,从数据节点,主数据节点,从数据节点,从数据节点,主数据节点,从数据节点,通过动态增加复制组 数量达到水平扩张的目的,HA高可用性,复制组中的冗余机制提供了 1）高可用性，实现数据的永远在线 2）读写分离，保障数据在高负荷下的响应速度,主数据节点,从数据节点,从数据节点,应用程序,只读,只读,异步日志复制,HA高可用性,主数据节点,主数据节点,从数据节点,应用程序,自动选主,HA高可用性,主节点掉电后，从节点之间会自动选举出新的主节点,节点恢复,主数据节点,从数据节点,应用程序,读、写操作,只读,异步日志复制,HA高可用性,节点恢复同步,Schemaless=Agile,大幅减少开发周期和维护难度。,复杂的关系模型,直观的嵌套模型,提纲,企业级NoSQL与开源NoSQL的区别,SequoiaDB 定位为企业级NoSQL，目标客户群为传统大中型企业，及中小型互联网企业。 传统行业有许多企业级需求并没有在已有的文档型NoSQL产品中得到很好的满足，例如事物，SQL支持，和Hadoop系统的整合等等 我国人口众多，很多应用产生的海量数据是欧美其他国家所无法比拟的，这对于处理海量数据的NoSQL数据库会产生不少定制化的需求，对于大多基于北美的NoSQL产品这是无法兼顾的，开源数据库引擎的定制化改动不仅仅需要较强的研发实力，同时也只有原来引擎的研发团队才能完全驾驭。这是为什么SequoiaDB未使用任何开源数据库引擎和代码的原因之一。 /article_3.html,我们提供了许多独特的企业级功能,灵活的数据类型 简化的数据模型设计 易于开发人员使用 支持SQL与事务功能， 贴近企业级用户的需要,SequoiaDB = 企业级 NoSql,提纲,SequoiaDB = 大数据分析+在线应用的结合 hadoop (hbase) 只能做离线批处理分析,从数据节点,主数据节点,从数据节点,从数据节点,主数据节点,从数据节点,从数据节点,主数据节点,从数据节点,OLAP/BI,Hadoop + SequoiaDB = 实时分析+批处理分析,HDFS 分布式存储引擎,Hive 查询引擎,MapReduce 分布式计算框架,SequoiaDB,Pig 执行引擎,SequoiaDB