大数据与NOSql概述

信息技术部 大数据与NOSql概述 2016年12月18日 主要内容 大数据概述大数据的定义大数据的4V特征大数据的系统要求大数据的典型架构大数据的应用大数据的发展 主要内容 Nosql概述什么是NoSQLNoSQL的优势和不足NoSQL的CAP理论实现NoSQL数据模型及分类 大数据的定义 大数据 bigdata 指无法在一定时间范围内用常规软件工具进行捕捉 管理和处理的数据集合 是需要新处理模式才能具有更强的决策力 洞察发现力和流程优化能力的海量 高增长率和多样化的信息资产 在维克托 迈尔 舍恩伯格及肯尼斯 库克耶编写的 大数据时代 2 中大数据指不用随机分析法 抽样调查 这样捷径 而采用所有数据进行分析处理 大数据的4V特征 Volume 海量 Variety 多样 Velocity 实时 Value 价值 海量 数据量巨大 对TB PB数据级的处理 已经成为基本配置 多样 处理多样性的数据类型 结构化数据和非结构化数据 能处理Web数据 能处理语音数据甚至是图像 视频数据 实时 在客户每次浏览页面 每次下订单的过程中都存在 都会需要对用户进行实时的推荐 决策已经变得实时价值 价值密度低 商业价值高 一条数小时的监控视频 可能有用的数据仅有一两秒 能从海量数据中发掘出这些数据 将成为企业竞争力的重要来源 大数据的系统需求 高新能 Highperformance 高并发读写实时动态获取和更新数据海量存储 HugeStorage 海量数据的高效率存储和访问类似SNS网站高可扩展性和高可用性 HighScalability HighAvailability 需要拥有快速横向扩展能力能提供7 24小时不间断服务 大数据典型架构 大数据典型架构 大数据典型架构 数据计算用时对比离线计算 流式计算 实时计算 大数据的应用 大数据与互联网大交易数据 来自电商的数据 包括B2B B2C C2C 团购等大交互数据 来自社交网络的数据 SNS 微博等两类数据有效融合将是大势所趋 更能增强企业的商业洞察力 大数据的应用 大数据与金融 银行 大数据的应用 大数据与金融 保险 大数据的应用 大数据与金融 证券股价预测客户关系管理投资景气指数分析 大数据的发展 NOSql的概念 什么是NoSQL NoSQL是NotOnlySQL的缩写 而不是NotSQL 它不一定遵循传统数据库的一些基本要求 比如SQL标准 ACID属性 表结构等等 相比传统数据库 叫它分布式数据管理系统更贴切 数据存储被简化更灵活 重点被放在了分布式数据管理上 NoSQL数据库主要应用于web2 0的大规模系统 具有模式灵活 最终一致性 面向海量数据 分布式 开源 水平可扩展 配置简单 非关系型等特点 NOSql的优势 易扩展NoSQL数据库种类繁多 共同的特点都是去掉系型特性 数据之间无关系 容易横向扩展 甚至可以NoSQL之间的整合 数据模型灵活无需事先为要存储的数据建立字段随时可以存储自定义的数据格式高可用NoSQL在不太影响性能的情况 就可以方便的实现高可用的架构 比如Cassandra HBase模型 通过复制模型也能实现高可用 大数据量 高性能NoSQL数据库都具有非常高的读写性能 尤其在大数据量下 同样表现优秀 这得益于它的无关系性 数据结构简单 NOSql的CAP原理实现 分布式数据系统的CAP原理的三要素 一致性 Consistency 可用性 Availability 分区容忍性 Partitiontolerance NOSql的CAP原理实现 在分布式系统中 三个要素最多只能同时实现两点考虑CP 主要是一些Key Value数据库 典型代表为Google的BigTable 将各列数据进行排序存储 数据值按范围分布在多台机器 数据更新操作有严格的一致性保证 考虑AP 主要是一些面向文档的适用于分布式系统的数据库 如Amazon的Dynamo Dynamo将数据按key进行Hash存储 其数据分片模型有比较强的容灾性 因此它实现的是相对松散的弱一致性 最终一致性 NOSql数据模型及分类 NoSQL的两个核心理论基础 Google的BigTableBigTable将各列数据进行排序存储 数据值按范围分布在多台机器 数据更新操作有严格的一致性保证 Amazon的DynamoDynamo使用的是另外一种分布式模型 模型更简单 将数据按key进行hash存储 其数据分片模型有比较强的容灾性 实现的是相对松散的弱一致性 最终一致性 NOSql数据模型及分类 NOSql数据模型及分类 NOSql使用情况 NOSql数据模型及分类 DB Engines发布了2016年12月份的数据库排名 NOSql数据模型及分类 综合来看 NoSQL数据库正在逐渐地成为数据