洪烨数据库培训--数据库物理设计20131230.pdf

1 hongyehongye1 洪烨 数据库培训系列 2 数据 大讲坛 数据中国大讲坛 宗旨 打造中国最大的IT知识远程分享平台 提升中国IT人的职业技能 口号 自由分享 快乐成长 数据中国 共享共赢 讲座预告 每月第二周周三晚八点半在YY频道85536471免费讲解数据 库与商业智能BI相关知识 详情见官网 欢迎注册 意见和建议 对讲座有什么意见 不管是形式或者内容都可以发邮件 给我above 有了你的支持 才有我们前进的动力 本期活动本期活动 2013年12月30日晚八点半 YY频道85536471 由洪烨为您讲述 DB2数据库物理设计 3 3 讲师简介 洪烨 DB2技术咨询顾问 曾在IBM担任数据库数据库 操作系统操作系统现场技术支持 为多家企业提 供DB2及AIX故障诊断 技术支持以及技术培训工作 DB2 9 Advanced DB Administrator for Linux UNIX and Windows High Availability for AIX Technical Support and Administration 2013年9月 出版书籍 让DB2跑得更快 DB2内部解析与性能优化 2013年11月 Oracle技术嘉年华特约嘉宾 4 4 过渡页 数据库物理设计 数据存储规划设计 日志存储规划设计 内存规划设计 数据库扩容规划 高可用规划设计 5 第三章 数据库 物理设计 第一节 数据存储规划设计 层次 范围 内存的使用率很大程度影响了实际应用 的性能 在物理设计阶段 主要针对于 连接池与缓冲池进行设计优化 内存分配 层 数据及日志文件是否合理分布对于性能 具有关键性的影响 数据存储 层 对于高可用与扩容进行整体规划 为数 据库的长期使用做好完善规划 全局规划 层 数据库在物理设备上 的存储结构与存取方法称 为数据库的物理结构 它 依赖于给定的计算机系统 的资源配置 6 第三章 数据库 物理设计 第一节 数据存储规划设计 编目表空间 编目表空间包含数据库的所有系统编目表 其中存储着数据库的元数据信息 该表空间 也被称为SYSCATSPACE 且不能被删除 用户表空间 用户表空间包含用户定义的表 索引和大对象 默认情况下 创建数据库后会创建用户表空 间USERSPACE1 临时表空间 临时表空间存放数据库管理器 在执行排序或连接之类的操作 时所产生的临时数据 这是因 为这些操作需要额外的空间来 处理结果集 表空间规划 7 第三章 数据库 物理设计 第一节 数据存储规划设计 DB2中将表存放到表空间中 表空间根据管理方式可以分为操作系统管理表空 间 System Managed Space DMS 数据库管理表空间 Database Managed Space DMS 自动存储管理 Automatic Storage 管理 三种类型 SMS 由操作系统分配和 管理空间 容器类 型只能是路径 其 中存放的每个表及 索引都以单独文件 的形式存放 DMS 由数据库管理程序 控制存储空间 这 种表空间本质上是 一个特殊用途的文 件 Auto Storage 自动存储简化了的 DMS空间管理的方 式 通过指定存储 路径 DB2自动分 配容器 8 第三章 数据库 物理设计 第一节 数据存储规划设计 特性SMS DMS 自动存储 默认类型Version 8 无Version 9 对象管理操作系统DB2DB2 空间分配按需增长 收缩 预先分配 大小可以收缩和增 长 但是需要 DBA 干预 预先分配 可以自 动增长 可单独存储对象无表 索引 大对象表 索引 大对象 管理的简便性无需管理 好 但是需要一些调优 例如 EXTENTSIZE 无需管理 性能一般 最好 可通过利用裸设备额外 获得 5 10 的性能收益 好 不可以使用裸 设备 表空间最大大小64GB 4K 页面 2TB 4K 页面 2TB 4K 页面 表空间规划表空间类型对比 9 第三章 数据库 物理设计 第一节 数据存储规划设计 每页中记录的数量也是需要考虑的内容 DB2提供了一些有关页 尺寸的选项 例如4KB 8KB 16KB和32KB 比较好的起点是 选择默认的4KB 特别是当行的尺寸相对较小 或者是对数据的 访问比较随机的情况下 然而在一些情况下 也需要考虑较大的 页尺寸 如果表中单个行的长度超过4KB 那么就需要使用大一 些的页尺寸 表空间参数规划页大小 10 第三章 数据库 物理设计 第一节 数据存储规划设计表空间参数规划扩展数据块 扩展数据块由N个数据页组成 具有以 下两个特性 1 每次为表分配空间时 会分配一个扩 展数据块 2 如果表空间存在多个容器 则以扩展 数据块为单位轮流写入 11 第三章 数据库 物理设计 第二节 日志存储规划设计 11 数据库启动时会根据主日志文件配置个数分配主日志文件 LOGPRIMARY 辅助日志在需要时才即时分配 一般是长事务或者峰值工作负载 LOGSECEND 对于日常的数据库运行 一般需要保证只用主日志 日志参数设计 预先分配几个主日志文件 并依次写入日志记录 循 环往复 重复使用 主日志文件空间全用完时 临时分配辅助日志文件 可用于系统崩溃时恢复当 前的事务 只能做离线全 备份 版本恢复 不支 持前滚 循环日志 12 第三章 数据库 物理设计 第二节 日志存储规划设计 生产环境下的常用模式 日志文件不重用 依次写入日志记录 当日志文件处于非活动状态时 移动到归档目录 可用于灾难恢复 数据库在线备份 版本恢复 前滚恢复 日志参数设计归档日志 13 第三章 数据库 物理设计 第二节 日志存储规划设计 什么是组提交 当多个事务并发时 我们让多个都 在等待fsync的事务一起合并为仅调 用一次fsync操作 以此提升系统的 吞吐量 为什么要组提交 在每次提交事务时 为了保证数据 已经持久化到磁盘 需要调用一次 fsync来告知文件系统将可能在缓存 中的数据刷新到磁盘 而fsync操作 本身是非常 昂贵 的 如果每次 事务提交都单独做fsync操作 那么 这里将是系统TPS的一个瓶颈 日志参数设计组提交 14 第三章 数据库 物理设计 第二节 日志存储规划设计日志存储规划 日志特性 同步实时写入 每 次commit都会导 致日志写入 写入量大 插入 一行数据会产生 4 5倍的日志文件 可用性要求高 日 志一旦丢失会导致 数据库无法运行 对性能影响大 所 有操作都要等待日 志写入完成 15 第三章 数据库 物理设计 第三节 内存规划设计连接池规划 初始代理数 连接池初始化时产生的代理 适当的 配置可降低新连接的等待时间 连接池中保留的代理个数 适当的配置可降低新连接的等待时 间 过量设置的话会造成资源浪费 连接池大小 限制数据库能申请的最大连接数 超 过限制的连接会造成等待 16 第三章 数据库 物理设计 第三节 内存规划设计缓冲池规划 设计模式优点缺点 单缓冲池 管理简单 监控粒度较大 性能略低 多缓冲池 性能较优 监控粒度小 方便发现问题 管理较为复杂 17 第三章 数据库 物理设计 第四节 数据库扩容规划扩容方式 1 1 share disk 每个事务被分发到单个节点 提供节点高可用机制 单节 点失效对数据库无影响 Share nothing 事务在管理节点中执行 每个节点管理部分数据 降 低数据传输 2 2 18 第三章 数据库 物理设计 第四节 数据库扩容规划 读写分离逻辑分批 负载均衡 失效转移 failover 数据库分区透明支持 两大实现模式 独立Proxy服务器 单独API 各个数据库厂商都有自己复制方案 常见通用方案 ETL GoldenGate 读写分离 19 第三章 数据库 物理设计 第四节 数据库扩容规划 垂直分区 良好的松耦合的模块化设计是垂直分库的前提 垂直分区 20 第三章 数据库 物理设计 第四节 数据库扩容规划 水平分区 Shard 分片Key识别 划分检索依据 是关键 是否还有其它方法 用NoSql数据库部分替换关系数据库 扩容方式 21 第三章 数据库 物理设计 第四节 数据库扩容规划DPF 22 第三章 数据库 物理设计 第四节 数据库扩容规划DPF并行处理 23 第三章 数据库 物理设计 第四节 数据库扩容规划DPF分区图和分区键 24 第三章 数据库 物理设计 第四节 数据库扩容规划DPF分区图和分区键 25 第三章 数据库 物理设计 第四节 数据库扩容规划 多个数据中心 向分布式存储和计算的架构体系迈进 优点 多数据中心 带来更高质量区域服务体 验 分布式存储及计算架构有效解决pb级数据 量存储 检索及计算性能问题 缺点 架构复杂 数据同步 一致性及系统维 护 技能要求等成本十分高 技术点 分布式文件系统 Map Reduce Key Value存储 26 第三章 数据库 物理设计 第四节 数据库扩容规划 CDN Content Delivery Network 内容分发网络 将网站的内容分发到最接近用户的网络 边缘 使用户可以就近获 取 从而解决互联网网络拥挤的状况 提高用户访问的响应速度 27 第三章 数据库 物理设计 第四节 数据库扩容规划 业务2 业务3 业务5 业务1 业务4 JBoss HSF TDDL 数据复制 路由处理 数据合并 SQL解析 案例 淘宝架构设计 28 第三章 数据库 物理设计 第五节 高可用规划设计数据复制 29 第三章 数据库 物理设计 第五节 高可用规划设计远程节点容灾设计 30 第三章 数据库 物理设计 第五节 高可用规划设计主备库设计 31 第三章 数据库 物理设计 第五节 高可用规划设计 Cluster Interconnect 单一数据库映像 客户端 共享数据库共享数据库 LogLogLogLog 共享存储访问 CS CSCSCS CS CS CS 成员成员成员成员成员成员成员成员 Primary 2nd ary DB2引擎在多台服务器上运行 相互协作提供来自任何成员服务器对数据库的一致访问 数据共享架构 共享数据库访问 成员服务器将日志写到共享磁盘 日志在故障恢复期间被其他服务器可见 CF Cluster Caching Facility 高效全局锁和内存管理 提供同步双工方式写备份CF提高可用性 支持RDMA的低延迟 高速互联 客户端随处连接 看到同一个数据库 客户端连接到任何一个成员 自动负载管理和客户端重新路由功能可以改变客户 端所连接的成员服务器 集成的集群服务 错误检测 自动化恢复 集群文件系统 使用STG和Tivoli的产品 PureScale 32 第三章 数据库 物理设计 第五节 高可用规划设计 32 Log CS CS DB2 Shared Data Clients 某成员的电源线意外被拔掉 DB2 Cluster Services 检测到成员失去心跳并声明其宕机 通知其他成员及CF节点 隔离该节点对数据和日志的访问 在其他主机 guest host 上发起成员重启 采用裁剪的预分派的内存模型 成员重启就像是在单个数据库系统中的crash recovery只是恢复会更快 Redo只限于 inflight transactions due to FAC 其他成员则保持完全的可用 Primary CF持有失败成员的更新锁 其他成员可以继续读写未被失败成员写访问的数据 当失败成员重启结束 持有的锁全部释放 所有数据均可用 所有的成员又回到全部可用的交易处理中 CS DB2 CS DB2 CS Updated Pages Global Locks LogLogLog PrimarySecondary Updated Pages Global Locks CS DB2 DB2 Single Database View 整个过程中 基本所有数据可用 失败的交易将自动路由到其他成员 数据恢复时间仅数秒整个过程中 基本所有数据可用 失败的交易将自动路由到其他成员 数据恢复时间仅数秒 容灾特性 33 第三章 数据库 物理设计 第五节 高可用规划设计 通过低延迟的光纤充分利用RDM技术 round trip响应时间 10 15 微秒 Silent Invalidation 通知成员页面更新时无需CPU周期 无需CPU中断和消息处理 当集群增长时尤为关键 不用磁盘访问即可从GBP中获得热页 采用RDMA及专用的线程使得读取页面的 时间 10s 微秒 GBPGLMSCA Buffer Mgr Lock MgrLock MgrLock Mgr Lock Mgr 可扩展性 34 第三章 数据库 物理设计 第五节 高可用规划设计 1Gb Ethernet Client Connectivity 20Gb IB pureScale Interconnect 7874 024 Switch Two 4Gb FC Switches DS8300 Storage p550 members p550 powerHA pureScale Clients 2 way x345 案例 0 1 2 3 4 5 6 7 8 9 10 11 12 051015 在线查询和订购交易