从自动化到智能化的数据库技术变革

1、从自动化到智能化的数据库技术变革数据价值 智胜未来IT变革，驱动业务创新 时代背景和挑战新经济背景下时代变革和挑战云化互联，移动共享移动互联网无处不在，推动了各行业的快速发展变革；快速迭代和资源共享，使得云技术成为基础设施标准；数据驱动，跨界融合互联网企业业务传统化 互联网+金融：传统到互联网 支付宝、余额宝、微信红包；传统企业业务互联网化 - +互联网交通：12306，智慧城市，共享单车；数据真正开始驱动业务革新；智慧智能，自动自治在瞬息万变的竞争环境之下，在海量数据积累之下，人工智能开始用武；以自动化、自治技术降低成本，以智慧智能替代有限的人力；言论 国家层面习近平：打造一批新型主流媒体强

2、化互联网思维，推动传统媒体和新兴媒体深度融合2015年1月4日下午，李克强总理视察前海微众银行， “希望你们在普惠金融的发展方面，不仅自己 能杀出一条路来，而且能为其它企业提供经验，现在希望用你们的方式来倒推传统金融的改革。”云数据智能移动共享极致体验端到端的优化核心组件极致优化技术上：交付快商务上：交付快云化互联，移动共享 企业技术环境变化云化互联， 银行业务的离柜率达到84%；民生银行离柜业务率居首 达 99.27%；快速交付 创意为王，唯快不破；技术和商务都要求极速；端到端体验优化应用SQL审核优化自主可控：开源+人员云化+开发运维一体（DevOps）云化互联，移动共享 互联网+引发技术

3、变革金融技术平台数据服务/事务复合规则/模型计算服务提供服务集成微服务化快速、动态接入能力 运营与管控能力 服务质量管理实时、同步的复合处理 强一致性控制多参与者的复杂复合逻辑高并发 高事务率 高精确性 强一致性 零丢失基于海量数据的计算 实时/准实时的计算 精确的计算安全 灵活 易用服务质量DevOps研发运维模式持续交付技术进步使得行业变革成为可能数据驱动利润受阻，成本管控；效率提升规模集中数据集中， 统一视图数据分析， 洞察商机数据驱动，跨界融合 企业业务环境变化跨界融合， 跨界融合潮流势不可挡，竞争压力倍增；成本和创新需求，彰显数据驱力；互联网、制造业、金融循环相加，跨维进入传统企业利

4、润增长受阻， 精细化成本、TCO管控；业务创新， 业务创新、转型升级的挑战；数据驱动； 数据成为新的核心驱动力；自动化整合集中数据平台数据分析消费用户-2000万消费用户 5亿旅行用户1000万生活用户1.5亿出行用户1 亿音乐用户2000万社交用户 5亿社交用户-3000万阿里金融交易数据分析 进行个人授信诚信通企业授信开小微企业贷款个人消费信用由接口授权 改善第三方领域诚信问题数据积累与聚集运营数据与增值数据驱动，跨界融合 - DT 时代安全稳定软件安全业务连续数据安全智能自治全局思维前置思维智能运维智能业务智慧智能，自动自治 企业变革版本管理高可用、容灾数据安全审计从分管到统管，前置优化

5、自动化、智能化智慧智能，竞争：移动互联、跨界融合，双重力量叠加； 增效：以人工智能、自动化进行提效降成本；自动自治智慧智能，自动自治 - 数据的自由流动数据的开放互通数据资产流动性Gross Data Product在云端用人工智能 处理大数据百花齐放 数据时代的中国机遇MySQL的中国创新：PolarDB 和 TDSQL从商用到开源：Oracle 和 MySQL 并驾齐驱开源数据库：百花齐放，蓬勃发展，自由选择国产数据库：从OLTP 到 OLAP，从商用到开源国 际国内让我们为中国数据库鼓掌！Oracles Vision for Autonomous DatabaseSelf-Driving

6、 自动驾驶 User defines service levels, database makesthem happenSelf-Securing 自动安全 Protection from both external attacks and malicious internal usersSelf-Repairing 自我修复 Automated protection from all downtime12Autonomous DatabaseOracle Database 9i, 10gAutomatic Storage Management (ASM)Automatic Memory Ma

7、nagementAutomatic DB Diagnostic Monitor (ADDM)Automatic Workload Repository (AWR)Automatic Undo tablespacesAutomatic Segment Space ManagementAutomatic Statistics GatheringAutomatic Standby Management (Broker)Automatic Query RewriteOracle Database 11g, 12cAutomatic Diagnostic FrameworkAutonomous Heal

8、th FrameworkAutomatic Workload ReplayAutomatic Capture of SQL MonitorAutomatic Refresh of Database CloningAutomatic Data OptimizationAutomatic Storage IndexesAutomatic Columnar CacheAutomatic SQL Tuning进化：从自动化到自治数据库Oracle 自9i开始引入大量自动化特性，持续推进数据库自我管理Web Apps 1-nStandby DatabaseActive Data GuardPrimary

9、DatabaseSYNCASYNCOracle数据库的读写分离通过Data Guard技术快速扩展读性能在11g支持最高 30 个ADG可读备库主备库之间的数据一致性得到确保；No restrictions on data types or indexes usedReplication keeps pace with peak workloadHigh AvailabilityRead access 24x7x365Reader farm transparently transitions tonew primary at failover timeLo ad Ba l anceOracle

10、 11.1.0.7读写分离：源自Oracle 11g的自动改进苹果公司的应用案例：/au/products/database/311400-01-132521.pdf进化：12.2 ADG 在切换过程中连接保持Fast FailoverADG 上的只读会话在切换期间Read-onlysessions connected to Active Data Guard will在 Failover / Switchover 过程中保持连接Remain connected during the failover/switchover当 ADG 成为主库后由只读切换为读写模式 Become read/wr

11、ite after Active Data Guard becomes the primary极大缩减了切换后的连接风暴Dramatically reduces brownout due to reconnect storm after failover Another reason to use Active Data Guard (instead of DataGuard)Read/WriteReadRead/WritePrimaryStandbyStandbyConfidential Oracle Internal在备库上发出的DML操作自动重定向到主库执行，不影响ACID DML Re

12、- direction automatically performed from Active Data Guard standby to the Primary without compromising ACID在 ADG 上发出的 DML 重定向到主库执行，备库等待主库日志传递到备库并应用Standby ADG session waits for updates to show up on ADG via redo apply在事务提交之前，DML 操作数据仅对操作会话可见DML data re-directed by an ADG session is only visible to t

13、hat session before commit重定向的DML在提交之后，对所有会话可见DML data re-directed is visible to all sessionsafter ADG session commits通过设置初始化参数可以启用这个特性Enabled by setting parameter_enable_proxy_adg_redirect=TRUE and appropriate connectivity parametersRespects ACID properties of a database for ADG session针对以读为主但是偶有更新的

14、应用设计Targeted for “Read Mostly Occasional Updates” applications16进化：18c ADG 中执行 DML 操作的自动转发Fault Tolerant水平扩展最高达到1，000个数据分片，每个分片包含一个数据子集；可以通过在线增加Shards扩展数据 库的吞吐能力；分布式软硬件隔离故障的影响 度；用户可以基于性能、灾备等原因自定义 数据的摆放；支持数据分片的在线 Split 和rebalance；不同的Shards可以运行不同的Oracle数据库版本；对于用户设计的OLTP应用，进行自动的数据分片Geographic Distribut

15、ionLinear Scalability分片：从集中式到分布式的功能演进内存分片： Sharded RAC的集群数据库将分片能力引入到RAC集群实例中 Affinitizes shards to RAC instances指定了分区键值的SQL查询将被路由到特定的实例 Requests that specify sharding key will be routed to the RAC instance that logically holds the shard分区可以避免竞争减少跨实例的访问Affinity gives better cache utilization and redu

16、ced block pings across instances不包含分区键值的请求会透明的被处理 Requests that dont specify sharding key still work transparently以最小的应用改变提供分布式性能Gives ShardedDatabase performance with minimal application changesJust add sharding key to the most performance intensive operationsHigher performance for shard-aware RAC

17、applicationsOracle RAC DatabaseInstance 1 Partition P1Instance 2 Partition P2Instance 3 Partition P3从 Oracle RAC 12.2 开始，可以通过Leaf Nodes / Reader Nodes 来承载只读查询 请 求 - Starting with Oracle RAC 12c Rel. 2, it is now possible to run read-only workloads on instances running on Leaf Nodes/Reader Nodes在此情况下

18、，叶节点需要连接到存储设备This requires that Leaf nodes be connected tostorage *读节点失效并不影响数据库的活动，可以 很容易扩展上千的读节点 A Reader Node failure does not impact the overall database activity, making it easy to scale to hundreds of nodes.DSS Services on Reader NodesOLTP Serviceson Hub Nodes只读节点：Flex Cluster 和 Leaf NodesOracl

19、e 18c Autonomous DatabaseLess time on AdministrationLess time on infrastructureLess time on patching, upgradesLess time on ensuring availabilityLess time on tuningMore time on InnovationMore time on database designMore time on developing new appsMore time on data analyticsMore time on securing dataC

20、hallenge: There are more data management tasksthan humans to do the workLarry Ellison: 智能化时代的DBA开发运维数据库云和恩墨的愿景：全流程的自动化和智能化以数据驱动，做端到端的数据资产管理引领者数据库的自治是一个渐进的过程，需要持续不断的技术进步；数据库开发、部署、运维，需要全流程的、端到端的优化，才能确保数据库稳定自治。zData分布式存储解决方案采用X86架构的分布式存储，实现高吞 吐、低延时，最佳的数据库运行平台， 支持Vmware虚拟化、支持Windows。融合IB、闪存和SDS于一体的基础平台；

21、超百万的IOPS和数十GB/s的吞吐量； 私有云 DBaaS 平台的最佳支撑平台； 从数据库到通用的存储支撑平台；发布：zData 2.0 支持通用数据库的SDS高性能一体化，从支持 Oracle 到支持 MySQL 等通用数据库产品数据库云:基础设施zData案例北京电信数据库加速方案提升电信经分系统能力，响应市场的快速变化客户的收益系统有灵活的扩展性和开放性系统性能总体提升4倍以上扩展简单无需宕机，同时性能线性增长比较陈旧的小型机和存储，成本只是1/3将数据库部署、监控、巡检、备份、高 可用等功能融于一体，实现数据库企业 管控一体化。多数据库统一管理，Oracle、MySQL自动化的安装、

22、部署、维护、巡检等； 内置智能巡检、SQL推荐优化引擎； 支持 zData 基础设施和通用云设施；发布：zCloud 数据库云管平台数据库云:平台管理融合部署、监控、运维、优化于一体的智能云管平台zCloud数据库云管平台云:基础设施ZONE数据库运行监控平台轻量级的数据库监控软件，无需Agent、无需DBA权限，支持自定义监控、巡 检和SQL审核。轻量级，免Agent，最低权限需求；支持自定义监控项、自定义巡检项；支持工作台、工具箱，内置常用维护SQL；实现监视和控制的一体化工作平台；发布：ZONE 4.0 运行监控平台轻量级、免代理、低权限、可定制的数据库监控平台数据库数据:运行监控云:基

23、础设施云:平台管理数据:运行监控zKui数据库安全审计基于数据库的审计日志分析，轻量级的安全防护，即时的分析、展示、预警。基于Oracle数据库的审计日志；实习的解析、分析、展示和预警； 有效的防范数据库的恶意攻击； 深度审计绑定变量等信息；发布：zKui 数据库安全审计产品快速的审计日志分析，即时的分析、展示和预警数据:安全审计云:基础设施数据库云:平台管理MZ3SQL审核平台在开发环节对SQL质量进行管控，防范上线后的性能风险，支持Oracle、MySQL等异构数据库。将运维经验推进到开发环节进行防控； 是DevOps理念的数据库实践；通过自动化的过程实现最佳的性价比；向智能优化算法推荐演

24、进；发布：MZ3 SQL审核平台MySQL版本集成DevOps理念的最佳实践，支持Oracle、MySQL数据库数据库智能:开发审核云:基础设施云:平台管理数据:运行监控数据:安全审计应用详SQL审核规则采纬信芯OrneleMySQL百核对象 O 不阴 O 奴 L Q 数据字典SQL文本提示 已 警告/匾宙权现ll!IJ侄用役期搜索彩响枉：I至询1 - 1市 一 D编号。2。3。4。5D6D7。8影响程度观则名投则描述审核对象（双击修改）拭值违议使用select *邸 lecl 语句中霜使用具体列名SQL 阻 让 文本1提示圭豆立空执行计划中出见笛卡尔积司胚缺少迁栈条件，导 致SOL使用笛卡尔

25、积的方式进行迁捂SOL 沁 心c本 挝示至至豆存在多层次嵌它嵌右深皮超过2层（层次可目定义）SOl SQ汶 本1挝平DML话句缺少w心心条件up中心 、d11I色t e话句缺少w比 九条件，存 在讨误霓豜全表佽捉的风险SQL SQ戏 本 严至豆豆互在查询列上使用表达式在查询列上侄用表达五 ， 可能会导饮无法使用列上的索引影晌SQL性能SOL SQLJZ本1誓已巠Insert 语句缺少 列信息使用INSERTINCfO t_)I心 YALUES()OO(jSOL SQL文本1管仓旦旦使用左侯闪查询使用左侯问查询， 类似： lik.1 %.lb . 会8 致SOL无法便11l 索引SQ!_ SQ心 ：本1苦色豆互多个条件可迈询多个条仵”还询可能会导致S 斗无 法便用正确的莹引SOL SO这 本）提示DD。12使用标员于查询禁止在SQL使用行员子查询S01. SQL文本1搜示旦空D。15S QL中包含hint文本中包含汕l l, 该hint对应的执行计划可能是有只险的SQL 伶QL文本1提示圭圭。16使用嵌行子查询使用嵌君子查询SOL (SO 攷 it:捉示竺立D旦五。18使用反向查询wh.,.,子 句使用巨 、not in. not xisto、 心 t lik以 及not等SQL 沁 改 本1挝示五立