版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、,自动化运维-SQL自动上线,主要内容,DBA的职责 ,我们的痛点 ,我们的实践 ,改进及畅想,DBA的职责-工匠, 提升数据库单机性能 ,-软硬件优化 , 优化架构,应对海量数据 ,-分库分表中间件 ,-服务化,各模块解耦 , 自动化运维,提高工作效率,减少重复工作 高可用,做到N个9,DBA的职责-审核人员 数据库上线 DDL 变更 , 日常 SQL 上线 , 慢查询监控及优化 , 业务监控及拆分,DBA:. - -!,RD:欧巴,我们的痛点-标准如何落地 DDL标准 RD:紧急上 线, 修复bug,DBA:不符合 标准,打回,非常紧,急!,恶心,,下不为例,我们的痛点-业务快速迭代,赶集
2、好车 易洗车,招聘节 放心房,赶集二 手车 本地生活,我们的痛点-人员变动频繁,这是最好的时代,我们的痛点,人是最不稳定的因素,我们的实践, 引入项目管理工具 JIRA,我们的实践-JIRA,我们的实践-JIRA,我们的实践-JIRA,优点 ,-强大的任务管理与跟踪系统 -无限制的工作流 ,缺点 ,-过于重量级 ,-相比较严格上线,任务描述过于模糊 -DBA 要改写不符合规范的上线,我们的实践, 引入半自动上线系统,我们的实践-半自动,RD发起上线,SIM预执行,DBA确认,提交DBA 符合 规范,Yes,No,Yes,成功 No,仍然不够理想,我们的实践-半自动,优点 ,-避免了 JIRA
3、模糊不清的表述 ,-SIM环境预执行,清楚的看到影响行数 -程序执行,避免潜在的人为误操作 ,But ,-还是需要 DBA 人肉审核 ,-对于违规 SQL, 开发改写意愿不强 -标准得不到执行,科普成本高,我们的实践, 针对业务特点,开发全自动上线系统,我们的实践-AutoSQL, Python 开发 ,-Celery -MySQL -Redis ,-Yacc & Lex -Tornado,我们的实践-过滤基本原则,对于 DML上线, where clause 必须包含主,键,唯一索引或业务区分度高的字段 ,不允许做减法,drop 字段,库,表或索引操,作提交 DBA 手工执行 ,有限度的自由
4、,建库操作必须 leader 审核,,提交 DBA 手工执行 ,严格遵守调度规则,禁止提前上线,我们的实践-AutoSQL RD发起上线,SQL入库,语法解析,规则过滤,Online执行,SIM预执行,备份,延迟调度,我们的实践-DDL,DDL,Sqlparser,Redis,延迟调度,获取表行数,Celery,过滤规则,违规,重新提交,SQL 结构化,我们的实践-DDL,字段指定 not null default xxx ,所有字段,表均需要有注释 comment 所有新表,引擎只能用 innodb 或 queue 所有新表,均有自增 ID 做为主键 ,按照一定比例,限制新表text字段数量
5、 按照一定比例,规定新表索引数量 ,按照业务常识,post_id, puid, userid 均有,索引,DML,Sqlparser,限速执行,过滤规则,违规,重新提交,备份,我们的实践-DML Redis SQL 结构化,metadata,我们的实践-DML,不允许使用 load data ,删除修改操作,where clause 必须包含主 键,唯一索引列,或是业务区分度较好列 ,禁止多表 join ,禁止未决 SQL, 例如 insert into select 所有 insert 建义指定字段 ,所有 update / delete 建义使用绝对值,遵,循可重入原则,我们的实践-AutoSQL,我们的实践-AutoSQL,我们的实践, 当前不包括业务 SQL 审核,如何破?,我们的实践, 开发慢查询实时追踪系统 SQLTrack ,-抓住上线到转天高峰期慢 SQL -鼓励开发参与优化,我们的实践-SQLTrack, Golang 开发 ,-Heka -Kafka ,-InfluxDB / ES -Tornado,我们的实践-SQLTrack,Heka,结构化,Kafka,Influxdb,Heka,Heka,SQLTrack,Cache,命中,否 Explain,Statsd,我们的实践-SQLTrack,我们的实践-SQLTra
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年注册设备监理师项目管理模拟题
- 2026年市场营销策划师实战试题
- 2026内蒙古森工集团招聘员工363人笔试参考题库及答案详解
- 2026年大专毕业生基层项目考试题库
- 2026浙江台州路桥区横街中学诚聘4人笔试参考题库及答案详解
- 2026年超市安全消防知识培训
- 2026年东南大学医院医护人员招聘笔试模拟试题及答案详解
- 2026年郑州市中原医院医护人员招聘笔试备考试题及答案详解
- 2026年裕民县牧业医院医护人员招聘笔试备考题库及答案详解
- 再担保业务担保合同
- GB/T 12135-2025气瓶检验机构技术条件
- (正式版)DB15∕T 3276-2023 《大中型灌区水利工程管理与保护范围划定标准》
- 2025-2026学年第一学期小学校历表
- 工程钻探施工方案(3篇)
- 山东省泰安市东平县2024-2025学年(五四学制)八年级下学期期末考试数学试卷(含答案)
- 终止妊娠培训课件
- 2026年高考语文备考之统编版教材全5册作文素材分类梳理
- 2025年四川省成都市初中学业水平考试中考(会考)地理试卷(真题+答案)
- 办理道路运输许可证安全生产管理制度文本
- DB11T527-2024配电室安全管理规范
- 消防监督检查方法课件
评论
0/150
提交评论