轻松上手openGauss第1期：初识openGauss

轻松上手openGauss第一期engaussorgopenGaussopenGaussDOuT3uT2engaussorg00r00S00E 课程简介openGauss起源openGauss企业价值openGauss关键技术openGauss未来规划与开源建设openGaussopenGaussengaussorgPART1课程规划简介众：程序员众：程序员oopenGaussLinuxLinux基础操作数据库基本概念opengaussorgzhvideohtmlneluerlivehtml•轻松上手系列课程目标：engaussorg划划oopenGauss课程openGauss第一期初识openGaussopenGauss二期openGauss安装部署轻松上手openGauss第三期openGauss工具介绍轻松上手openGauss第四期openGauss对象管理轻松上手openGauss第五期openGaussSQL语言轻松上手openGauss第六期openGauss备份恢复DatabaseVersion：openGauss1.0.1OSVersion：openEuler20.3LTS[华为云]CentOS7.6[华为云]engaussorgopenGauss技术分享人简介engaussorgopenGaussopenGaussengaussorgPART2openGauss起源openGaussopenGauss当前主流数据库基本情况engaussorgopenGaussopenGaussPostgreSQL：TheWorld'sMostAdvancedOpenSourceRelationalDatabaseengaussorg openGauss起源>Postgres-XCØPostgres-XC(eXtensibleCluster)是基于PostgreSQL实现的可扩展集群，该集群基于shared-nothing架构形成多主(multi-master)writescalablePostgreSQLAPI均不需要做任何修改。XCopenGauss数据库。u高并发大数据场景下的按需扩展u内部自动化并行处理u最优化的I/O处理u增加节点实现线性扩展Tips：数据访问任务被推送到数据所在位置就近执行，engaussorg企业级内存数据库企业级内存数据库openGauss华为数据库发展历程单机数据库openGauss>>&云数据库GaussDB云云2020~•openGauss开源•分享企业级数据管理能力•引领生态建设•促进数据库教育事业发展 2001-20112020~•openGauss开源•分享企业级数据管理能力•引领生态建设•促进数据库教育事业发展•G行核心数据仓库、DWS华为云商用•2019.5.15GaussDB全球发布•Z行核心业务系统替换商业数据库•构筑合作伙伴生态•支撑公司内部40+主力产品，在全球70+运营商规•兼容行业主流生态，完成金融等行业模商用3万+套，服务全球20+亿人口对接engaussorgopenGaussopenGauss木兰宽松许可证v2openGauss是一款开源数据库系统，采用木兰宽松许可证v2发行。MulanPSLv1：阅读使用，简化了中国使用者法律解释时的复杂度。2、许可证明确授予用户永久性、全球性、免费的、非独占的、不可撤销的版权和专利许可，并针对目前专利联盟存在的互诉漏洞问题，明确规定禁止“贡献者”或“关联实体”直接或间接地(通过代理、专利被许可人或受让人)进行专利诉讼或其他维权行动，否则终止专利授权。对“贡献者”的商品名称、商标、服务标志等的商标许可，保护“贡献者”的切身利益。术专家和法律专家共同修订，在明确合同双方行为约束的前提下尽可能地精简条款、优化表述，降低产生。MulanPSLv2对MulanPSLv1的改进：1、增加“语言”条款，声明了“本许可证”以中英文双语表述，中英文版本具有同等法律效力。如果中英文版本任何冲突不一致，以中文版为准。2、为适应一些国家对担保免责条款的显著性要求，MulanPSLv2在英文版中采用大写突显担保免责条款。3、为了减少英文表述的产生的歧义问题和语言习惯问题，MulanPSLv2修订了“软件”(software)和“关联实体” (Affiliates)的定义，以及“授予专利许可”(GrantofPatentLicense)条款的相关表述。engaussorgopenGaussopenGaussengaussorgPART3openGauss企业价值penGaussValuePropositionKM高安全penGaussValuePropositionKM高安全导出加密&全密态易运维AI自动推荐；，实时掌控系统；测、快速定位，急速；全开放码自由修用；Ø两路鲲鹏性能150万tpmC；存引擎；竞争力总览oopenGauss竞争力总览o把企业级数据库能力带给用户和伙伴openGaussopenGauss提供面向多核的极致性能、全链路的业务和数据安全、基于AI的调优和高效运维的能力，全面友好开放，携手伙伴共同打造全球领先的企业级开源关系型数据库高性能openGauss公有云/混合云华为内部业务高性能2路鲲鹏处理器>150万tpmC性能提升30%内部IT大企业金融安保政府运营商云数据库服务上线GaussDB(openGauss)云服务openGauss公有云/混合云华为内部业务高性能2路鲲鹏处理器>150万tpmC性能提升30%内部IT大企业金融安保政府运营商云数据库服务上线GaussDB(openGauss)云服务openGauss (分布式交易型数据库)openGauss计算产业生态高可用故障恢复RTO<10秒快于业界60%GaussDBKernel开发项目高可靠支持1+4主备高性能高可用高安全engaussorg合作伙伴openGauss系商业发行版统一客户•华为公司内部配套和公有云的GaussDB服务均基于openGauss，内核将保持长期演进。opengaussopengaussorgWriter子进程日志写子进程归档子进程统计收集子进程Ckp子进程Vacuum子进程数据库后台进程数据库进程1数据库主进程数据库进程n多进程共享内存池Xlog缓冲区数据缓存区列存储引擎存储引擎Writer子进程日志写子进程归档子进程统计收集子进程Ckp子进程Vacuum子进程数据库后台进程数据库进程1数据库主进程数据库进程n多进程共享内存池Xlog缓冲区数据缓存区列存储引擎存储引擎行VS.AI调优ABO器功能MVCC行存储引擎数据库线程池内存引擎SQLEnginePG架构和关键技术对比VS.openGaussopenGaussPG架构和关键技术对比VS.PostgreSQL架构openGauss架PostgreSQL架构关关键差异化因素openGaussPostgreSQL运运行时模型执行模型执行效率高，一万并发连接比最优性能损耗<5%进程模型，数据库进程通过共享内存实现通讯和数据共享。每个进程对应一个并发连接，存在切换性能损耗，导致多核扩展性问题。事务处理机制事务处理机制并发控制64位事务ID，使用CSN解决动态快照膨胀问题;NUMA-Aware引擎优化改造解决“五把大锁”事务ID回卷，长期运行性能因为ID回收周期大幅波动；存在“五把大锁”的问题，导致事务执行效率和多处理器多核扩展性存在瓶颈日日志和检查点增量Checkpoint机制，实现性能波动<5%全量checkpoint，性能短期波动>15%鲲鹏NUMANUMA改造、cache-linepadding、原生spin-lockNUMA多核能力弱，单机两路性能TPMC<60w数数据存储与组织多引擎行存、列存、内存引擎，在研DFV存储和原位更新仅支持行存查询优化器查询优化器tp优化器支持CBO，复杂场景优化能力一般SQLSQL解析ANSI/ISO标准SQL92、SQL99和SQL2003和企业扩展包ANSI/ISO标准SQL92、SQL99和SQL2003openGaussopenGaussopenGaussTPCC测试服务器项目型号数量Taishan2280V2CPUKunpeng92064cores64threads2(共计128cores)主频2.6Ghz内存DDR42933MT/s512G网络Hi1822硬盘NVME3.2T4OSopenEuler-20.03-LTS1engaussorgopenGaussopenGaussengaussorgPART4openGauss关键技术主要流程：1、启动流程2、业务处理流程3、检查点流程Redo日志缓冲区 数据字典缓冲区系统监控线程日志写线程归档线程检查点线主要流程：1、启动流程2、业务处理流程3、检查点流程Redo日志缓冲区 数据字典缓冲区系统监控线程日志写线程归档线程检查点线程Redo日志文件配置文件错误日志文件数据文件归档日志文件openGaussopenGauss处理流openGauss业业务应用进程客客户端驱动业务处理线业务处理线程词法词法/语法解析查查询优化查询执行数数据缓冲区后后台写线程控制文件控制文件engaussorgopenGauss理制信加密据类型件志回放检查点存缓冲区管理管理储管理适配端动程命令信号处理管理信协议处理理池程SQLSQL引擎据页写SQLSQLopenGauss理制信加密据类型件志回放检查点存缓冲区管理管理储管理适配端动程命令信号处理管理信协议处理理池程SQLSQL引擎据页写SQLSQL重写SQL点线程储过程解析线程Ø引擎Ø据字典空间管理线程存管理器Ø线程entOSengaussorg“脱胎换骨”深度改造工具客户端命客户端命行工具据库实例工具物理备份物理备份/工具辑导入工具MOpenEuler硬件&OS平台内内核公共能公共能力OMOM&CMopenGauss/GaussDB源自8年前PostgreSQL9.2和PGXC。openGauss总代码量120w行，其中内核代码95w万行代码；PostgreSQL的接口和公共函数25w行，着重在架构、事务、存储引擎、优化器、和鲲鹏芯片优化上修改。openGauss通过“换骨”改造、“换血”优化，从根本上解决了PostgreSQL原生架构所带来的缺陷。全局数据结构全局数据结构openGaussocessonCPU1Die0eDRAMDRAMCPU0DRAMDRAM全局数据结构全局数据结构openGaussocessonCPU1Die0eDRAMDRAMCPU0DRAMDRAM…DRAM…DRAMdGenengaussorg关键技术一：全局数据结构NUMA化改造ocessonDie0Die1•工作进程NUMA绑核、全局数据结构(ProcArray/Buffer/B-Tree等NUMA分区化改造，减少跨核、跨处理器竞争冲突；•WAL和Clog等日志从串行改为多核并行，消除串行瓶颈；关键技术二：多核原生指令级优化•对传统数据库(PG等)事务执行Profiling，存在五个关键性e升指令效率；•cache-linepadding技术，将WAL等组件保护全局位置索引的两个cache-line原子操作>一个，提升指令和数据效率；方案•同一个prepare方案•同一个prepare-commit日志可以并行回放。•利用LOGICAL_CLOCK减少备机日志同步、并行复制。•问题：并行度不高，不在一个prepare-commit阶段日志不能并行回放。日志•常态下：•常态下：日志不落盘即回放，实现备机实时回放；•恢复中：为缩短故障切换台并行；•问题：需要维护多版本，消耗存储和CPU资源；二二：逻辑并行engaussorg日志流水线和无锁并行日志恢复1.主机实时发送日志到备机实现同步。放锁的并发控制和IO开销。经过实验室测试：openGauss的并行日志恢复技术，在60%负载、70+万tpmC下可达RTO<10s(主备切换指令后10秒内，备机接管业务)openGaussopenGaussX-TunerX-Tuner数据库自带的参数调优工具，通过结合深度强化学习和启发式算法，实现在无需人工干预的情况•鲁棒性：内含容错和紧急处理机制，系统出现故障、异常时，算法正常退出，不会影响；•可扩展：基准测试模块、调优算法模块、连户进行优化或扩展功能模块；•数据库属于复杂软件系统，而复杂软件系统调优一直是一个大难题；•不同软硬件配置和不同负载，相同参数性能•在千万级组合中快速找到最佳配置是极为挑Predictor基于机器学习且具有在线学习能力的查询时间预测工具。通过不断学习数据库内收集的历史Predictor基于机器学习且具有在线学习能力的查询时间预测工具。通过不断学习数据库内收集的历史•依赖小：不需要SQL执行计划，消除数据库响；PNoSQL；•易扩展：易理解、易扩展，用户可轻易设计自己的预测模型。openGaussopenGauss适用场景：适用场景：openGauss的融合内存引擎MoT架构Ø优化多核和大内存服务器线性扩展Ø支持事务的ACID、持久化、高可用openGaussX6平台和ARM64鲲鹏平台Ø在传统的tpcc测试场景，RTO<3s技术优势：Ø基于全内存优化实现的免锁存储引擎和高度优化的并发访问控制；Ø针对NUMA优化的内存管理、事务本地化内存；Ø利用openGauss现有的查询引擎，兼容PG生态、兼容PG原生FDW和索引，SQL标准兼容度高，功能完整。engaussorgTPMC(MILLIONS)TPMC(MILLIONS)openGaussMOTDisk3.000181.9TPMC(MILLIONS)TPMC(MILLIONS)openGaussMOTDisk3.000181.919812.006.6871.3710.7920.0-0.8150.7010.6930.9660.6532.0001.00005000150200CONNECTIONS250300350openGaussMoT的极致性能roughputCConX86-72vCoresTPCCThroughputonARM-128roughputCC2.672.672.71CONNECTIONSMOTDisk0.7810.8630.5861.070.581.841.480.3301.0791.0192.410engaussorgopenGauss据量大长R2VVectorEngineV2RRowEnginecomplimentaryinterfaceColumnarstorageRopenGauss据量大长R2VVectorEngineV2RRowEnginecomplimentaryinterfaceColumnarstorageRowstorage业务场景描述行列混合引擎拉链表定义：指定行存/列存同的场景选择不同的存储类型Existing业务场景描述行列混合引擎拉链表定义：指定行存/列存同的场景选择不同的存储类型ExistinglibpqprotocolNewlibpqprotocolQueryEngine 表所有变化的信息。NativeinterfaceNativeinterfaceNativeinterfaceerid12…ername……ime0102…-31-31…EngineSEngine数仓中典型拉链表业务：客户表(基金、储蓄、手机银行、网银等)、客户经理信息表、理数仓中典型拉链表业务：客户表(基金、储蓄、手机银行、网银等)、客户经理信息表、理财机构表、卡类表(储蓄卡、信用卡等)、资产汇总表。问题与挑战：行列混合存储TB场景行存列存Prefer点查询粗粒度索引，定位到CU行存数据更新•支持行级别锁•支持CU级别并发更新支持CU级别锁，支持CU级别并发更新行存统计分析Pipeline执行天然和向量化引擎对接，降低CPUCache列存列存engaussorgopenGaussCode\srcopenGaussCode\src\gausskernelbootstrap数据库引导程序词法/语法命令处理函数cbbbootstrap数据库引导程序词法/语法命令处理函数cbb\bbox数据库自带黑匣子cbb\communicationSCTP通信，原来用于分布式的CN，DN通信，单机没有使用。cbb\extension远程连接和外表cbb\grpc远程过程调用通信cbb\grpc远程过程调用通信cbb\instrumentsSQL，事件执行时间统计cbb\utilsAES加密，布隆过滤器，信号，SSL，zip压缩catalog数据库引导程序系统表和索引定义parser数据库SQL词法/语法解析replication数据库双机交互命令的词法/语法解析dbmindSQL执行时间预测，SQL性能调优utils数据库dbmindSQL执行时间预测，SQL性能调优multimodel\timeseries多模之时间序列multimodel\timeseries多模之时间序列optimizerSQL优化器，SQL执行计划生成，执行计划优化process线程池，线程监控，业务分发，process线程池，线程监控，业务分发，job任务runtime，向量化执行，代码生成security秘钥管理backend\lib数据库字符串操作通用函数，双链表通用程序，security秘钥管理storageaccessBTREEstorageaccessBTREEGIN行存堆访问，列存访问storage\buffer缓冲区管理storage\bulkload分布式批量加载，单机没有使用。storage\cmgr列存cache管理storage\cstore列存储backend\nodes数据库语法树节点通用函数backend\parserSQL命令接卸处理函数backend\pgxc_singlepgxc分布式代码的单机桩函数backend\po多国语言处理storage\dfsHDFS和OBS外表storage\dfsHDFS和OBS外表，单机没有使用。storage\file文件读写缓冲区管理storage\freespace存储空闲空间管理storage\ipc进程间通信的共享内存，信号量，系统cache失效处理storage\large_object大对象处理backend\regex正则表达式处理backend\snowballSnowball词干提取算法backend\tsearch全文检索storage\lmgr锁(自旋锁，LW锁，事务锁)管理器。storage\mot内存表引擎backendstorage\lmgr锁(自旋锁，LW锁，事务锁)管理器。storage\mot内存表引擎进程通用初始化、语言多字节处理，storage\page数据页管理storage\remote数据页损坏时的远程读storage\page数据页管理storage\remote数据页损坏时的远程读据库快照。ationation主备关系校验，心跳)storage\smgr存储介质管理器Code\src\include系统头文件Code\src\bininterfaces\ecpg嵌入式SQL处理interfaces\libpq客户端通信协议pgxcpgxc桩目录pl\plpgsql存储过程gs_gucguc参数修改二进制工具gs_gucguc参数修改二进制工具initdb数据库初始化工具pg_basebackup物理备份工具pg_ctl数据库实例启停，切换控制工具pg_dump逻辑备份导出工具psqlSQL客户端工具portCRC，网络，主机地址，线程，字符串，环境变量跨平台处理函数。template不同OS平台编译配置模板timezone时区处理tutorialSQL指导手册脚本Code\src\distribute分布式代码，单机为空的桩目录openGaussopenGauss更多精彩技术分享内容：/543286270/videoengaussorgTips：推荐文章《华为“高斯”战记》openGauss更多精彩技术分享内容：openGauss/openGaussoopenGaussPART5openGauss未来规划与开源建设engaussorgopenGaussopenGaussopenGauss未来规划(一)engaussorgopenGaussopenGaussengaussorgopenGau