Oracle数据库原理及运维概述

1、Oracle数据库原理及运维概述技术创新，变革未来智慧IT0102目 录ContentsOracle基础运维Oracle基础知识03自动化运维工具01学习目标不仅仅是使用数据库，还要大致明白数据库背后的工作原理了解数据库的基础运维01 Oracle基础知识01Oracle地位01Oracle地位0101DatabaseData filesOnline redo log filesControl filesDatabase buffer cacheShared poolData dictionary cacheLibrary cachePMONSMONOthersPGAArchived log

2、filesInstanceRECOSGADBWnRedo log bufferLGWRARCnCKPTORACLE 由两部分组成 1.Instance2.DatabaseInstance是内存结构和后台进程。 Database为磁盘上存储的数据文件集。oracle组成USER011 访问Oracle数据库的一种方法2 只能是打开一个数据库3 Oracle实例的标识符为SID4 由内存和后台进程组成、SGA(共享内存区）后台进程结构内存结构实例shared_poolSGA库缓冲区数据缓冲区重做日志缓冲区 数据字典缓冲区Java池Large池PMONSMONDBWRLGWRCKPTOthersOR

3、ACLE 实例内存结构SIDDB_NAME01PMONARCnRECOOthersDBWnLGWRSMONCKPTDatabase buffer cacheShared poolData dictionary cacheLibrary cacheSGARedo log bufferOracle buffer cache 数据库缓冲区Is part of the SGAHolds copies of data blocks that are read from data filesIs shared by all concurrent usersShared Pool内存结构01PMONSMON

4、OthersInstanceRECOARCnDBWnLGWRCKPTShared SQL areaLibrary cacheData dictionary cacheOtherDatabase buffer cacheShared poolData dictionary cacheLibrary cacheSGARedo log bufferShared PoolIs a portion of the SGA Contains:1.Library cache （库缓存） 2.Shared SQL area3.Data dictionary cache (数据字典缓存）内存结构01PMONSMO

5、NInstanceARCnRECOOthersDBWnLGWRCKPTDatabase buffer cacheShared poolData dictionary cacheLibrary cacheSGARedo log bufferRedo Log BufferIs a circular buffer in the SGAHolds information about changes made to the databaseContains redo entries that have the information to redo changes made by operations

6、such as DML and DDL内存结构01Java pool memory is used in server memory for all session-specific Java code and data in the JVM.Streams pool memory is used exclusively by Oracle Streams to: Store buffered queue messagesProvide memory for Oracle Streams processesJava Pool and Streams Pool内存结构01OthersInstan

7、ceRECODBWnCKPTPGAUser processServer processBackground processesLGWRSMONPMONARCnDatabase buffer cacheShared poolData dictionary cacheLibrary cacheSGARedo log bufferUser processIs started when a database user or a batch process connects to Oracle DatabaseDatabase processesServer process: Connects to t

8、he Oracle instance and is started when a user establishes a sessionBackground processes: Are started when an Oracle instance isstarted进程结构01SGAPMONSMONOthersOracle background processesRECOARCnDBWnLGWRCKPTServerServerServerServerServerServer nprocessesDatabase buffer cacheShared poolData dictionary c

9、acheLibrary cacheSGARedo log bufferProcess Structures进程结构0101进程结构Process StructuresDBWR(Database Write) : 数据库写入程序触发条件：1. DBWR超时，大约3秒系统中没有多余的空缓冲区来存放数据CKPT 进程触发DBWR LGWR(Log Write) : 日志写入程序 触发条件：1. 用户提交有1/3重做日志缓冲区未被写入磁盘有大于1M的重做日志缓冲区未被写入磁盘3秒超时DBWR 需要写入的数据的SCN大于LGWR记录的SCN，DBWR 触发LGWR写入CKPT(Checkpoint) :

10、 检查点，更新控制文件和数据文件中的数据库状态信息SMON (System Monitor): 系统监控，实例启动时实例恢复，清理不再使用的临时段 PMON(Process Monitor) : 进程监控，清理失败进程，动态注册实例到监听中 ARCH(Archive) : 负责归档RECO :分布式数据库环境中自动恢复那些失败的分布式事务,保证分布式事务的一致性01Oracle逻辑结构数据库如何使用物理空间表空间, 段, 区,块的组成层次表空间数据文件段块区段逻辑结构01物理结构物理结构包含三种数据文件:控制文件数据文件在线重做日志文件参数文件归档文件告警文件备份文件控制文件数据文件在线重做

11、日志文件物理结构数据库物理结构参数文件Oracle InstanceSGARedo log bufferData buffer cacheShared poolLibrary cacheData dict. cachespfiledb01.oraInitialization Parameter FilesSQL CONNECT / AS SYSDBA SQL STARTUP数据库物理结构参数文件PFILE Example# Initialization Parameter File: initdb01.oradb_name instance_name control_files= db01=

12、db01= ( /u03/oradata/db01/control01db01.ctl,/u03/oradata/db01/control02db01.ctl)db_block_size db_block_buffers shared_pool_size= 4096= 500= 31457280 # 30M Shared Pooldb_files= 1024max_dump_file_size= 10240background_dump_dest = /u05/oracle9i/admin/db01/bdump= /u05/oracle9i/admin/db01/udump= /u05/ora

13、cle9i/admin/db01/cdump= auto= undtbsuser_dump_dest core_dump_dest undo_management undo_tablespace. . .数据库物理结构密码文件oracle的口令文件的作用是存放所有以sysdba或者sysoper权限连接数据库的用户的口令，如果想以sysdba权限远程连接 数据库，必须使用口令文件，否则不能连上，由于sys用户在连 接数据库时必须以sysdba or sysoper方式，也就是说sys用 户要想远程连接数据库必须使用口令文件测试： 如果将密码文件删掉，远程是否可以连接创建命令： orapwd f

14、ile=orapwPROD password=test数据库物理结构控制文件Control FileThe control file is a binary file that defines the current state of the physical database.Loss of the control file requires recoveryIs read at MOUNT stageIs required to operateIs linked to a single databaseShould be multiplexedMaintains integrity of

15、databaseDatabaseControl files数据库物理结构控制文件使用控制文件的原则使用控制文件时应该:-对控制文件进行多元化处理-在初始化参数CONTROL_FILES中指定控制文件的完整路径-当数据库结构改变后要备份控制文件数据库物理结构控制文件多元化控制文件关闭数据库复制控制文件修改参数位置启动数据库control_files=(/DISK1/control01.con,/DISK2/control02.con)Disk 1control01.conDisk 2control02.con数据库物理结构控制文件获取控制文件具体信息：oraclewekiserver tmp$

16、sqlplus / as sysdba SQL oradebug setmypidStatement processed. SQL oradebug unlimit Statement processed.SQL alter database backup controlfile to trace; Database altered.SQL oradebug tracefile_name/server/oracle/app/diag/rdbms/weki/weki/trace/weki_ora_29003.trc或者直接alter database backup controlfile to

17、trace as /tmp/create_ctl.sql;数据库物理结构控制文件CREATE CONTROLFILE REUSE DATABASE WEKI RESETLOGS FORCE LOGGING ARCHIVELOGMAXLOGFILES 16MAXLOGMEMBERS 3MAXDATAFILES 100MAXINSTANCES 8MAXLOGHISTORY 1168 LOGFILEGROUP 1 /server/oracle/oradata/weki/redo01.log SIZE 50M BLOCKSIZE 512, GROUP 2 /server/oracle/oradata/

18、weki/redo02.log SIZE 50M BLOCKSIZE 512, GROUP 3 /server/oracle/oradata/weki/redo03.log SIZE 50M BLOCKSIZE 512- STANDBY LOGFILE DATAFILE/server/oracle/oradata/weki/system01.dbf, /server/oracle/oradata/weki/sysaux01.dbf, /server/oracle/oradata/weki/undotbs01.dbf,/server/oracle/oradata/weki/users01.dbf

19、, /server/oracle/oradata/weki/confluence_data_01.dbf CHARACTER SET ZHS16GBK;数据库物理结构数据文件注意点：业务表索引分离，分布不同表空间建议每个数据文件大小统一数据文件命令规范有序数据文件自动扩展关闭创建表空间步骤：检查当前表空间数据文件位置：SQL select name from v$datafile;+MCDATA/ora11g/system01.dbf创建表空间：create tablespace test datafile +MCDATA/ora11g/app_data01.dbf size 8g exten

20、t management localuniform size 1msegment space management auto;添加与创建一致，同样要确保数据文件位置，大小，目前顺序数据库物理结构在线日志文件Using Redo Log FilesRedo log files record all changes made to data and provide a recovery mechanism from a system or media failure.Redo log files are organized into groups.An Oracle database requir

21、es at least two groups.Each redo log within a group is called a member.DatabaseRedo log files数据库物理结构在线日志文件Structure of Redo Log FilesGroup 2Group 3Group 1MemberDisk 1Disk 2MemberMemberMemberMemberMember01ORACLE的启动及关闭登陆查询。实际上这样一条简单的命令要经过n个进程。1 首先你要通过监听连接到数据库服务器，数据库服务器分配进程， 客户端发送sql到服务端；2 然后，服务器进程将sql

22、转化成一个hash value，然后在库高速缓存中（library cache)中比对是否有相同的hash值。没有的话就进行硬解析，比如（语法语义检查、权限核对、执行计划确认等），有的话就跳过 这些步骤3 最后，执行语句-DQL判断是否在buffer中，若不在，则直接获取；若不在，则从数据 文件中获取-DML判断是否在，不在则从数据文件中获取；然后锁定数据行，写redo，老数据写到undo，修改db_buffer，dbwr将修改写入数据文件。01sql的执行过程01实验环节实验1 修改sid。实验2 修改尝试修改spfile，然后恢复spfile实验3 修改控制文件，将控制文件变成多个。 实验

23、4 数据库归档模式的改变实验5 误删数据怎么办？02 Oracle基础运维02022.1 监听管理02监听的三个文件02监听分类：动态监听静态监听在数据库关闭的情况下。静态监听可以tnsping 验证连通性。无论实例是否启动或者存在。 动态监听需要实例打开才能连接。这个实验证实。02静态监听可以远程使用sysdba用户登录02lsnrctl 交互式命令最常用的命令: set log_status off02数据库运维最佳实践5.清理监听日志10g及10g以前：$ORACLE_HOME/network/log11g以后：$ORACLE_BASE/diag/tnslsnr/hostname/lis

24、tener/trace lsnrctl status查看监听日志目录10g:$ORACLE_HOME/network/admin/log/ 11g:/oracle/gridbase/diag/tnslsnr/s1-11g/listener/alert/log.xml LSNRCTL setLSNRCTL set current_listener LISTENER Current Listener is LISTENERLSNRCTL set log_status off LSNRCTL set log_status on LSNRCTL exit11g LISTENER_SCAN1LSNRCT

25、L set current_listener LISTENER_SCAN102实验：测试监听相关使用，重启，连接,修改服务名停掉监听之后，老的连接是否会断掉？修改IP 或者添加 IP后监听的操作022.2 用户管理oracle中，用户不仅仅是作为客户端的连接者，也作为相关对象拥有者。语法 资源限制 权限GRAMMER:create user test /用户名：testidentified by oracle /登陆验证密码：oracledefault tablespace users /用户的默认表空间：usersquota 10m on users /默认表空间中可以使用的空间配额：10M

26、B temporary tablespace temp /用户使用的临时表空间password expire /密码状态，过期。登陆的时候要求用户修改。profile default; /指定资源限制的策略02真实案例1：客户的审计需求登录失败锁定次数：10次alter profile default limit failed_login_attempts 10;密码有效期：180天 密码恢复时间：30天 密码可重复次数：3次密码锁定时间：10分钟alter profile default limit PASSWORD_LIFE_TIME 180; alter profile default

27、limit PASSWORD_GRACE_TIME 30; alter profile default limit PASSWORD_REUSE_MAX 3;alter profile default limit PASSWORD_LOCK_TIME 0.007; (注意，单位是天)02真实案例2 :出于安全考虑，客户需要用户的密码包含数字、字符、特殊字符SQL alter system set resource_limit = true;SQL $ORACLE_HOME/RDBMS/ADMIN/utlpwdmg.sql verify_function|verify_function_11G

28、SQL alter profile default limit password_verify_function verify_function;# 取消Oracle密码复杂度检查：SQL alter profile default limit password_verify_function null;SQL SELECT profile,resource_type,resource_name,limit FROM dba_profiles WHERE resource_type=PASSWORD AND profile=DEFAULT;02SQL select * from role_sy

29、s_privs where role in (RESOURCE,CONNECT) order by 1;ROLEPRIVILEGEADM- - -CONNECTCREATE SESSIONNORESOURCECREATE CLUSTERNORESOURCECREATE INDEXTYPENORESOURCECREATE OPERATORNORESOURCECREATE PROCEDURENORESOURCECREATE SEQUENCENORESOURCECREATE TABLENORESOURCECREATE TRIGGERNORESOURCE9 rows selected.CREATE T

30、YPENO用户的权限只需要知道两点：角色role权限的继承 WITH ADMIN OPTION注意：用户默认创建后无法登陆。 需要给予相关权限。grant resource,connect to user_name;02Oracle基础运维-巡检主机存储空间本地磁盘空间（/ 目录）$ORACLE_HOME空间归档空间闪回空间备份空间操作系统参数AIX:maxuproc,maxaioservers,maxreqs,queue_depth,unlimit 参数等等HP-UX:nfile,nprocLINUX：sysctl p 中的资源参数02Oracle基础运维-巡检操作系统层面检查检查操作系统空

31、间使用率检查操作系统告警日志 AIX:errpt，LINUX:/var/log/messagesWindows:事件查看器，查看事件内容 我的电脑-右键-管理-诊断-事件查看器SUN：cat /var/log/messages检查资源使用率 vmstat/iostat/topas/sar d02空间的使用率数据文件的大小限制表空间的异常增长， 如undo，temp表空间归档量的异常增长数据库参数processes/sessionsjob_queue_processesOracle基础运维-巡检02Oracle基础运维-巡检数据库层面表空间使用率，数据库增长量归档量数据库资源数据库等待事件（OW

32、I）数据库告警日志AWR解读02Oracle基础运维-巡检数据库层面表空间使用率，数据库增长量归档量数据库资源数据库等待事件（OWI）数据库告警日志AWR解读02Oracle基础运维-巡检数据库层面表空间使用率，数据库增长量归档量数据库资源数据库等待事件（OWI）数据库告警日志AWR解读02Oracle基础运维-巡检数据库层面表空间使用率，数据库增长量归档量数据库资源数据库等待事件（OWI）数据库告警日志AWR解读02在业务高峰期尽量避免编译存储过程在业务高峰期尽量避免执行ddl语句在业务高峰期尽量避免添加数据文件大量的library cache lock等待事件大量的cursor失效大量的l

33、ock冲突。Oracle基础运维-建议02Oracle基础运维-备份恢复备份方式：分物理和逻辑两种方式，各有优缺点。物理备份：在存储级别实现，采用RMAN、COPY等操作实现，不容易出错，且执行计划稳定， 但不会整理碎片。逻辑备份：在SQL级别实现，比如exp、expdp等工具。跨操作系统平台，自动整理碎片，可 以分逻辑对象备份。bug较多，容易出错，速度慢，其性能跟SQL执行效率有关。执行计划可 能发生变化。物理备份是应付介质故障的最好方法。逻辑备份是应付误操作的最佳工具。02Oracle基础运维-备份恢复物理备份物理备份和恢复本质上是拷贝数据文件。备份方式可以分为冷备份和热备份。备份和恢复

34、粒度可以分为数据库级， 表空间级，数据文件集。备份和恢复速度受数据库大小，并行度， 存储I/O吞吐量，网络带宽影响较大。备份存在着丢失数据的风险。RMAN备份与恢复RMAN备份前提，打开归档02Oracle基础运维-备份恢复RMAN 进度查看set line 9999col opname for a35 col start_time for a19SELECT SID, SERIAL#,opname, to_char(start_time,yyyy-mm-dd HH24:MI:SS) start_time, SOFAR, TOTALWORK,ROUND(SOFAR/TOTALWORK*100,

35、2) %COMPLETE,ceil(ELAPSED_SECONDS/60) ELAPSED_MI FROMV$SESSION_LONGOPS where opname like RMAN% andtotalwork0 order by start_time asc;02Oracle基础运维-备份恢复彻底清理rman进程：#因为kill掉spid之后，会发现rman的备份文件 还在增长，因为rman开了多个通道，要将这些 通道全部关掉。SELECT sid, spid,s.status session_status, client_info FROM v$process p, v$session

36、 sWHERE p.addr = s.paddrAND client_info LIKE %rman%;脚本如下：runallocatechannelc1typedisk;allocatechannelc2typedisk;allocatechannelc3typedisk;backup database ; release channel c1; release channel c2; release channel c3; 02Oracle基础运维-备份恢复02Oracle基础运维-备份恢复%U：名字唯一%d：DB_NAME%t：备份集的时间戳%s：备份集编号%p：备份片编号逻辑备份与恢复

37、exp/imp要求：具有exp_full_database 以及imp_full_database或者DBA权限。一般我们会单独 建立一个用户用来做逻辑备份。expdp/impdp同样要求具有exp_full_database 以及imp_full_database或者DBA权限，并且单独创建 用户来执行逻辑备份。02Oracle基础运维-备份恢复02Oracle基础运维-备份恢复EXP及EXPDP示例02Oracle基础运维-备份恢复EXP及EXPDP示例02Oracle基础运维-备份恢复逻辑备份与恢复exp/imp和expdp及impdp区别：在10g之前,传统的导出和导入分别使用EXP工

38、具和IMP工具,从10g开始,不仅保留了原有的EXP和IMP工具,还提供了数据泵导出导入工具EXPDP和IMPDP.使用EXPDP和IMPDP时应该 注意的事项;EXP和IMP是客户段工具程序,它们既可以在客户端使用,也可以在服务端使用.EXPDP和IMPDP是服务端的工具程序,他们只能在ORACLE服务端使用,不能在客户端使用IMP只适用于EXP导出文件,不适用于EXPDP导出文件;IMPDP只适用于EXPDP导出文件,而 不适用于EXP导出文件.强烈建议在10g及以上版本使用expdp/impdp工具02Oracle基础运维-备份恢复三种模式表模式，将指定表的数据导出/导入。用户模式，将指定用户所有对象及数据导出/导入全库模式，将数据库中的所有对象导出/导入02Oracle基础运维-备份恢复三种模式表模式，将指定表的数据导出/导入。用户模式，将指定用户所有对象及数据导出/导入全库模式，将数据库中的所有对象导出/导入02Oracle基础运维-备份恢复三种模式表模式，将指定表的数据导出/导入。用户模式，将指定用户所有对象及数据导出