Exadata一体机使用的50个小技巧

1、Exadata 管理 3Exadata 性能优化 3让表使用 flash cache 3可以使用如下公式计算 Exadata 特性对 IO 的优化 3可以使用如下公式计算 Exadata Storage Index 对 Disk IO 减少的共享 3可以使用如下计算 Flash Cache 的使用率 3收集 cell 级别的表缓存统计信息的方法 3确认在使用 write back flash cache 4确认所有的 griddisk 均为正常 online 状态 4确认所有的 flashdisk 均为正常 online 状态 4启用 write back flash cache 的方法 4确

2、认 Exadata 计算节点间的网络带宽 6检测多个ORACLE_HOM是否RDS可用？ 6relink ORACLE_HOME的 RDS 6不同配置 Exadata 的推荐最大并行度 . 6Exadata EHCC 支持 6Exadata 压缩信息 . 6针对写日志 redo 特别多的应用建议启用 Smart Flash logging 特性 6Exadata DB 管理 7Exadata 存储空间计算 7查看 cell 软件版本 . 7了解 cell 的温度 . 7cell 存储节点的日志存放位置 7列出 cell 中的 alert history 7为 cell 创建一个告警阈值 . 8

3、cell 可用性监控 8如何禁用 Smart Scan? 8如何禁用 storage index? 8如何禁用 flash cache? 8cell 相关的数据库视图有以下这些视图 8配置 Inter-Database IORM 8如何禁用布隆过滤 Bloom Fliter 9Exadata 数据备份 9backup 备份速率 9recovery 应用日志恢复速率 9standby database 搭建 9Exadata 恢复 9cell 救护 . 9Exadata 部署 10onecommanc下载 10Exadata 安装前准备工作 10环境检查 . 10验证网络连通性 . 10Exad

4、ata 监控 11exachk 健康检查脚本 12Exadata 文档信息 12Exadata 硬件篇 12常规 12默认密码，以下是 Exadata 中 cell/db node IB 等的默认密码： 12硬件常规巡检： . 12检测 Exadata 数据库机器上的硬件和固件版本是否匹配？ 13检测软件版本与平台是否匹配？ . 13为 cell 启用告警 . 13监控 磁盘故障 . 13更换 Storage Cell 硬盘 . 13观察 Database Server 磁盘状态 14观察 Database Server RAID 状态 . 14Storage Cell 加电启动 14检测me

5、mory ECC错误 14若发现 Exadata 上存在磁盘损毁则：. 14检测 cell server Cache Policy. 14Exadata 停机： . 16Exadata 启动 . 16Infiniband 篇 16启停 IBSwitch 17检查 IB 链路状态 . 17查看 IB 网络拓扑状态 . 17诊断 IB 链路没有错误 . 17查看 IB 网络连线 . 17查看 IB 健康状态 . 18IB 健康检查 18IB 故障处理 18IB 硬件监控 18Switch 端口错误 18Link 状态 18Subnet manager . 19CISCO交换机 19例行维护操作 .

6、 19KVM 19PDU 19故障处理 . 19Exadata 管理Exadata性能优化让表使用flash cacheALTER TABLE vobject name storage (CELL_FLASH_CACHE KEEP);可以使用如下公式计算 Exadata特性对10的优化1- (cell physical IO interconnect bytes returned by smart scan)/ (cell IO un compressed bytes + cell physical IO bytes saved by storagein dex) * 100可以使用如下公式计

7、算 Exadata Storage Index对Disk IO减少的共享 (cell physical IO bytes saved by storage index / physical read total bytes)* 100可以使用如下计算Flash Cache的使用率(cell flash cache read hit / physical read total IO requests) * 100收集cell级别的表缓存统计信息的方法SQL SELECT data_object_id FROM DBA_OBJECTS WHERE object_nameEMP;OBJECT_ID

8、57435CellCLI LIST FLASHCACHECONTENTWHERE objectNumber=57435 DETAIL cachedSize: 495438874 dbID: 70052hitCount: 415483missCou nt: 2059objectNumber: 57435tableSpaceNumber: 1确认在使用 write back flash cache#dcli -g /cell_group -l root cellcli -e “ list cell attributes flashcachemode ”Results:flashCacheMode:

9、 WriteBack - write back flash cache is enabled flashCacheMode: WriteThrough - write back flash cache is not enabled确认所有的 griddisk 均为正常 online 状态# dcli -g cell_group -l root cellcli -e list griddisk attributes asmdeactivationoutcome, asmmodestatus确认所有的 flashdisk 均为正常 online 状态# dcli -g cell_group -l

10、root cellcli -e list flashcache detail启用 write back flash cache 的方法A. Enable Write Back Flash Cache using a ROLLING method(RDBMS & ASM instanee is up - enabling write-back flashcache one cell at a time)Log onto the first cell that you wish to enable write-back FlashCache1. Drop the flash cache on th

11、at cell# cellcli -e drop flashcache2. Check if ASM will be OK if the grid disks go OFFLINE. The followingcommand should returnYes for the grid disks being listed:# cellcli -e list griddisk attributes name,asmmodestatus,asmdeactivationoutcome3. Inactivate the griddisk on the cell# cellcli e alter gri

12、ddisk all in active4. Shut down cellsrv service# cellcli -e alter cell shutdown services cellsrv5. Set the cell flashcache mode to writeback# cellcli -e “ alter cell flashCacheMode=writeback ”6. Restart the cellsrv service# cellcli -e alter cell startup services cellsrv7. Reactivate the griddisks on

13、 the cell# cellcli - e alter griddisk all active8. Verify all grid disks have been successfully put online using thefollowing command:# cellcli -e list griddisk attributes name, asmmodestatus9. Recreate the flash cache# cellcli -e create flashcache all10. Check the status of the cell to confirm that

14、 its now in WriteBackmode:# cellcli -e list cell detail | grep flashCacheMode11. Repeat these samesteps again on the next cell. However, before taking another storage server offline, execute the following making sure asmdeactivationoutcome displays YES:# cellcli -e list griddisk attributes name,asmm

15、odestatus,asmdeactivationoutcomeB . Enable Write Back Flash Cache using a NON-ROLLING method(RDBMS & ASM instances are down while enabling write-back flashcache)1. Drop the flash cache on that cell# cellcli -e drop flashcache2. Shut down cellsrv service# cellcli -e alter cell shutdown services cells

16、rv3. Set the cell flashcache mode to writeback# cellcli -e “alter cell flashCacheMode=writeback ”4. Restart the cellsrv service# cellcli -e alter cell startup services cellsrv5. Recreate the flash cache # cellcli -e create flashcache all确认 Exadata 计算节点间的网络带宽可以采用 nc nc-1.84-10.fc6.x86_64.rpm 获得检测多个OR

17、ACLE_HOM是否RDS可用？dcli -g /opt/oracle.SupportTools/onecommand/dbs_group -l oracle md5sum $ORACLE_HOME/lib/libskgxp11.sorelink ORACLE_HOME的 RDSdcli -g /opt/oracle.SupportTools/onecommand/dbs_group -l oracle “ export ORACLE_HOME=$ORACLE_HOME;cd pwd;makei*mk ipc_rds ”dcli -g /opt/oracle.SupportTools/onec

18、ommand/dbs_group -l oracle “ ex portORACLE_HOME=$ORACLE_HOME;cd pwd;makei*mk ioracle ” | egrep rm|mv.*oracle 不同配置 Exadata 的推荐最大并行度配置CPU个 数推荐最大 ParallelismFull Rack64 coreDOP=256Half Rack32 coreDOP=128Quarter Rack16 coreDOP=64Exadata EHCC 支持Exadata的EHC（支持宽表 最大支持1000个字段的表，而不像11.1中的压缩仅 支持最多 255 列的表Exad

19、ata 压缩信息通过 dbms_compression.get_compression_ratio 可以获得表的压缩信息针对写日志 redo 特别多的应用建议启用 Smart Flash logging 特性CREATE FLASHLOG ALLCREATE FLASHLOG ALL SIZE=1GCREATE FLASHLOG CELLDlSK=1,fd2 CREATE FLASHLOG CELLD=1,fd2 SIZE=1GExadata DB 管理Exadata 存储空间计算FreeMB（最大可用空间）=GridDisk*12*Num of Cells/RedundancyUsableM

20、B （支持1个CELL故障的最大可用空间）=GridDisk*12*（Num of Cells - 1） /Redu nda ncy查看 cell 软件版本imagehistoryimageinfo了解 cell 的温度dcli -g cell_group -l root“ipmitool sensor | grepInlet Amb Temp ”cell 存储节点的日志存放位置$ADR_BASE/diag/asm/cell/host name/trace/alert.log$ADR_BASE/diag/asm/cell/host name/trace/ms-odl.*$ADR_BASE/di

21、ag/asm/cell/hostname/trace/svtrc_0.trc ps -ef | grep“ cellsrv 100 $ADR_BASE/diag/asm/cell/hostname/incident/*/var/log/messages*, dmesg /var/log/sa/*/var/log/cellos/*列出 cell 中的 alert historylist alerthistory where notificationState like 023 and severity like warning|critical and examinedBy = NULL;为 c

22、ell 创建一个告警阈值cellclicreate threshold CD_IO_ERRS_MIN warning=1, comparison= = , occurrences=1, observation=1;cell 可用性监控一般建议使用 EMGC Oracle Exadata Storage Server Management Plug-In 控如何禁用 Smart Scan?设置 Cell_offload_processing=false如何禁用 storage index?设置 _kcfis_storageidx_disabled=true如何禁用 flash cache?11.

23、2.0.2 以后 设置 _kcfis_keep_in_cellfc_enabled=false11.2.0.1 中设置 _kcfis_control1=1cell 相关的数据库视图有以下这些视图select * from sys.GV_$CELL_STATE;select * from sys.GV_$CELL;select * from sys.GV_$CELL_THREAD_HISTORY;select * from sys.GV_$CELL_REQUEST_TOTALS;select * from sys.GV_$CELL_CONFIG;配置 Inter-Database IORMCel

24、lCLI alter iormpla n dbpla n = (n ame = producti on, level = 1, allocati on = 100),-(n ame = test, level = 2, allocati on = 80),-(name = other, level = 2, allocation = 20)IORMPLAN successfully alteredCellCLI alter iormplan activeIORMPLAN successfully alteredCellCLI list iormplan detailname: cell4_IO

25、RMPLANcatPlan:dbPlan: name=production,level=1,allocation=100 name=test,level=2,allocation=80name=other,level=2,allocation=20status: active如何禁用布隆过滤 Bloom Fliter设置 _bloom_pruning_enabled=falseExadata 数据备份backup 备份速率Exadata下rman备份的速率从1通道到8通道 大约为1003MB/S到2081MB/S, 视乎配置不同也略微有区别recovery 应用日志恢复速率exadata re

26、covery 的速率大约为每秒 6001000MB/s的归档日志Standby databaSe 搭建对于50TB的sta ndby database 搭建，若使用infini ba nd + 4rman通道大约耗费5.5小时，若使用GigE则在18个小时左右Exadata 恢复cell 救护可以通过 /opt/oracle.SupportTools/make_cellboot_usb 脚本创建部 USB cellboot_usb_in_rescure_modeExadata 部署on ecomma n(下载可以下载 patch (9935478) ONECOMMAND FOR Exadata

27、 11gR2Exadata 安装前准备工作1. 下载安装介质包括 Grid, Database,Patches 等2. 硬件设备到货验收并安装就绪3. 规划DBM用的管理网，生产网，ILOM等用的网段和IP地址4. 配置DNS服务器5. 将IP地址和域名注册到DNSK务器6. 配置NTP服务器7. 网络连线环境检查1. 检查DBM主机的ethO网卡是否可以通过cisco交换机被访问2. 检查 hardware and firmware profile 是否正确3. 验证 InfiniBand Network验证网络连通性1. 登陆第一台数据库服务器使用 sh 脚本验证网络连通性2. 验证DNS

28、是否正常3. 验证 NTP 服务器是否正常安装 Exadata Storage Server Image Patch (root user)1. 在 db server 和 cell server 上为 root 用户配置 SSH# /opt/oracle.SupportTools/onecommand/setssh.sh -s -u root -p password-n N -h dbs_group2. 检查当前 Cell storage server 的 Exadata Image 版本3. 安装最新的 Patch 具体步骤详见 Readme4. 验证当前 Exadata Image ve

29、rsion#cd /opt/oracle.SupportTools/firstconf#dcli -l root -g quarter imagehistory | grep i Versio n使用OneComman工具完成DBM勺配置安装1. #cd /opt/oracle.SupportTools/onecommand2. Display the onecommand steps# ./deploy112.sh -i - I3. The steps in order are Step 0 = ValidateThisNodeSetupStep 1 = SetupSSHForRootSte

30、p 2 = ValidateAllNodesStep 3 = UnzipFilesStep 4 = UpdateEtcHostsStep 5 = CreateCellipnitoraStep 6 = ValidateHWStep 7 = ValidateIBStep 8 = ValidateCellStep 9 = PingRdsCheckStep 10 = RunCalibrateStep 11 = ValidateTimeDateStep 12 = UpdateConfigStep 13 = CreateUserAccountsStep 14 = SetupSSHForUsersStep

31、15 = CreateOraHomesStep 16 = CreateGridDisksStep 17 = InstallGridSoftwareStep 18 = RunGridRootScriptsStep 19 = Install112DBSoftwareStep 20 = Create112ListenerStep 21 = RunAsmCaStep 22 = UnlockGIHomeStep 23 = UpdateOPatchStep 24 = ApplyBPStep 25 = RelinkRDSStep 26 = LockUpGIStep 27 = SetupCellEmailAl

32、ertsStep 28 = RunDbcaStep 29 = SetupEMDbControlStep 30 = ApplySecurityFixesStep 31 = ResecureMachineTo run a command#./deploy112.sh - i - s NWhere N corresponds to a step numberExample to run step 0Exadata 监控exachk健康检查脚本exachk脚本可以以daemon形式后台运行./exachk - d start以 daemon形式 cluster support 运行./exachk -

33、 cluster no des no de1, node N- d start!Exadata文档信息Exadata 的官方文档 docs.oracle./cd/E50790_01/welcome.html另外文档还保存在您 cell 的/opt/oracle/cell/doc/目录下。Exadata硬件篇常规默认密码，以下是 Exadata中cell/db node IB等的默认密码:组件登陆默认密码Storage Cellsroot nm 2userwelcome1Infiniband Switchroot nm 2userwelcome1 cha ngemeDB节点rootwelcome

34、1CELL CLIcelladminwelcomeILOMrootwelcome1KVM SwitchAdm in or noneGigE switch初始安装后asmsnmp的账号一般也是welcome1硬件常规巡检: 在机房例行检查时，需要从 Exadata 机箱后方查看 Exadata 中是否有黄灯报警， 如果有，记录位置，即时登录OEM/ILOM集成的第三方监控工具查明原因，定位部件，即时维护。Exadata 一体机健康检查脚本 exachk，参考 document 1070954.1检测 Exadata 数据库机器上的硬件和固件版本是否匹配？/opt/oracle.SupportTo

35、ols/CheckHWnFWProfile返回如下结果说明版本匹配：SUCCESSThe hardware and firmware profile matches one of the supported profile检测软件版本与平台是否匹配？/opt/oracle.SupportTools/CheckSWProfile.sh -c为 cell 启用告警ALTER CELL smtpServer= mailserver.maildomain. , - smtpFromAddr=firstname.lastnamemaildomain.,smtpToAddr= firstname.last

36、namemaildomain.,smtpFrom= Exadata cell , -smtpPort= , smtpUseSSL= TRUE ,notificationPolicy= critical,warning,clear , notificationMethod=mail;alter cell validate mail;监控 磁盘故障当通过机房例行检查发现硬件黄灯警告或通过监控工具（命令行/ILOM/第三方工具）发现故障并确定位置后 , 可进行更换操作。更换 Storage Cell 硬盘命令行登录 Cell, 判断故障硬盘 , 例如 :CellCLI LIST PHYSICALDI

37、SK WHERE diskType=HardDisk AND status=critical DETAIL观察 Database Server 磁盘状态rootdm01db01 # cd /opt/MegaRAID/MegaCli/rootdm01db01 MegaCli# ./MegaCli64 -Pdlist -aAll | grep“ Slot|Firmware ”观察 Database Server RAID 状态rootdmOldbOl MegaCIi# ./MegaCli64 -LdInfo -IAII- aAllStorage Cell 加电启动远程登陆Storage Cell控

38、制器ILOM,执行PowerOn,其它为系统的自动启动过程, 知道 Storage Cell 就绪CellCLI LIST GRIDDISK若没有 Active, 需:CellCLI ALTER GRIDDISK ALL ACTIVE等grid disk Active后,ASM会自动同步，使grid disk Online,查看状态：CellCLI LIST GRIDDISK ATTRIBUTES name, asmmodestatus确认AS贓据自动重新分布是否已经开始或完成。Grid用户登录+ASMS例执行:select * from v$asm_operation;通过 EM SYSLO

39、G Cellcli 、ILOM查看是否有告警解除信息检测memory ECC错昔误ipmitool sel list | grep ECC | cut -f1 -d : | sort -u若发现 Exadata 上存在磁盘损毁则：使用 /opt/oracle.SupportTools/sundiag.sh 收集详细信息 并发给 oracle support检测 cell server Cache Policycell08# MegaCli64 -LDInfo -Lall -aALL | grep Current CachePolicyCurrent Cache Policy: WriteThr

40、ough, ReadAheadNone, Direct, No Write Cache if Bad BBU cell09# MegaCli64 -LDInfo -Lall -aALL | grep Current CachePolicyCurrent Cache Policy: WriteBack, ReadAheadNone,Direct, No Write Cache if Bad BBUDefault Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBUCurrent Cache Policy

41、: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBUCache policy is in WBWould recommend proactive battery repalcement.Example :a. /opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -LALL -aALL#( Will list the cache policy)b. /opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -WB -LALL -aALL#( Wi

42、ll try to change teh policy from xx to WB)So policy Change to WB will not come into effect immediatelySet Write Policy to WriteBack on Adapter 0, VD 0 (target id: 0) successBattery capacity is below the threshold value检测 cell BBU 备用电池状态：cell08# /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatu

43、s -a0BBU status for Adapter: 0BatteryType: iBBUVoltage: 4061 mVCurrent: 0 mATemperature: 36 CBBU Firmware Status:Charging Status : NoneVoltage : OKTemperature : OKLearnCycle Requested : NoLearn Cycle Active : NoLearn CycleStatus : OKLearn Cycle Timeout : NoI2c Errors Detected : NoBattery Pack Missin

44、g : NoBattery Replacement required : NoRemaining Capacity Low : YesPeriodic Learn Required : No Battery state:GasGuageStatus:Fully Discharged : NoFully Charged : YesDischarging : YesInitialized : YesRemaining Time Alarm : NoRemaining Capacity Alarm: NoDischarge Terminated : NoOver Temperature : NoCh

45、arging Terminated : NoOver Charged : NoRelative State of Charge: 99 %Charger System State: 49168Charger SystemCtrl: 0Charging current: 0 mAAbsolute state of charge: 21 %MaxError: 2 % Exit Code: 0x00批量检测BBU信息：dcli -g /cell_group -l root -t uname-srm ; head -1 /etc/*release ; uptime | cut -d, -f1 ; im

46、agehistory ; ipmitool sunoem cli show /SP system_description system_identifier | grep =;ipmitool sun oem cli show /SP/policy FLASH_ACCELERATOR_CARD_INSTALLED /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmdGetBbuStatus -aO | egrep -i BBU|Battery|Charge:|Fully|Low|Learn; | tee /tmp/Exa lnfo.logExadata 停机：1

47、. 确认无业务访问，以root用户登录第1个数据库服务器节点2停止数据库（详见RAC/ASM隹护之RAC启停章节）3. 停止 Cluster# GRID_HOME/grid/bi n/crsctl stop cluster -all4. 停除本机以外的数据库节点# dcli -l root -c dm01db02,dm01db03,dm01db04 shutdow n -h -y now5. 停存储服务器cell_group 可自编辑，执行时并可由root用户读取该文件（askmaclean.） 另需参考Storage Cell存储维护Storage Cell停机章节信息后方可执行下述 命令#

48、 dcli -l root -g cell_group shutdow n -h -y now6. 停本机 # shutdow n -h -y now7. 此时可通过ILOM远程关机8. 整机下电（关PDU）Exadata 启动1、为机柜加电（SWITCH自然加电）打开PDU开关进行加电，服务器指示灯都变绿，慢闪 若需手工开机数据库服务器、存储服务器需要按住其开关5秒。也可在ILOM中点击Cell的Poweron开关进行开机，服务器指示灯为绿色长亮, 再点击DB Server的Poweron开关进行开机，服务器指示灯为绿色长亮。2、检查是否有黄灯报警。3、启动数据库、应用等。Infiniban

49、d 篇启停 IBSwitch1. InfiniBand Switch 电源的开启或关闭InfiniBand Switch提供冗余电源,分别插在Exadata的2个冗余PDU电源上,并 随PDU机柜电源开启或关闭 , 若关闭 InfiniBand Switch 需断掉 InfiniBand Switch 的的冗余电 源。2.查看OEM等是否有相关报警。ILOM无法报警从 cell1 的 cellcli 中查看 list alerthistory 可以看到3. 从 db01 查看网络拓扑状态rootdm01db01 # cd /opt/oracle.SupportTools/ibdiagtoolsrootdm01db01 ibdiagtools# ./verify-topology -t halfrack4. 插入 InfiniBand 电源线 , 查看 InfiniBand Switch 正常启动检查 IB 链路状态# /opt