高效能 Exchange 储存架构之规划及应用实务

MSG105高效能Exchange儲存架構之規劃及應用實務,鄒中傑Windows平台解決方案協理FalconStorSoftwareInc.,課程大綱,了解Exchange系統儲存運作及規劃預估Exchange儲存I/O需求建立儲存區運作IOPS的計算基準依據現有系統實際負載進行預估依據預估的IOPS規劃最佳的磁碟陣列模式驗證磁碟系統的運作是否符合規劃高效能儲存系統的進階需求快速地還原異地的複製,課程大綱,了解Exchange系統儲存運作及規劃預估Exchange儲存I/O需求建立儲存區運作IOPS的計算基準依據現有系統實際負載進行預估依據預估的IOPS規劃最佳的磁碟陣列模式驗證磁碟系統的運作是否符合規劃高效能儲存系統的進階需求快速地還原異地的複製,Exchange系統運作儲存是Exchange效能關鍵因素,STM,IIS,SMTP,NNTP,HTTP,IMAP,POP,STORE,MAILROOT,EDB,LOG,ESE,MAPI,TransactionLogging&PropertyPromotion,Epoxy,STM,EDB,LOG,TEMP,儲存系統,儲存區運作對磁碟的讀寫,Jet資料庫(.edb)隨機讀取和寫入4KB分頁大小資料流資料庫(.stm)通常為循序讀取及寫入，因搜尋需求時會產生動態讀取動作依資料類型分頁大小，一般環境平均為8KB交易記錄檔(.log)一般作業，完全循序寫入復原作業，完全循序讀取,其它影響磁碟讀寫的運作避免造成儲存系統尖峰使用,資料庫的維護實體清空已刪除的資料庫分頁建立內容索引，更新索引郵件的傳遞SMTP郵件接收/傳遞的佇列郵件格式的轉換MIMEtoIMAL分頁檔(虛擬記憶體)未配置Exchange所需的記憶體增加儲存群組未增加記憶體,儲存區效能調整法則資料庫/儲存群組建置原則,建立多個群存群組平均分配資料庫，比一個儲存群組包含多個資料庫，更有效率。Exchange2000SP3之後版本範例：後者比前者好SG1：DB1、DB2、DB3、DB4SG2：DB1、DB2、DB3、DB4準備：配置2G以上記憶體每一個儲存群組會在VirtualMemory先預留250MB供儲存群組運作,SG1：DB1、DB2SG2：DB1、DB2SG3：DB5、DB6SG4：DB7、DB8,儲存區效能調整法則系統檔案配置最佳建議,依運作特性區隔在不同磁碟裝置需要快速隨機讀取寫入的儲存區檔案Jet資料庫/資料流資料庫內容索引檔需要快速循序寫入的儲存區檔案記錄檔SMTP佇列分頁檔(虛擬記憶體),最佳的檔案配置規劃MicrosoftExchangeWeb,C:,System,RAID1(DAS)D:,Paging,RAID1(DAS)E:,SMTP/MTA,RAID10(SAN/DAS)F:,Log,RAID1(SAN/DAS)G:,Database,RAID10(SAN/DAS),C:,System,RAID1(DAS)D:,Paging,RAID1(DAS)E:,SMTP/MTA,RAID10(SAN/DAS)F:,Log,RAID1(SAN/DAS)G:,Database,RAID10(SAN/DAS),問題：為什麼是RAID10不是RAID5如何評量我的儲存裝置是否滿足需求,課程大綱,了解Exchange系統儲存運作及規劃預估Exchange儲存I/O需求建立儲存區運作IOPS的計算基準依據現有系統實際負載進行預估依據預估的IOPS規劃最佳的磁碟陣列模式驗證磁碟系統的運作是否符合規劃高效能儲存系統的進階需求快速地還原異地的複製,使用者所產生I/O參考基準,以一般Outlook的使用者為基準低使用率的使用者的平均需求信箱小於50MB,傳送10封/接收50對於資料庫I/O需求：0.18IOPS一般使用率的使用者的平均需求信箱50MB,傳送20封/接收100對於資料庫I/O需求：0.4IOPS高使用率的使用者的平均需求信箱100MB,傳送30封/接收100對於資料庫I/O需求：0.75IOPS,推算Exchange儲存I/O需求,依據主要使用者使用率類型產生的I/O需求乘以伺服器總人數推算範例：高使用率類型：每個信箱平均0.75IOPS伺服器服務2000信箱預估Exchange儲存I/O需求0.75IOPSx2000信箱=1500IOPS增加20-25%避免尖峰造成的延遲1500IOPSx1.25=1875IOPS,課程大綱,了解Exchange系統儲存運作及規劃預估Exchange儲存I/O需求建立儲存區運作IOPS的計算基準依據現有系統實際負載進行預估依據預估的IOPS規劃最佳的磁碟陣列模式驗證磁碟系統的運作是否符合規劃高效能儲存系統的進階需求快速地還原異地的複製,依實際環境進行預估搜集現有系統運作資料,在效能監視器，記錄以下效能物件所有計數器24小時；監視資料庫所在磁碟。LogicalDiskMSExchangeISPhysicalDiskProcessor評估尖峰時間負載可選擇星期一上班前06:00開始記錄或其它可能造成尖峰使用時間,取得有意義資訊,以效能監視器讀取效能記錄檔新增計數器(包含所有儲存資料庫的磁碟)：LogicalDiskDiskTransfer/sec觀察最高尖峰時段，讀取該時段一小時內DiskTransfer/sec平均值。尖峰時段DiskTransfer/sec平均值代表伺服器尖峰時間總IOPS除以觀察伺服器上的信箱數目，即為每一個信箱平均的IOPS。,從效能監視器觀測並且取得資訊,依據觀測資料預估IOPS,資料庫IOPS預估=信箱數x信箱平均的IOPS記錄檔IOPS預估=0.1x(DBIOPS)增加25%做為尖峰負載的預估下載ServerSizing計算表，輸入效能監視器資訊，產生資料。,實際觀測後IOPS預估範例,計算後分析目前使用者平均IOPS為0.8，若要服務5000人需要多快的儲存設備才能滿足。不考量尖峰時間負載DBIOPS:0.8x5000=4000LogIOPS：0.1x4000=400處理儲存區運作需要能夠提供4400IOPS的儲存設備考量尖峰時間負載4400 x1.25=5500IOPS,課程大綱,了解Exchange系統儲存運作及規劃預估Exchange儲存I/O需求建立儲存區運作IOPS的計算基準依據現有系統實際負載進行預估依據預估的IOPS規劃最佳的磁碟陣列模式驗證磁碟系統的運作是否符合規劃高效能儲存系統的進階需求快速地還原異地的複製,儲存設備規劃的考量,硬碟記憶體快取儲存控制器轉軸RAID規劃匯流排傳輸界面電源供給,規劃儲存系統實際的IOPS因RAID運作特性而有所不同,RAID0(兩顆以上的硬碟)一次讀取、一次寫入RAID1(兩顆硬碟)一次讀取、兩次寫入RAID5(三顆以上硬碟)一次讀取、四次寫入RAID10(四顆以上雙數硬碟)一次讀取、兩次寫入多次寫入增加儲存系統IOPS的需要,規劃儲存系統實際的IOPS會因讀取/寫入比例有所不同,計算儲存系統實際執行的IOPS需求計算公式：(IOPS需求x讀取率)+(IOPS需求x寫入率)x需要寫入次數計算範例：儲存區運作需要2000IOPS，讀取率是66%，寫入率是34%，採用RAID0磁碟陣列規劃，實際需要的IOPS(2000 x0.66)+(2000 x0.34)x2)=2680IOPS,規劃儲存系統實際的IOPS依RAID規劃進行比較,儲存區運作需要2000IOPS，讀取率是66%，寫入率是34%，實際需要的IOPS。RAID0(2000 x0.66)+(2000 x0.34)x1)=2000IOPSRAID1,RAID10(2000 x0.66)+(2000 x0.34)x2)=2680IOPSRAID5(2000 x0.66)+(2000 x0.34)x4)=4040IOPS,規劃儲存系統實際的IOPS需要多少顆硬碟才能符合需求,儲存區運作需要2000IOPS，讀取率是66%，寫入率是34%，實際需要的IOPS。如果單顆硬碟可以提供700IOPSRAID02000IOPS3顆硬碟,2100IOPSRAID1,RAID102680IOPS4顆硬碟,2800IOPSRAID54040IOPS6顆硬碟,4200IOPS,RAID配置容量/成本比較需要考量磁碟系統的容錯保護,RAID配置對於執行效率比較100%Write和100%Write,容量/速度/儲存保障的平衡點,要達到500G容量，以146GB硬碟規劃RAID0：146Gx4=584G完全沒有保護的機制RAID1：目前不可能做到(SATA500G)RAID10：8顆硬碟RAID5：146Gx5有保護機制，但是速度慢達到與RAID10相同IOPS需要配置更多的硬碟數量，成本相近。,儲存硬體規劃與效能增加硬碟與增加快取,UseCACHE,AddDISKS,其它儲存硬體的規劃建議,SCSI硬碟有較好的效能表現10K和15K的轉速，多工性SATA硬碟提供大的儲存容量，但在轉速和多工性上較弱使用Diskpart建立磁碟區WindowsServer2003SP1配合實體磁碟，一軌64Sectors特性CreatePartitionPrimaryAlign=64避免跨兩個磁區的寫入動作,課程大綱,了解Exchange系統儲存運作及規劃預估Exchange儲存I/O需求建立儲存區運作IOPS的計算基準依據現有系統實際負載進行預估依據預估的IOPS規劃最佳的磁碟陣列模式驗證磁碟系統的運作是否符合規劃高效能儲存系統的進階需求快速地還原異地的複製,儲存設備型錄和實測的數據型錄代表最單純環境下最佳的數據,*以上數據僅表示型錄中記錄了最高速據，必須經由專業人員調整後才能夠達到,實際測試驗證是否滿足需求,ExchangeServer2003JetstressTool,利用ExchangeServer2003JetstressTool測試磁碟系統,課程大綱,了解Exchange系統儲存運作及規劃預估Exchange儲存I/O需求建立儲存區運作IOPS的計算基準依據現有系統實際負載進行預估依據預估的IOPS規劃最佳的磁碟陣列模式驗證磁碟系統的運作是否符合規劃高效能儲存系統的進階需求快速地還原異地的複製,資料需要更有效率保護,RecoveryTime,BackupTime,Hours,OverOneDay,Hours,OneDay,MoreDataCouldbeLost,BusinessLost,SnapshotCopy,VirtualDrive,Point-in-TimeImageSnapshotResourceArea,Copy,ProcessingwithClientscontinues,CanbeassignedtootherClientsindependently,IPStor,Copy-on-First-Write(COFW),COPYPROCESS,OriginalVirtualDrive,SnapshotResourcearea,Asdatacopyprogresses,thesnapshotresourceareaisfirstcheckedtoseeifblockscontaindata.Ifso,theyaremovedintothecopyvolume.Ifnot,unchangedblocksaremovedfromtheoriginalvolume.Theendresultisthatthecopyisanexactduplicateoftheoriginalvolumeasitappearedatthetimethesnapshotwastaken.,SnapshotCopyVolume,AutomaticHourlySnapshots,SnapshotStorageArea,OriginalSourceDataVolume,InitialSnapshot(containsnodata),StorageBlocksContaindata,2,6,7,9,10,1,12,2,6,7,9,10,1,12,OlddatablocksarestoredintheSnapshotStorageArea,OlddatablocksarestoredintheSnapshotStorageArea,OlddatablocksarestoredintheSnapshotStorageArea,以Snapshot建立還原時間點,AutomaticHourlySnapshots,SnapshotStorageArea,OriginalSourceDataVolume,InitialSnapshot(containsnodata),StorageBlocksContaindata,2,6,7,9,10,1,12,2,6,7,9,10,1,12,12:17pmApplicationErrorNeedtorestoredataasitwasat10am!,2,6,7,2,6,7,9,10,如果在中午資料庫損毀,BoththesourcevolumeandtheSnapshotstoreddataareusedtore-createthevolumeasitexistedatanearlierpointInthiscase,10am,10:00am!,NewDataBlocksadded,10:00-10:59,11:00-11:59,NewDataBlocksadded,1,12,2,6,7,9,10,AutomaticHourlySnapshots,SnapshotStorageArea,OriginalSourceDataVolume,InitialSnapshot(containsnodata),StorageBlocksContaindata,9:00-9:59,NewDataBlocksadded,9,10,2,6,7,9,10,1,12,2,6,7,由Snapshot