资料仓储与资料采掘概述

1、資料倉儲技術篇第 1 章 資料倉儲與資料採掘概述1.1 資料倉儲的發展與展望1.2 資料倉儲的架構1.3 資料倉儲的參照結構1.4 資料採掘技術1.5 資料採掘技術與工具 1.6 資料倉儲與資料採掘的應用 1.7 資料倉儲應用1.8 資料倉儲導向的決策支援系統1.9 資料倉儲的商業應用1.10 資料倉儲與資料採掘的應用習題 隨著資訊技術的不斷推廣和應用，許多企業都已經在使用管理資訊系統(MIS)處理管理交易和日常業務。這些管理資訊系統為企業累積了大量的資訊因此，在資訊處理中，產生了與傳統資料庫有很大差異的資料環境要求，和從這些巨量資料中獲取特殊知識的工具的需要。 1.1 資料倉儲的發展與展望傳

2、統資料庫只保留了當前的業務處理資訊，缺乏決策分析所需要的大量歷史資訊。為滿足管理人員的決策分析需求，就需要在資料庫的基礎上產生適應決策分析的資料環境資料倉儲 (DW，Data Warehouse)。 1.1.1 從傳統資料庫到資料倉儲決策處理的系統回應問題在傳統的業務處理系統中，客戶對系統和資料庫的要求是資料存取頻率要高，操作時間要快。在決策分析處理中，客戶對系統和資料的要求則發生了很大的變化。這些操作必然要消耗大量的系統資源，這是對業務處理即時反應的交易處理系統所無法忍受的。 決策資料需求的問題在進行決策分析時，需要有整體、正確的整合式資料，這些整合式資料不僅包含企業內部各部門的有關資料，而

3、且還包含企業外部的，甚至競爭對手的相關資料。但是在傳統資料庫中，只儲存了本部門的交易處理資料，而沒有與決策問題有關的整合式資料，更沒有企業外部的資料。 在決策資料的整合中還需要解決資料混亂問題。例如，企業進行併購活動之後，被併購企業的資訊系統與併購企業的系統不相容，資料無法共享。例如，在系統開發中，由於資金的缺乏，只考慮了一些關鍵系統的開發，而對其他系統不予考慮，使決策資料無法整合。 例如，員工的性別在人力資訊系統中可能用邏輯值“M”和“F”表示，在財務系統中可能用數字“0”和“I”表示。例如，名稱為“GH”的欄位名稱在人事系統中表示為員工的“員工號碼”，但是在銷售管理系統中卻表示為“購貨號碼

4、”。這樣在使用這些資料作出決策之前，必須對這些資料作分析，確認其真實含義。 在決策分析中，系統常常需要從資料庫中萃取資料、搜尋有用的資料，然後將這些資料導入其他文件或資料庫中，供客戶使用。這些被萃取出來的資料，有可能被其他客戶再次萃萃取。由於這種不加限制的資料連續萃取，使企業的資料空間構成了一個錯綜複雜的資料“蜘蛛網”(Spiders Web)，即形成了自然演化架構 資料的整合還涉及到外部資料與非結構化資料的應用問題。例如行業的統計報告、顧問公司的市場調查分析資料。這些資料必須經過格式、類型的轉換，才能被決策系統應用。為完成交易處理的需求，傳統資料庫中的資料一般只保留當前的資料。但是對於決策分

5、析而言，歷史的、長期的資料卻具有重要的意義。 在決策分析程序中，決策人員往往需要的並不是非常詳細的資料，而是一些經過匯總、彙總的資料。決策資料操作的問題決策分析人員則往往希望以專業客戶的身份而不是參數客戶的身份對資料進行操作，他們往往希望能夠用各種工具對資料進行多種形式的操作，希望資料操作的結果能以商業智慧(Business Intelligence，BI )的形式呈現出來。資料倉儲與傳統資料庫的對比資料倉儲雖然是從資料庫發展而來的，但是兩者在許多方面都存在著相當大的差異，如表1-1所示。 資料庫只存放當前之值，而資料倉儲則存放歷史值資料庫中資料的目標是面對業務操作人員資料倉儲則是面對中高層主

6、管資料庫內的資料是動態變化的，資料倉儲則是靜態的歷史性資料資料庫中的資料結構比較複雜，資料倉儲中的資料結構則較為簡單。 資料庫中資料的存取頻率較高，但是存取資料的數量較少；資料倉儲的存取頻率較低，但是資料存取量要遠高於資料庫。資料庫在存取資料時要求回應速度很快，資料倉儲的反應時間則可能長達數小時。 1.1.2 資料倉儲的定義與基本特色William H.Inmon在1993年所寫的論著Building the Data Warehouse則首先系統地闡述了關於資料倉儲的理論，為資料倉儲的發展奠定了里程碑。在內文中，他將資料倉儲定義為： “一個主題是導向的、整合式、隨時間變化的、不易失漏性資料的

7、集合，用於支援管理層的決策程序”。主題式導向(Subject oriented)資料倉儲的創建、使用都是焦距於主題執行的。因此，我們必須了解如何按照決策分析來萃取主題；所萃取出的主題應該包含哪些資料內容；這些資料內容應該如何組織。 在確定主題之後，需要確定主題所應該包含的資料。此時，應該注意不能將鎖定主題的資料與交易處理系統中的資料相混淆。 在主題的資料組織中應該注意，不同的主題之間可能會出現相互重疊的資訊。主題在資料倉儲中可以用多維資料庫方式進行儲存。 整合式資料(Integrated Data)資料倉儲的整合性是指根據決策分析的需求，將分散於各處的原始資料進行萃取、篩選、淨化、整合等工作，

8、使資料倉儲中的資料具有整合性。 資料的時變性(Time-Variant)資料倉儲的時變性，就是資料應該隨著時間的推移而不斷發生變化。資料倉儲資料的時變性，不僅反映在資料的追加方面，而且還反映在資料的刪除上。資料倉儲中資料的時變性還表現在彙總資料的變化上。 資料的不易失漏性(Nonvolatile)資料的不易失漏性可以支援不同的客戶在不同的時間查詢、分析相同的問題時，獲得同一結果。 資料的聚合性(Aggregate) 資料倉儲所採用的資料聚合方式，主要是以多維資料庫方式進行儲存的多維模式、以關聯式資料庫方式進行儲存的關聯式模式或以兩者相整合的方式進行儲存的混合模式。 支援管理中的決策制定程序企業

9、各級主管可以利用資料倉儲進行各種管理決策的分析，利用自己獨特而敏銳的商業透視力和業務知識，從貌似平淡的資料中發現潛在的商機。 1.1.3 資料倉儲的未來趨勢 關聯式物件資料庫的資料倉儲 關聯式物件資料庫的出現使得資料倉儲設計人員可以將物件引入到資料倉儲環境中。物件導向技術引入資料倉儲之後，客戶可以定義適合某種資料類型的最佳操作。關聯式物件資料庫作為資料倉儲平台不僅為複雜資料類提供了可延伸功能，而且還為資料倉庫平台提供了對資料處理的功能延伸。 網路的影響未來的資料倉儲將越來越依賴於網路作資料的傳輸、資料的使用申請處理。客戶可以藉助於內部網路或外部網路使用資料倉儲，這就需要資料倉儲具有網路使用方面

10、的能力。 操作型資料倉儲 “操作型資料倉儲”就能夠以一種可以接受的標準對資料倉儲進行操作。這些標準包括可預測性、可利用性和可存取性。 Web應用中的代理技術資料倉儲的Web應用主要是指客戶利用合作夥伴(partner)的資料倉儲或Intranet(企業內部網路)系統中的多維資料集合進行決策分析活動。 1.2 資料倉儲的架構1.2.1 資料倉儲的概念架構1.2.2 虛擬資料倉儲結構 1.2.3 資料市集架構1.2.4 單一資料倉儲結構 1.2.5 分散式資料倉儲結構 1.3 資料倉儲的參照結構資料倉儲的基本功能包括：資料萃取、資料篩選和淨化、清理之後的資料載入、建構資料市集、完成資料倉儲的查詢、

11、決策分析和知識採掘等。1.3.1 資料倉儲基本功能層資料倉儲的基本功能部份包含了資料來源、資料準備區、資料倉儲架構、資料市集或知識採掘庫以及資料的存取與使用功能部分，如圖1.7所示。資料倉儲的資料來源業務資料業務資料是指那些從組織目前正在執行的業務處理系統那裡收集到並保儲存在業務處理系統資料儲存中的資料。歷史性資料指組織在長期的資訊處理程序中所累積下來的資料，這些資料一般進行了離線處理。 辦公資料主要是指組織內部的辦公系統資料，這些資料分為電子資料和非電子資料兩種。Web資料Web資料是企業透過網際網路所獲取的資料，這些資料可以透過企業的電子商務系統獲取，也可以透過網路調查獲取。 外部資料外部

12、資料是指那些不為企業所操作、所擁有、所控制的資料，這些資料有的是電子形式的。資料來源超資料資料來源資料屬於超資料管理層範圍，在資料倉儲中的所有資料都需要透過超資料管理層來進行管理、控制。 資料準備區的功能結構資料的標準化處理資料準備區的標準化處理主要是將同名不同內容的、同內容不同名的、同名同內容但不同結構的資料進行統一處理。資料的過濾與適配 資料的過濾與適配主要是對進入資料倉儲的資料按照客戶的需要進行篩選。 資料的淨化處理資料的淨化處理主要是對準備載入到資料倉儲中的資料進行正確性判斷。加蓋資料的時間戳由於在資料倉儲中要進行資料的彙總，以分析交易的發展趨勢。 確認資料品質 資料倉儲中資料品量的高

13、低是資料倉儲能否成功的關鍵因素之一。超資料萃取與創建資料的持續改善程序中，還需要從資料來源中確定這些源資料的超資料內容。 資料倉儲功的能結構資料重整資料重整是為使資料倉儲能夠更好地為客戶服務所進行的一系列預先操作。資料的整合與分解對來自不同系統的資料進行整合，創建新的資料。資料的彙總與聚集資料的概括聚集處理就是根據某一屬性將資料進行匯總。 資料的預算與推導預算與推導的結果都是事先進行的計算，並作為資料倉儲的欄位儲存在資料倉儲中。資料的編譯與格式化對來自不同資料來源的資料進行編譯和格式化處理，便於今後的統一處理。 資料的轉換與映射對己經儲存好的資料進行轉移或再映像到資料來源中，有利於對新生成或發

14、生變化的資料添加更新。資料倉儲創建資料倉儲創建作為資料倉儲的核心功能應該完成資料倉儲的建模、資料的一般性、資料的整合、資料的調整與確認、建構結構化查詢。 資料倉儲的建模 從己經創建的資料模型中導出資料倉儲的資料模型(星狀模型或雪花模型)。資料的彙總根據客戶的需要，從初步的一般性資料中創建客戶所需的高度彙總資料。 資料的聚集從擁有大批量資料的資料倉儲中進行查詢分析是一個非常費時的操作。 資料的調整與確認在資料完成彙總與聚集之後，需要對彙總與聚集後的資料進行確認。 建構結構化查詢為提高一些結構化查詢，可以預定義這些查詢，並將這些結構化查詢作為超資料儲存在超資料庫中。超資料管理超資料管理功能主要包含

15、超資料瀏覽與導覽、超資料的萃取與創建、創建字彙表。 超資料瀏覽與導覽資料倉儲的建構者在資料倉儲的建設和維護程序中需要利用資料倉儲的超資料瀏覽和導覽功能。超資料的萃取與創建在資料重整程序中需要從整合資料、彙總資料和衍生資料中捕獲超資料。 創建詞彙表在創建資料倉儲的程序中，需要根據所捕獲的超資料建構超資料的詞彙表。 資料市集 / 知識採掘庫結構資料倉儲的資料存取與使用結構 1.3.2 資料倉儲的管理層1.3.3 資料倉儲的超資料管理層 資料倉儲、資料市集和超資料詞彙表管理超資料管理層利用超資料詞彙表來管理資料倉儲和資料市集中的邏輯資料模型、實體資料模型以及與技術和業務相關的資料說明。 超資料萃取、

16、創建、儲存和更新管理超資料在資料倉儲對資料來源進行資料萃取、清理、載入等操作程序中需要對所涉及到的超資料進行萃取、創建、儲存和更新處理。 預訂定義的查詢、報表和索引管理在超資料管理中還需要對設計人員為資料倉儲客戶預訂定義的查詢和報表進行管理，將預定義的查詢和報表的處理方式甚至處理結果置於超資料庫中。 更新、複製、恢復、登錄、歸檔與淨化管理資料倉儲所連接的資料源發生了變化時，資料倉儲的內容也要定期更新。這些更新工作的進行需要依靠超資料庫中所包含約有關說明。 1.3.4 資料倉儲的環境支援層 資料倉儲的資料傳輸層資料傳輸層的架構資料傳輸層中的資料傳輸和傳送網路包括網路協定、網路管理框架、網路操作系

17、統和網路。客戶端 / 伺服器與中間元件客戶端 / 伺服器代理和中間元件部分包括資料庫網路、資料倉儲的中間元件、傳輸層的資料倉儲資料發佈和複製系統等。 資料複製系統在傳輸層的複製系統中有發布與複製系統、資料庫閘道內所定義的複製工具、專用的資料倉儲產品等。 資料倉儲的基礎層 資料倉儲的基礎層中包括系統管理、工作流程管理、儲存系統、處理系統等部分，如圖1.16所示。1.4 資料採掘技術1989年8月，在第11屆國際人工智慧聯合會議的專題研討會上首次提出了資料庫導向的知識發現(KDD，Knowledge Discovery in Database)技術。 該技術涉及到機器學習,模式識別、統計學、智慧型

18、資料庫、知識獲取、專家系統、資料視覺化、高性能計算等領域。 1.4.1 資料採掘的發展超大型資料庫的出現依靠電腦自動收集的各種業務處理資料使許多大規模資料庫或資料倉儲擁有了大量的業務處理資料、市場變化資料。先進的電腦技術先進的電腦技術水準已成為促進資料採掘技術發展的第二個重要因素。 管理的需求 企業所面臨的市場競爭壓力日趨嚴重，企業經營管理者希望能夠從企業累積的大量歷史資料中,找到應對日趨嚴重競爭壓力的良方，希望能夠從這些資料中找到管理中發生問題的根本原因。 對資料採掘的精深計算能力大規模資料的採掘需要複雜的、精深的計算能力，這些精深的計算能力主要以統計學、集合論、資訊論、認識論和人工智慧等各

19、種學科理論為基礎。 1.4.2 資料採掘的定義資料採掘的定義現在很多，在不同的教科書上有不同的定義。呈現方式雖然不同，但本質都是一樣的。這裡主要從技術角度和商業角度給出資料採掘的定義。 資料採掘的技術定義從技術角度看，資料採掘是從大量的、不完全的、有噪音的、模糊的、隨機的實際資料中提取隱含在其中的、人們所不知道的但又是潛在有用的資訊和知識的程序。 資料採掘的商業定義商業應用角度來看，資料採掘是一種嶄新的商業資訊處理技術，其主要特點是對商業資料庫中的大量業務資料進行萃取、轉化、分析和模式化處理，從中提取輔助商業決策的關鍵知識，即從一個資料庫中自動發現相關商業模式。 1.5 資料採掘技術與工具 1

20、.5.1 常用的資料採掘技術資料採掘的發展受到資料庫系統、統計學、機器學習、視覺化技術、資訊技術以及其他學科的影響，例如類神經網路、模糊 / 粗糙集理論、知識表示、歸納技術、高性能計算等。 如果從常用的資料採掘技術來看可以分成三大類：傳統分析類傳統的統計分析 (或稱資料分析)技術中使用的資料採掘模型有線性分析、非線性分析、迴歸分析、邏輯迴歸分析、單變數分析、多變數分析、時間序列分析、最近近鄰演算法、群集分析等。 知識發現類知識發現類資料採掘技術包括類神經網路、決策樹、基因演算法、粗糙集、規則發現、關聯順序等。類神經網路是模擬人腦神經元結構 決策樹是一個類似於流程圖的樹結構基因演算法是近幾年發展

21、起來的一種嶄新的整體最佳化演算法 粗糙集能夠在缺少關於資料先驗知識的情況下 資料採掘技術的發展在資料採掘技術的最新發展中包括了文字資料採掘、Web資料採掘、視覺化系統、空間資料採掘和分散式資料採掘技術等。 文字資料採掘和Web資料採掘是近幾年新發展起來的嶄新資料採掘技術 可視覺化系統是為了便資料採掘能夠以圖形或影像的方式在螢幕上顯示出來 空間資料採掘是地理資訊系統導向的資料採掘技術。 分散式資料採掘是分散式資料庫導向並利用分散式演算法從分散式資料庫中採掘知識的技術。 1.5.2 常用資料採掘工具按使用方式分類的資料採掘工具決策方案生成工具往往是針對某個特定行業或特定問題而開發的一類資料採掘工具

22、。 商業分析工具有兩種類型。一種是只為客戶提供一個黑箱，另一種資料採掘工具則向客戶展示資料採掘模型 按資料採掘技術分類的資料採掘工具按照資料採掘的技術可以分成：類神經網路導向的工具規則和決策樹導向的工具模糊邏輯導向的工具整合性資料採掘工具等 按應用範圍分類的資料採掘工具專用型資料採掘工具專用型資料採掘工具主要用於某一特定領域。通用型資料採掘工具通用型資料採掘工具一般不考慮所採掘物件的實際含義，只提供各種通用採掘演算法。 通用型資料採掘工具 ：IBM公司的IM智慧型採掘器，這是一套包括了Explorer、Diamond和Quest在內的軟體產品。SPSS公司統計套裝軟體SPSS在統計領域處於領先

23、的地位 Red Brick公司的Red Brick資料採掘工具是第一個將資料採掘解決方案與資料庫整合在一起的資料採掘元件。 1.5.3 資料採掘工具的評估標準如何選擇滿足需要的資料採掘工具就成了資料採掘應用中首先要解決的問題。在選擇資料採掘工具時，一般可以參照以下評價標準。 模式種類的數量資料採掘工具能夠提供的模式越多，它的知識發現能力越強，而且多種類型模式的整合應用，有助於降低問題的複雜性。解決複雜問題的能力為了解資料採掘工具解決複雜問題的能力，可以從採掘工具的模式應用、資料選擇和轉換能力、視覺化程度和延伸性等方面審視。資料採掘工具的延伸性也是提高採掘工具解決複雜問題能力的一個重要因素。 操

24、作性能操作性能的好壞是一個影響採掘工具性能的重要因素。資料獲取能力 沒有一種工具可以支援所有類型的資料庫或資料倉儲，但應該可以通過通用接口連接大多數流行的資料庫或資料倉儲，這有利於提高資料採掘工具的使用範圍。 採掘結果的輸出資料採掘工具不僅能夠將採掘結果以多種方式輸出，而且要求輸出的結果便於客戶的瞭解與應用。噪音資料的處理及採掘工具的穩健性噪音資料的處理從另一個角度說明採掘工具需要具有一定的穩定性，從資料採掘工具的目標來看，是希望能夠對未知的物件做出正確的判斷。 1.5.4 常用資料採掘工具的選擇由於資料採掘工具種類繁多，客戶在選擇採掘工具時，需要從工具的實用性和技術性方面進行研究。 從技術性

25、方面審視資料採掘工具時，需要根據資料採掘工具評估標準，選擇那些技術性能指標良好的資料採掘工具。 1.6 資料倉儲與資料採掘的應用1.6.1 資料採掘與資料倉儲根據資料採掘的定義，我們可以看出，資料採掘包含了一系列旨在從資料集合中發現有用而未發現的模式的技術，如果將其與資料倉儲緊密聯結在一起，將獲得意外的成功。傳統的觀點認為資料採掘技術紮根於電腦科學和數學，不需要也不會得益於資料倉儲。這種觀點是不正確的 當然從資料採掘與資料倉儲的整合情況來看，資料採掘技術己經成為資料倉儲應用的強大支柱。資料採掘技術在資料倉儲中的應用，正好彌補了資料倉儲只能提供大量資料，而無法進行深度資訊分析的缺陷。 1.6.2

26、 資料採掘程序確定採掘物件定義清晰的採掘物件，認清資料採掘的目標是資料採掘的第一步。在資料採掘的第一步中，有時還需要客戶提供一些先驗知識，例如概念樹等。準備資料資料的選擇在確定資料採掘的業務物件之後，就需要搜尋所有與業務物件有關的內部資料和外部資料，從中選擇出適合於資料採掘應用的資料。 資料的預先處理 在選擇好資料之後，還需要對資料進行預先處理，對資料進行淨化，解決資料中的遺漏值、冗餘、資料值的不一致、資料定義的不一致、過時的資料等問題。 採掘模型的建構這個分析模型是鎖定採掘演算法而建構的。建構一個真正適合採掘演算法的分析模型是資料採掘成功的關鍵。模型的建構必須從資料的分析開始。 接著，從原始

27、資料中建構新的預示值。下一步，就需要從資料中選取一個子集或樣本來建構模型。 最後，需要轉換變數，使之和選定用來建構模型的演算法一致。 資料採掘對所得到的經過轉化的資料採掘，除了完善與選擇合適的演算法需要人工干預之外，資料採掘工作主要由採掘工具自動完成。 結果分析當資料採掘出現結果之後，需要對採掘結果作解讀與評估。具體的解讀與評估方法一般應根據資料採掘操作結果所制定的決策成敗來決定。知識的應用資料採掘結果要能夠在實際中得到應用，需要將分析所得到的知識整合到組織機構中去 使這些知識在實際的管理決策分析中得到應用。 1.6.3 資料採掘的客戶 如果從資料採掘的程序看，不同的資料採掘程序需要不同專長的

28、人員，大致為：業務分析人員、資料分析人員和資料管理人員。業務分析人員或稱其為企業管理顧問。 資料分析人員。要求這些人員精通資料採掘分析技術。資料管理人員。這些人員需要精通資料管理技術。 1.7 資料倉儲應用1.7.1 資料倉儲與資料採掘 資訊處理、分析處理和資料採掘是三種主要的資料倉儲應用。資訊處理支援查詢和基本的統計分析，並使用交叉分析表、列表、圖表或圖形報告結果。 線上分析處理支援基本的OLAP操作，包括切片、切塊、下鑽、上捲和轉軸。資料採掘支援知識發現，找出隱藏的模式和關聯，建構分析模型，進行分類和預測，並用視覺化工具提供採掘結果。 1.7.2 資料採掘和資料倉儲的關係 資料採掘庫是資料倉儲的一個邏輯上的子集，而不一定是實體上單獨的資料庫。 資料採掘是一個相對獨立的系統，可以獨立