资料仓储与资料采掘概述(ppt 100页).ppt

1、資料倉儲技術篇第 1 章 資料倉儲與資料採掘概述1.1 資料倉儲的發展與展望1.2 資料倉儲的架構1.3 資料倉儲的參照結構1.4 資料採掘技術1.5 資料採掘技術與工具 1.6 資料倉儲與資料採掘的應用 1.7 資料倉儲應用1.8 資料倉儲導向的決策支援系統1.9 資料倉儲的商業應用1.10 資料倉儲與資料採掘的應用習題,隨著資訊技術的不斷推廣和應用，許多企業都已經 在使用管理資訊系統(MIS)處理管理交易和日常業 務。這些管理資訊系統為企業累積了大量的資訊 因此，在資訊處理中，產生了與傳統資料庫有很大 差異的資料環境要求，和從這些巨量資料中獲取特 殊知識的工具的需要。,1.1 資料倉儲的發

2、展與展望,傳統資料庫只保留了當前的業務處理資訊，缺乏決 策分析所需要的大量歷史資訊。為滿足管理人員的 決策分析需求，就需要在資料庫的基礎上產生適應 決策分析的資料環境資料倉儲 (DW，Data Warehouse)。,1.1.1 從傳統資料庫到資料倉儲,決策處理的系統回應問題 在傳統的業務處理系統中，客戶對系統和資料庫的 要求是資料存取頻率要高，操作時間要快。 在決策分析處理中，客戶對系統和資料的要求則發 生了很大的變化。這些操作必然要消耗大量的系統 資源，這是對業務處理即時反應的交易處理系統所 無法忍受的。,決策資料需求的問題 在進行決策分析時，需要有整體、正確的整合式資 料，這些整合式資料

3、不僅包含企業內部各部門的有 關資料，而且還包含企業外部的，甚至競爭對手的 相關資料。但是在傳統資料庫中，只儲存了本部門 的交易處理資料，而沒有與決策問題有關的整合式 資料，更沒有企業外部的資料。,在決策資料的整合中還需要解決資料混亂問題。例 如，企業進行併購活動之後，被併購企業的資訊系 統與併購企業的系統不相容，資料無法共享。 例如，在系統開發中，由於資金的缺乏，只考慮了 一些關鍵系統的開發，而對其他系統不予考慮，使 決策資料無法整合。,例如，員工的性別在人力資訊系統中可能用邏輯值 “M”和“F”表示，在財務系統中可能用數字“0”和“I”表 示。 例如，名稱為“GH”的欄位名稱在人事系統中表示

4、為 員工的“員工號碼”，但是在銷售管理系統中卻表示 為“購貨號碼”。這樣在使用這些資料作出決策之 前，必須對這些資料作分析，確認其真實含義。,在決策分析中，系統常常需要從資料庫中萃取資 料、搜尋有用的資料，然後將這些資料導入其他文 件或資料庫中，供客戶使用。這些被萃取出來的資 料，有可能被其他客戶再次萃萃取。由於這種不加 限制的資料連續萃取，使企業的資料空間構成了一 個錯綜複雜的資料“蜘蛛網”(Spiders Web)，即形成 了自然演化架構,資料的整合還涉及到外部資料與非結構化資料的應 用問題。例如行業的統計報告、顧問公司的市場調 查分析資料。這些資料必須經過格式、類型的轉 換，才能被決策系

5、統應用。 為完成交易處理的需求，傳統資料庫中的資料一般 只保留當前的資料。但是對於決策分析而言，歷史 的、長期的資料卻具有重要的意義。,在決策分析程序中，決策人員往往需要的並不是非 常詳細的資料，而是一些經過匯總、彙總的資料。,決策資料操作的問題 決策分析人員則往往希望以專業客戶的身份而不是 參數客戶的身份對資料進行操作，他們往往希望能 夠用各種工具對資料進行多種形式的操作，希望資 料操作的結果能以商業智慧(Business Intelligence， BI )的形式呈現出來。,資料倉儲與傳統資料庫的對比 資料倉儲雖然是從資料庫發展而來的，但是兩者在 許多方面都存在著相當大的差異，如表1-1所

6、示。,資料庫只存放當前之值，而資料倉儲則存放歷史值 資料庫中資料的目標是面對業務操作人員資料倉儲則是面對中高層主管 資料庫內的資料是動態變化的，資料倉儲則是靜態的歷史性資料 資料庫中的資料結構比較複雜，資料倉儲中的資料結構則較為簡單。,資料庫中資料的存取頻率較高，但是存取資料的數量較少；資料倉儲的存取頻率較低，但是資料存取量要遠高於資料庫。 資料庫在存取資料時要求回應速度很快，資料倉儲的反應時間則可能長達數小時。,1.1.2 資料倉儲的定義與基本特色,William H.Inmon在1993年所寫的論著Building the Data Warehouse則首先系統地闡述了關於資料倉 儲的理論

7、，為資料倉儲的發展奠定了里程碑。在內 文中，他將資料倉儲定義為： “一個主題是導向的、整合式、隨時間變化的、不易失漏性資料的集合，用於支援管理層的決策程序”。,主題式導向(Subject oriented) 資料倉儲的創建、使用都是焦距於主題執行的。因此，我們必須了解如何按照決策分析來萃取主題；所萃取出的主題應該包含哪些資料內容；這些資料內容應該如何組織。,在確定主題之後，需要確定主題所應該包含的資 料。此時，應該注意不能將鎖定主題的資料與交易處理系統中的資料相混淆。 在主題的資料組織中應該注意，不同的主題之間可能會出現相互重疊的資訊。 主題在資料倉儲中可以用多維資料庫方式進行儲存。,整合式資

8、料(Integrated Data) 資料倉儲的整合性是指根據決策分析的需求，將分 散於各處的原始資料進行萃取、篩選、淨化、整合 等工作，使資料倉儲中的資料具有整合性。,資料的時變性(Time-Variant) 資料倉儲的時變性，就是資料應該隨著時間的推移而不斷發生變化。 資料倉儲資料的時變性，不僅反映在資料的追加方面，而且還反映在資料的刪除上。 資料倉儲中資料的時變性還表現在彙總資料的變化上。,資料的不易失漏性(Nonvolatile) 資料的不易失漏性可以支援不同的客戶在不同的時 間查詢、分析相同的問題時，獲得同一結果。,資料的聚合性(Aggregate) 資料倉儲所採用的資料聚合方式，主

9、要是以多維資 料庫方式進行儲存的多維模式、以關聯式資料庫方 式進行儲存的關聯式模式或以兩者相整合的方式進 行儲存的混合模式。,支援管理中的決策制定程序 企業各級主管可以利用資料倉儲進行各種管理決策 的分析，利用自己獨特而敏銳的商業透視力和業務 知識，從貌似平淡的資料中發現潛在的商機。,1.1.3 資料倉儲的未來趨勢,關聯式物件資料庫的資料倉儲 關聯式物件資料庫的出現使得資料倉儲設計人員可以將物件引入到資料倉儲環境中。 物件導向技術引入資料倉儲之後，客戶可以定義適合某種資料類型的最佳操作。 關聯式物件資料庫作為資料倉儲平台不僅為複雜資料類提供了可延伸功能，而且還為資料倉庫平台提供了對資料處理的功

10、能延伸。,網路的影響 未來的資料倉儲將越來越依賴於網路作資料的傳 輸、資料的使用申請處理。客戶可以藉助於內部網 路或外部網路使用資料倉儲，這就需要資料倉儲具 有網路使用方面的能力。,操作型資料倉儲 “操作型資料倉儲”就能夠以一種可以接受的標準對 資料倉儲進行操作。這些標準包括可預測性、可利 用性和可存取性。,Web應用中的代理技術 資料倉儲的Web應用主要是指客戶利用合作夥伴 (partner)的資料倉儲或Intranet(企業內部網路)系統中 的多維資料集合進行決策分析活動。,1.2 資料倉儲的架構1.2.1 資料倉儲的概念架構,1.2.2 虛擬資料倉儲結構,1.2.3 資料市集架構,1.2

11、.4 單一資料倉儲結構,1.2.5 分散式資料倉儲結構,1.3 資料倉儲的參照結構,資料倉儲的基本功能包括：資料萃取、資料篩選和淨 化、清理之後的資料載入、建構資料市集、完成資 料倉儲的查詢、決策分析和知識採掘等。,1.3.1 資料倉儲基本功能層,資料倉儲的基本功能部份包含了資料來源、資料準 備區、資料倉儲架構、資料市集或知識採掘庫以及 資料的存取與使用功能部分，如圖1.7所示。,資料倉儲的資料來源,業務資料 業務資料是指那些從組織目前正在執行的業務處理 系統那裡收集到並保儲存在業務處理系統資料儲存 中的資料。 歷史性資料 指組織在長期的資訊處理程序中所累積下來的資 料，這些資料一般進行了離線

12、處理。,辦公資料 主要是指組織內部的辦公系統資料，這些資料分為 電子資料和非電子資料兩種。 Web資料 Web資料是企業透過網際網路所獲取的資料，這些 資料可以透過企業的電子商務系統獲取，也可以透 過網路調查獲取。,外部資料 外部資料是指那些不為企業所操作、所擁有、所控 制的資料，這些資料有的是電子形式的。 資料來源超資料 資料來源資料屬於超資料管理層範圍，在資料倉儲 中的所有資料都需要透過超資料管理層來進行管 理、控制。,資料準備區的功能結構,資料的標準化處理 資料準備區的標準化處理主要是將同名不同內容 的、同內容不同名的、同名同內容但不同結構的資 料進行統一處理。 資料的過濾與適配 資料的

13、過濾與適配主要是對進入資料倉儲的資料按 照客戶的需要進行篩選。,資料的淨化處理 資料的淨化處理主要是對準備載入到資料倉儲中的 資料進行正確性判斷。 加蓋資料的時間戳 由於在資料倉儲中要進行資料的彙總，以分析交易 的發展趨勢。,確認資料品質 資料倉儲中資料品量的高低是資料倉儲能否成功的 關鍵因素之一。 超資料萃取與創建 資料的持續改善程序中，還需要從資料來源中確定 這些源資料的超資料內容。,資料倉儲功的能結構,資料重整 資料重整是為使資料倉儲能夠更好地為客戶服務所 進行的一系列預先操作。 資料的整合與分解 對來自不同系統的資料進行整合，創建新的資料。 資料的彙總與聚集 資料的概括聚集處理就是根據

14、某一屬性將資料進行 匯總。,資料的預算與推導 預算與推導的結果都是事先進行的計算，並作為資 料倉儲的欄位儲存在資料倉儲中。 資料的編譯與格式化 對來自不同資料來源的資料進行編譯和格式化處 理，便於今後的統一處理。,資料的轉換與映射 對己經儲存好的資料進行轉移或再映像到資料來源 中，有利於對新生成或發生變化的資料添加更新。 資料倉儲創建 資料倉儲創建作為資料倉儲的核心功能應該完成資 料倉儲的建模、資料的一般性、資料的整合、資料 的調整與確認、建構結構化查詢。,資料倉儲的建模 從己經創建的資料模型中導出資料倉儲的資料模型 (星狀模型或雪花模型)。 資料的彙總 根據客戶的需要，從初步的一般性資料中創

15、建客戶 所需的高度彙總資料。,資料的聚集 從擁有大批量資料的資料倉儲中進行查詢分析是一 個非常費時的操作。 資料的調整與確認 在資料完成彙總與聚集之後，需要對彙總與聚集後 的資料進行確認。,建構結構化查詢 為提高一些結構化查詢，可以預定義這些查詢，並 將這些結構化查詢作為超資料儲存在超資料庫中。 超資料管理 超資料管理功能主要包含超資料瀏覽與導覽、超資 料的萃取與創建、創建字彙表。,超資料瀏覽與導覽 資料倉儲的建構者在資料倉儲的建設和維護程序中 需要利用資料倉儲的超資料瀏覽和導覽功能。 超資料的萃取與創建 在資料重整程序中需要從整合資料、彙總資料和衍 生資料中捕獲超資料。,創建詞彙表 在創建資

16、料倉儲的程序中，需要根據所捕獲的超資 料建構超資料的詞彙表。,資料市集 / 知識採掘庫結構,資料倉儲的資料存取與使用結構,1.3.2 資料倉儲的管理層,1.3.3 資料倉儲的超資料管理層,資料倉儲、資料市集和超資料詞彙表管理 超資料管理層利用超資料詞彙表來管理資料倉儲和 資料市集中的邏輯資料模型、實體資料模型以及與 技術和業務相關的資料說明。,超資料萃取、創建、儲存和更新管理 超資料在資料倉儲對資料來源進行資料萃取、清 理、載入等操作程序中需要對所涉及到的超資料進 行萃取、創建、儲存和更新處理。,預訂定義的查詢、報表和索引管理 在超資料管理中還需要對設計人員為資料倉儲客戶 預訂定義的查詢和報表

17、進行管理，將預定義的查詢 和報表的處理方式甚至處理結果置於超資料庫中。,更新、複製、恢復、登錄、歸檔與淨化管理 資料倉儲所連接的資料源發生了變化時，資料倉儲 的內容也要定期更新。這些更新工作的進行需要依 靠超資料庫中所包含約有關說明。,1.3.4 資料倉儲的環境支援層,資料倉儲的資料傳輸層,資料傳輸層的架構 資料傳輸層中的資料傳輸和傳送網路包括網路協 定、網路管理框架、網路操作系統和網路。 客戶端 / 伺服器與中間元件 客戶端 / 伺服器代理和中間元件部分包括資料庫網 路、資料倉儲的中間元件、傳輸層的資料倉儲資料 發佈和複製系統等。,資料複製系統 在傳輸層的複製系統中有發布與複製系統、資料庫

18、閘道內所定義的複製工具、專用的資料倉儲產品 等。,資料倉儲的基礎層 資料倉儲的基礎層中包括系統管理、工作流程管 理、儲存系統、處理系統等部分，如圖1.16所示。,1.4 資料採掘技術,1989年8月，在第11屆國際人工智慧聯合會議的專題 研討會上首次提出了資料庫導向的知識發現(KDD， Knowledge Discovery in Database)技術。 該技術涉及 到機器學習,模式識別、統計學、智慧型資料庫、知 識獲取、專家系統、資料視覺化、高性能計算等領 域。,1.4.1 資料採掘的發展,超大型資料庫的出現 依靠電腦自動收集的各種業務處理資料使許多大規 模資料庫或資料倉儲擁有了大量的業務

19、處理資料、 市場變化資料。 先進的電腦技術 先進的電腦技術水準已成為促進資料採掘技術發展 的第二個重要因素。,管理的需求 企業所面臨的市場競爭壓力日趨嚴重，企業經營管 理者希望能夠從企業累積的大量歷史資料中,找到應 對日趨嚴重競爭壓力的良方，希望能夠從這些資料 中找到管理中發生問題的根本原因。,對資料採掘的精深計算能力 大規模資料的採掘需要複雜的、精深的計算能力， 這些精深的計算能力主要以統計學、集合論、資訊 論、認識論和人工智慧等各種學科理論為基礎。,1.4.2 資料採掘的定義,資料採掘的定義現在很多，在不同的教科書上有不 同的定義。呈現方式雖然不同，但本質都是一樣 的。這裡主要從技術角度和

20、商業角度給出資料採掘 的定義。,資料採掘的技術定義 從技術角度看，資料採掘是從大量的、不完全的、 有噪音的、模糊的、隨機的實際資料中提取隱含在 其中的、人們所不知道的但又是潛在有用的資訊和 知識的程序。,資料採掘的商業定義 商業應用角度來看，資料採掘是一種嶄新的商業資 訊處理技術，其主要特點是對商業資料庫中的大量 業務資料進行萃取、轉化、分析和模式化處理，從 中提取輔助商業決策的關鍵知識，即從一個資料庫 中自動發現相關商業模式。,1.5 資料採掘技術與工具 1.5.1 常用的資料採掘技術,資料採掘的發展受到資料庫系統、統計學、機器學 習、視覺化技術、資訊技術以及其他學科的影響， 例如類神經網路

21、、模糊 / 粗糙集理論、知識表示、 歸納技術、高性能計算等。,如果從常用的資料採掘技術來看可以分成三大類： 傳統分析類 傳統的統計分析 (或稱資料分析)技術中使用的資料 採掘模型有線性分析、非線性分析、迴歸分析、邏 輯迴歸分析、單變數分析、多變數分析、時間序列 分析、最近近鄰演算法、群集分析等。,知識發現類 知識發現類資料採掘技術包括類神經網路、決策 樹、基因演算法、粗糙集、規則發現、關聯順序 等。 類神經網路是模擬人腦神經元結構 決策樹是一個類似於流程圖的樹結構 基因演算法是近幾年發展起來的一種嶄新的整體最佳化演算法 粗糙集能夠在缺少關於資料先驗知識的情況下,資料採掘技術的發展 在資料採掘技

22、術的最新發展中包括了文字資料採 掘、Web資料採掘、視覺化系統、空間資料採掘和 分散式資料採掘技術等。,文字資料採掘和Web資料採掘是近幾年新發展起來的嶄新資料採掘技術 可視覺化系統是為了便資料採掘能夠以圖形或影像的方式在螢幕上顯示出來 空間資料採掘是地理資訊系統導向的資料採掘技術。 分散式資料採掘是分散式資料庫導向並利用分散式演算法從分散式資料庫中採掘知識的技術。,1.5.2 常用資料採掘工具,按使用方式分類的資料採掘工具 決策方案生成工具往往是針對某個特定行業或特定問題而開發的一類資料採掘工具。 商業分析工具有兩種類型。一種是只為客戶提供一個黑箱，另一種資料採掘工具則向客戶展示資料採掘模型

23、,按資料採掘技術分類的資料採掘工具 按照資料採掘的技術可以分成： 類神經網路導向的工具 規則和決策樹導向的工具 模糊邏輯導向的工具 整合性資料採掘工具等,按應用範圍分類的資料採掘工具 專用型資料採掘工具 專用型資料採掘工具主要用於某一特定領域。 通用型資料採掘工具 通用型資料採掘工具一般不考慮所採掘物件的實際 含義，只提供各種通用採掘演算法。,通用型資料採掘工具 ： IBM公司的IM智慧型採掘器，這是一套包括了Explorer、Diamond和Quest在內的軟體產品。 SPSS公司統計套裝軟體SPSS在統計領域處於領先的地位 Red Brick公司的Red Brick資料採掘工具是第一個將資

24、料採掘解決方案與資料庫整合在一起的資料採掘元件。,1.5.3 資料採掘工具的評估標準,如何選擇滿足需要的資料採掘工具就成了資料採掘 應用中首先要解決的問題。在選擇資料採掘工具 時，一般可以參照以下評價標準。,模式種類的數量 資料採掘工具能夠提供的模式越多，它的知識發現 能力越強，而且多種類型模式的整合應用，有助於 降低問題的複雜性。,解決複雜問題的能力 為了解資料採掘工具解決複雜問題的能力，可以從採掘工具的模式應用、資料選擇和轉換能力、視覺化程度和延伸性等方面審視。 資料採掘工具的延伸性也是提高採掘工具解決複雜問題能力的一個重要因素。,操作性能 操作性能的好壞是一個影響採掘工具性能的重要因 素

25、。 資料獲取能力 沒有一種工具可以支援所有類型的資料庫或資料倉 儲，但應該可以通過通用接口連接大多數流行的資 料庫或資料倉儲，這有利於提高資料採掘工具的使 用範圍。,採掘結果的輸出 資料採掘工具不僅能夠將採掘結果以多種方式輸 出，而且要求輸出的結果便於客戶的瞭解與應用。 噪音資料的處理及採掘工具的穩健性 噪音資料的處理從另一個角度說明採掘工具需要具 有一定的穩定性，從資料採掘工具的目標來看，是 希望能夠對未知的物件做出正確的判斷。,1.5.4 常用資料採掘工具的選擇,由於資料採掘工具種類繁多，客戶在選擇採掘工 具時，需要從工具的實用性和技術性方面進行研 究。 從技術性方面審視資料採掘工具時，需

26、要根據資 料採掘工具評估標準，選擇那些技術性能指標良好 的資料採掘工具。,1.6 資料倉儲與資料採掘的應用1.6.1 資料採掘與資料倉儲,根據資料採掘的定義，我們可以看出，資料採掘 包含了一系列旨在從資料集合中發現有用而未發現 的模式的技術，如果將其與資料倉儲緊密聯結在一 起，將獲得意外的成功。 傳統的觀點認為資料採掘技術紮根於電腦科學和 數學，不需要也不會得益於資料倉儲。這種觀點是 不正確的,當然從資料採掘與資料倉儲的整合情況來看，資 料採掘技術己經成為資料倉儲應用的強大支柱。資 料採掘技術在資料倉儲中的應用，正好彌補了資料 倉儲只能提供大量資料，而無法進行深度資訊分析 的缺陷。,1.6.2

27、 資料採掘程序,確定採掘物件 定義清晰的採掘物件，認清資料採掘的目標是資料 採掘的第一步。在資料採掘的第一步中，有時還需 要客戶提供一些先驗知識，例如概念樹等。 準備資料 資料的選擇 在確定資料採掘的業務物件之後，就需要搜尋所有 與業務物件有關的內部資料和外部資料，從中選擇 出適合於資料採掘應用的資料。,資料的預先處理 在選擇好資料之後，還需要對資料進行預先處理， 對資料進行淨化，解決資料中的遺漏值、冗餘、資 料值的不一致、資料定義的不一致、過時的資料等 問題。,採掘模型的建構 這個分析模型是鎖定採掘演算法而建構的。建構一 個真正適合採掘演算法的分析模型是資料採掘成功 的關鍵。 模型的建構必須

28、從資料的分析開始。 接著，從原始資料中建構新的預示值。 下一步，就需要從資料中選取一個子集或樣本來建構模型。 最後，需要轉換變數，使之和選定用來建構模型的演算法一致。,資料採掘 對所得到的經過轉化的資料採掘，除了完善與選擇 合適的演算法需要人工干預之外，資料採掘工作主 要由採掘工具自動完成。,結果分析 當資料採掘出現結果之後，需要對採掘結果作解讀 與評估。具體的解讀與評估方法一般應根據資料採 掘操作結果所制定的決策成敗來決定。 知識的應用 資料採掘結果要能夠在實際中得到應用，需要將分 析所得到的知識整合到組織機構中去 使這些知識在 實際的管理決策分析中得到應用。,1.6.3 資料採掘的客戶,如

29、果從資料採掘的程序看，不同的資料採掘程序需 要不同專長的人員，大致為：業務分析人員、資料 分析人員和資料管理人員。 業務分析人員或稱其為企業管理顧問。 資料分析人員。要求這些人員精通資料採掘分析技術。 資料管理人員。這些人員需要精通資料管理技術。,1.7 資料倉儲應用1.7.1 資料倉儲與資料採掘,資訊處理、分析處理和資料採掘是三種主要的資料 倉儲應用。 資訊處理 支援查詢和基本的統計分析，並使用交叉分析表、 列表、圖表或圖形報告結果。,線上分析處理 支援基本的OLAP操作，包括切片、切塊、下鑽、上 捲和轉軸。 資料採掘 支援知識發現，找出隱藏的模式和關聯，建構分析 模型，進行分類和預測，並用視覺化工具提供採掘 結果。,1.7.2 資料採掘和資料倉儲的關係,資料採掘庫是資料倉儲的一個邏輯上的子集，而不一定是實體上單獨的資料庫。 資料採掘是一