商业智慧技术根基

CHAPTER5商業智慧的技術根基,從資料倉儲到資料整合工具,第五章內容大綱,商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具,恩門的企業資訊工廠,資料來源：,紮克曼架構,資料來源：,美國資料倉儲研究院的商業智慧架構,資料來源：美國資料倉儲研究院(www.dw-),Gartner公司的商業智慧架構,商業智慧技術基礎建設評估,商業智慧軟體廠商的架構舉例,BusinessObjects公司的商業智慧架構MicrosStrategy公司的商業智慧架構,BusinessObjects公司的商業智慧架構,MicrosStrategy公司的商業智慧架構,第五章內容大綱,商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具,資料倉儲的定義,資料倉儲的概念是由比爾恩門和拉夫金寶兩位先驅者最早界定的。1990年，恩門是這樣定義資料倉儲的：“支持管理層的決策過程的、具有主題導向、整合、具時間性、累積等特性的資料集合”。,Gartner公司的資料倉儲架構,圖5.8Gartner公司總結的資料倉儲架構,KenOrrInstitute資料倉儲的架構,資料來源：,資料倉儲的商業利益（以製藥公司為例）,敏捷性資料倉儲的到來,企業管理風格對資料倉儲的影響,資料倉儲就緒程度評估一覽表,資料倉儲和商業智慧的執行步驟,資料倉儲的“拓撲結構”,資料倉儲的整合類型,資料倉儲專案失敗的三個原因,缺乏溝通缺乏適當的專業技術建議缺乏適當的專案計劃,創投不支援資料倉儲的原因,資料倉儲是架構而不是技術資料倉儲傾向於基礎建設資料倉儲不是在矽谷發明的投資者很難從資料倉儲中獲取利益了解資料倉儲能為公司做什麼，了解整合的作用和歷史價值是一項複雜的任務資料倉儲的回收期是長期的、間接的資料倉儲的益處是不易見的創投喜歡“乾淨的方案”創投喜歡追求流行,選擇資料倉儲的廠商和產品所面臨的挑戰,資料倉儲和商業智慧產品選擇的基本標準,資料倉儲資料庫的選擇標準,Gartner公司關於用於資料倉儲的資料庫廠商的“神奇象限”,Gartner公司的資料倉儲發展趨勢圖,2002年資料倉儲的十大發展趨勢,盈虧問題隱現，革新仍在繼續10.越來越注重盈虧問題9.強調應用程式VS資料倉儲8.越來越瞭解如何對“成功或失敗”問題做出正確分析7.非結構化資訊的增長6.快速反應的決策支援5.EAI和ETL工具的整合4.廠商的整合3.客戶資料整合2.資料超市整合1.資料倉儲規模不斷增長,資料倉儲的原則,1.資料倉儲的其他方案不能滿足商業要求2.其他備選方案也面臨顯著的技術挑戰3.資料倉儲的花費並不一定最多4.確保從商業智慧中獲得最大程度的好處,第五章內容大綱,商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具,資料超市的定義,資料倉儲涵蓋整個企業的資料與人員，而資料超市只包含特定範圍的資料。資料倉儲的工作是儲存大量的資料，很少考慮或不考慮企業怎樣觀看資料，而資料超市的主要考慮恰恰相反，它聚焦于易使用性、敏感資料的分離、報告速度和資料的總體展現。因此它可以更快速與低成本建立。,資料超市的益處,1.遞增式開發2.便於用戶了解3.便於管理的片段4.容易操縱5.更好的報告效果6.使用分散式技術7.能隨時隨地使用第三方工具,資料倉儲與資料超市的關係,資料來源：Gartner公司,資料倉儲與資料超市間的差異,資料超市的迷思,1.資料超市是小的2.資料超市可以更容易地建立，更快速地部署3.資料超市容易成長為資料倉儲,資料超市的指導原則,為資料超市專案建立與資料倉儲專案分開的人才團隊把資料超市的計畫工作為資料倉儲專案所用對急需戰術性方案的商業領域之敏銳感受力把資料來源的數量限制在3個以下建立防止資料超市氾濫的政策,資料超市的成本,圖5.21資料超市的高昂成本,第五章內容大綱,商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具,營運資料店的定義,營運資料店是通常用做資料倉儲的暫時儲存區的一種資料庫。跟含有靜態資料的資料倉儲不一樣，其內容在商業營運的過程中不斷更新，是針對快速、小量資料的基礎上進行相對簡單的查詢而設計的，與在資料倉儲中大量資料的基礎上進行的複雜查詢不同。營運資料店特別像人的大腦中只儲存最近資訊的短期記憶，相反地，資料倉儲更像儲存那些相對較久資訊的長期記憶。,營運資料店的架構,營運資料店與資料倉儲間的差異,資料模型和使用狀況上的差異價值新鮮度方面的差異資料移動及時性的差異詳盡程度方面的差異,營運資料店的種類,一級營運資料店這種營運資料店是同步更新的，通常處於高效能的、交易主導的環境中；二級營運資料店這種營運資料店儲存資料並向前更新；三級營運資料店非同步地、分批地、超過24小時才更新的營運資料店。,營運資料店的應用,適合運用營運資料店的情況主題領域報告功能性的整合不適合運用營運資料店的情況作為資料倉儲中所有資料的單一來源營運資料店只被用做具體到部門的應用軟體,營運資料店與即時企業間的關係,資料倉儲裏面的高品質資料適合進行策略性的決策，但由於資料延遲而不適合進行即時的分析。營運資料店的資訊通常是最新的，對於即時分析和各種營運性、戰術性的決策來說是至關重要的。資料倉儲和營運資料店都是即時企業整體架構中重要的組成元素。但是，對於即時分析而言，營運資料店是不可替代的。儘管二者都能夠使用戶認識到資料中的意涵，但營運資料店能夠提供即時性。這種即時分析的能力促進了快速、符合時間要求的決策。完善營運資料店的建設，為企業快速反應機制打下堅實的基礎。,第五章內容大綱,商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具,Metadata的定義,用來描述其他資料的資料，在資料倉儲中用來描述資料的擷取、轉換規則和自動化、安全方面的資訊。Metadata應至少具備兩個特徵才對企業有意義：被企業視為值得追蹤和管理的一項資產；是關於某一項資產的抽象層面的資訊，而不是所有的細節資訊。,Metadata與非Metadata的條件,全面的Metadata庫,Metadata的9個類別,架構劃分與Metadata庫類別矩陣,莫斯和阿特瑞對Metadata的分類,Metadata組成部份按優先性分3類,1.必需的2.重要的（有益但並不是必需的）3.可有可無的（可以延遲到未來的商業智慧應用軟體中）,Metadata庫的分析活動,Metadata庫在分析過程中的注意事項,Metadata庫的使用情況Metadata模型的要求Metadata庫安全性Metadata的擷取Metadata的遞送人員問題,Metadata庫的設計步驟,Metadata庫在設計時的注意事項,已有的Metadata庫Metadata庫產品介面人員,Metadata庫開發的步驟,Metadata庫在開發時的注意事項,Metadata庫產品需要的是什麼樣的介面定制的Metadata庫人員為生產做準備,資料倉儲Metadata的整合方式,第五章內容大綱,商業智慧的架構和基礎建設架構資料倉儲資料超市營運資料店元資料擷取/轉換/載入工具,資料擷取、轉換與載入的定義,擷取、轉換與載入是指整合來源資料並把它載入到資料倉儲的方法。在通常情況下，這三種獨立的功能結合在單一的工具中。首先，“擷取”功能從確定的來源資料庫中讀取資料，並從中擷取出想要的子集；然後，“轉換”功能利用規則或查閱表把獲得的資料轉換成理想的狀態，或者先把獲得的資料與其他資料結合起來，再把它們轉換成理想的狀態；最後，“載入”功能把所產生的資料寫進目標資料庫中。擷取、轉換與載入過程的目的在於把各個不同的平臺的資料；依標準格式合併到決策支援環境下的商業智慧資料庫。,資料擷取、轉換與載入的設計步驟,資料擷取、轉換與載入在設計時的注意事項,工具資料擷取、轉換與載入的暫存資料擷取、轉換與載入的流程效能考慮調解品質指標,資料擷取、轉換與載入的設計步驟,資料擷取、轉換與載入在設計的注意事項,源資料擷取資料擷取、轉換與載入工具資料擷取、轉換與載入過程的依賴性資料擷取、轉換與載入測試資料擷取、轉換與載入的技術考量,資料補捉與移動工具的能力,整合經紀人和擷取、轉換與載入工具之間的異同,選擇合適的資料擷取、轉換與載入產品的考慮因素,擴展性容易使用效能價格驗證,Gartner公司關於資料擷取、轉換與載入廠商的神奇象限,資料來源：Gartner公司,資料擷取、轉換與載入工具的市場趨勢,資料擷取、轉換與載入產品的市場曾經十分輝煌，2000年的軟體授權收入比前一年增長20%。但是，從2