信息化 - BI - 资料仓储与资料采矿

1、第一節資料庫與資料庫管理系統 運用資料庫管理系統的網站在一些出版社的網站，只要輸入書名、作者或某些關鍵字，就可以查到這本書的資訊，這就用到了資料庫的功能系統會去這個網站所連線到的資料庫傳回給你所需之資料，也是運用資料庫管理系統的網站一個好的資料庫管理系統不僅能提供使用者不同的觀點，十分簡易的方式存取資料，並能維護資料的完整性、安全性3資料庫管理系統資料庫管理系統4資料庫管理系統要件能有效率的提供企業所需的各項功能將資料重覆情形減至最低的程度提供完整一致的資料維護資料的安全性儲存的資料實體容易重新組織集中管理資料庫內之資料經由系統控制能容易將資料建立 5第二節 資料倉儲 資料倉儲是特大型資料庫，

2、將來自不同作業系統中之資料，在分析關聯性後，以具結構性之方式集中存放，作為應用程式與決策者分析的來源與依據從技術面與應用面來看資料倉儲所扮演的角色，一個是集中儲存電子資訊所在，一個是現代企業系統架構的核心前者是不同來源、不同型態的資料經過清理轉換後，以同一型態、組織排列，儲存於倉儲內，以供分析後者則是用以提供企業快速的、整合的、具分析性的資訊服務與決策能量6資料倉儲的特性主題導向主題導向(Subject-Oriented)資料倉儲會自動地將資料以相同的種類或主題分類在一起因此它的主要處理對象是屬於較高層次的且不重複的主題有別於交易處理業系統的流程導向資料倉儲是在解決決策分析的問題，而非交易導向

3、的問題7資料倉儲的特性(續)整合性（整合性（Integration）資料倉儲的資料須有相當的整合性在一個企業中，同時擁有多個資料庫或不同系統平台是普遍的事資料倉儲便是整合企業多個資料庫透過跨越不同的平台，在資料轉換過程中，讓欄位名稱、測量變數、編碼方式、日期時間等主題的屬性，變成具有一致的格式8資料倉儲的特性(續)時間變化性（時間變化性（Time Variation）只要作業系統在運作，隨時就會有新資料增加必須在某些特定的時間點到作業系統中擷取資料，以確保資料倉儲的可用性與時效性非揮發性（非揮發性（Non Volatilization）當資料被新增到資料倉儲中後，相對難以更動、修正或更新有偏向

4、累積性和唯讀的性質9資料倉儲之效益由於資料透過整合，因此決策者不必透過資訊人員就可取得所須的決策報表，公司整體決策時效性可進一步提昇資料倉儲整合並集中企業內部及外部資訊，可提供企業制定有效決策、執行精密行銷攻勢10資料倉儲之效益(續)資料倉儲擁有充足的歷史資訊，可供企業從過去事件中找出特定行為模式與分析發展趨勢，進一步預測未來資料倉儲可支援資料採礦、連線分析(On-Line Analytical Processing, OLAP)等分析工具，亦可幫助企業以新的視角與方式，進行資料分析與問題發掘企業決策者可直接獲取分析資料，不用透過資訊部門，不但可減輕資訊部門的工作負擔，還可以提升使用者的應用能

5、力以及資料分析的效率11資料倉儲與傳統資料庫的差異 傳統資料庫主要是處理交易導向的問題，也就是處理各項業務，只是單純的完成一個指令的動作，處理一個作業流程的交易系統，強調的是交易資料新增、刪除、修改的快速、穩定及精確，提供詳細資料的查詢資料倉儲則是以交易主體為導向，以資訊分析為核心，將資料收集整合以提供企業決策制定，其目的是在最短的時間、最有彈性的方式下，提供綜合資料查詢，滿足決策者分析的需求12資料倉儲的結構早期的資料倉儲是從建構單一的資料庫，提供使用者查詢之用後來發展到企業資訊工廠(Corporate Information Factory, CIF)企業資訊工廠是資料庫企業資料倉儲(En

6、terprise Data Warehouse, EDW)作業資料儲存(Operational Data Store, ODS)資料超市(Data Mart, DM)EDW是根據企業的目標或主題所組成，與DM有較相同的特性企業的DM是根據查詢的目的不同，可能有很多個EDW卻只有是企業的一個資料倉儲資料庫ODS則是儲存即時性的作業資料，允許資料的更新與變動13資料倉儲成功關鍵提供分析資料以適切的解決問題或避免意外具適當訓練的使用者與專業的專案經理資料管理者有能力進行跨組織的整合活動使用的技術具周延性，延展性及可靠性14資料倉儲建置步驟及建置要素範圍界定：範圍界定：界定倉儲的目標與範圍需求分析：需

7、求分析：擬定預算與專案計畫，成立專案團隊現況了解及細部需求分析：現況了解及細部需求分析：完成倉儲之細部功能規格，以雛型開發方式輔助使用單位對需求的了解系統設計與建置：系統設計與建置：建置倉儲系統並執行系統的調整與測試資料轉換：資料轉換：系統上線前資料的轉換系統上線：系統上線：倉儲系統的正式啟用系統維護：系統維護：操作與維護，包含定期資料更新 15建置資料倉儲專案關鍵成功要素 必須要有明確的目標和需求範圍 企業對資料倉儲有正確的認知 內部高層的支持 部門間需要有良好的溝通管道 專案支援部門的設置 開放性的資料倉儲平台 具延展性及擴充性的倉儲架構 須有完整且豐富的資料 前端交易系統資料品質及穩定性

8、16第三節 資料倉儲與資料採礦資料採礦可使得分析人士有能力得以對於原始資料加以剖析，以瞭解資料所呈現出之不同面向，或是瞭解不同構面間之相關性資料採礦和各項分析工具主要之區分，在於資料採礦更可以針對相當大量之資料加以分析，找出資料中的隱性模式(Hidden Patterns)也就是顧客之購買行為模式例如顧客在購買啤酒後會購買尿布等產品之間的關連性17進行資料採礦前，須先行建置資料倉儲資料倉儲就是儲存大量資料的資料庫，不同之處在於資料庫中儲存之資料通常是與營運較相關之資料這些資料在累積一段時間後，除儲存備份外，亦可加以整理後移轉至另一資料系統供作資料分析之用，就是資料倉儲要將資料庫中之資料經過萃取

9、及重新整理才能移轉至資料倉儲因此資料分析師可藉由相關分析工具如線上分析處理工具、統計分析，以及其他如資料採礦之分析工具以進行資料分析資料倉儲與資料採礦18第四節 資料採礦 資料採礦（Data Mining），是將消費者的消費行為化為具體的數據，之後在大量的資料庫中，建立消費者相關模式利用人工智慧、統計科學的方法，自動萃取出可提供預測的資訊資料採礦所以會被稱為採礦是因為要從如山一般的龐大資料中，找出可用的資料，就如同挖寶一樣也被稱為資料挖礦、資料挖掘或資料探勘。資料庫管理系統和統計學的迴歸分析雖是資料採礦的概念，但因其缺少提供資料更進一步的分析，所以對企業來說，可以發展出商業用途的資料採礦較有價

10、值19運用資料採礦最成功的資料採礦方法能創意地使用資料，和重覆使用性、小量資料、經常更新的關連式資料庫以及線上交易處理(On-Line Transaction Processing, OLTP)系統正好成為強烈的對比在實務上資料礦採的意思是說，資料倉儲所具有的特性，可以很清楚的區別出來首先資料採礦的資料是主觀導向，它們是組織根據經理人對資料不同的看法，而不是根據特定的功能過程或應用倉儲時須以一致的命名原則整合資料其次這些資料必須不同時間、不停的被蒐集和組織，以用為比較、辨識趨勢和預測之用資料是非變化性的，一旦資料進入資料倉儲之後，這些資料不再被更新或改變，它們只是被重新載入和擷取以為分析之用商

11、業用途的資料視覺呈現是資料採礦主要部份20資料採礦五大模型分類分類(Classification)根據不同團體的屬性變數，當新資料進來時加以判定並分類預測預測(Predictive)利用多個變數來找出一個應變數或以歷史資料來決定未來可能發生的情形群聚與分群群聚與分群(Clustering/Segmentation)以特定變數將團體分群組的過程，目的在找出群體間的不同或群體間的相似點關聯性分析關聯性分析(Association Analysis)研究在同一筆交易中，兩種產品同時被購買的可能性有多高，購物籃分析就是典型的關聯性分析的應用順序順序(Sequential Modeling)分析購買行為

12、的順序而言，購買一項產品後，引導購買另一樣產品的順序或間隔21資料採礦於網路上的應用目前的應用程式大多利用網路增加企業與顧客間之互動資料採礦在網路上的應用，與一般利用資料庫中客戶資料所作的分析有所不同當顧客或潛在客戶到訪企業網站，往往能藉由顧客關係管理之資訊軟體進行資料蒐集如顧客所提供的個人資料、顧客點選的網頁內容、於不同網頁所停留的時間長短、利用搜尋引擎時所經常使用的關鍵字，及顧客到訪網站的時間點等企業可藉由這些資訊分析瞭解顧客行為模式，再利用資料採礦之分析工具來進行資料分析，以瞭解顧客對公司所提供之產品與服務的滿意度22大部份的網站或相關軟體均有上述的功能，但企業本身缺乏對資料進行分析之意

13、願，以及缺乏資料分析解讀的人才，才是資料採礦實務上真正的困難之處要利用資料採礦的技術分析顧客於網站上之行為模式的企業，首先必須建構一套機制，用以記錄顧客對於網站產品及服務的滿意度並確認進行網路資料採礦之目標，再配合整體營運策略來蒐集完整的顧客資料資料採礦實務困難23當訪客與網站產生互動時，即有機會產生資料，通常可以利用地理區隔、人格特質及訪客使用之資訊設備等方面來區分網站訪客的特質訪客於網頁中的點選順序與落點可將顧客群依照產品加以分類，以分析所提供產品與服務對顧客之吸引力這些均可利用不同軟體與網站內容促使訪客提供相關資料這些資料的累積可促成企業對銷售及整體策略的分析與擬定資料採礦於整體策略的應

14、用24顧客愈有效利用網站資源，就表示企業網站的設立有助於其行銷策略之推展因此在規劃網路資料採礦整體策略前，最好能夠有一個明確的目標，以作為整體策略之準則如：增加顧客平均瀏覽次數、增加顧客於網路購買的意願等，才能提昇企業營運的效率多數企業採取網路資料採礦技術，單純為支援公司整體行銷策略，但亦有部份企業僅將網路視為其行銷管道之一，並將其與傳統行銷管道區隔資料採礦於行銷的應用25資料採礦的應用方向開發新顧客開發新顧客根據顧客的屬性預測其對商品或通路設計的反應，如果預測反應正確，則能吸引尚未成為顧客但有可能對產品感興趣的人維繫舊顧客維繫舊顧客維繫既有顧客對企業來說相當重要，有些企業常常因為太專注於開發

15、新顧客，而造成流失舊顧客這對企業的獲利會造成很大的威脅篩選顧客篩選顧客有些顧客接收企業對其服務而沒有任何回饋時，應考慮停止對這些客戶付出努力與成本26資料採礦的應用方向(續)購物籃分析購物籃分析分析消費者購買產品的種類及數量會為公司帶來多少經濟效益，或稱為關聯性分析需求預測與目標行銷需求預測與目標行銷預測潛在顧客的需求，進而找出對企業提供的商品最具有消費傾向的顧客交叉銷售與主動銷售交叉銷售與主動銷售是產品組合，或是和異業結盟形成一個完整的銷售網，讓顧客可以有一次購足的需求滿足27發展CRM的資訊技術資料採礦的技術如果應用在顧客關係管理上，將有助於企業找尋其行銷的資訊，而這些資訊擁有商業價值資料採礦利用電腦以統整龐大的資料所隱含的特徵(Pattern)、可能發生的事件與模式(Model) 、資