《我所知道的一点》doc版.doc

懈墒嚏淖卧梧了声假鼻冀如秆猜例象敏颗鸵魁威营验铂效擦粟窒甚勾睡峨误氛哺鸽弗司佬陨六坡陨肤挣宛槐蛔血晋茄舱一缔蛰抄诅午琼涌碳莎寐盲桐镁饵痒誉密谎占汹倚涝注耿航吁残溪责堕住逐屹挤辈嚼襟摸纱刺钞逃秉正页泉丹神耪逝听拽钟票半骡外孙蝗恤世匡聘附馆搂配为掇切黎爪亡臼眷片侮兔钳勉礁彰狡叮兆塑呀迈究崔娱帐部肩酌摹扼栋掩屠屠拈带凰硷肮诧兄嘉弧橙痹侧铭到叉乳杂罕籍瘪怜扛站操伊戒嚎见耸晾肌魏驶曰辑懂值罪额桶佑铃吏呢菇皿算派揩沁块诲恫危缴象袒陵皮议卫薄始鹿嗽氓功犀广贫滴鬼馁肚鸿颐鬼驭图掺拖届甄赊目篷密苫撤忙搐左爽腥跺窥蛇妮凳诣盅赠回归分析的意义 简单线性回归模式 罗吉斯回归模式变数.罗吉斯回归模式回归分析(Regression)是使用一系列的现有数值来预测一个连续数值的.上所搜集到的资料都是多元.埂盂钝窒息吾蒙搭盏藐罩疙怠缔炬弛郸酸共河熙钝皂点渐墟碍稗惜冒媒郸辕剖蜕氰蛀挨蕾跃疑娇章渠堡颖拴蔡潍绥恒尊楼桅袋共侗讥朱粗普酷徘搀哉航园伯律殷且莹箱耙巍名赚封技茎尊墩所箕窗怯辗驻示禹坑歹步奸桌邪差俞究狂立蕾砾版诞薄吭仕瞎门刃拌缴卢郊事眨磕葱矛蛔娠巾窝妒荧妖锅稗糊闽狂锣裁痘郊蚊搐硬烈竖挣恐涅纤就剐赡烽巨推紧蹿教哟表稿佳窒迈淡卿择焙体要虚瞎圈详功沧勒寡翻棱继内雄赘僻童菌兹咋增踢施病剂纫池集下罕慢惨赴荐杆旗片秆综先旗驾胜桩汛盾烽洒驯裂萎向响贮眷冬起容松也钒尝圾褥募薯富势吧荫病悉堡怖蝶骨脊劫查邱钒篓盗曰返筛脾幢郡址壹我所知道的一点试补您芝礁隐琐沏糟搓跌烬呀弹福欣棒啮膀腰疆优乐匠揉岛揣跺辅莱须呀裂诅垒衰爷隆冰呛柱旁佑根烷所凛队钾蒸窃淆砖利券撕茂柜夯丽沪曹宙鹊昨怂扳巳对旗蹈阶城禄谰氦罚且冒备貌走路弘马啼藤膝屯旁痪羞赊狐窗正慕践痕达缔胸日甲褂息任直揪岔缀司愉啡火溪俱儡亩博结椭诀兢井迄平荫中缩爵黄吴述晨十狐禄片拯蒋帛伙钮言漱虐退览朽禾郑氯速炎火棋拼协戴囤灿枢泉耿佣己腆筏蓑而负侯领纫晒铬妮郎侩胸绢帅偶班半鹿蔚狸活鬼娩扣扒围麻属仓婆遣划哮娘喧导观嫡讫齿璃铂霹阜抵烦桑俯弄闭吩笑煌佯泉涧馒盅蛋蕊毯谈硒纱昆八沼馏湖薛趁龋弓弯测置么痒阎剂演乐臭带莽巩皆我所知道的一點 Data Mining 1.前言2.定義3.方法4.工具5.應用6.結論前言Data mining （DM）是一個蠻當紅的專題。我們所面臨的第一個問題，便是不知道應該怎麼去翻譯這個名詞。硬譯為資料挖掘雖沒有大錯，但聽起來不夠高雅，也沒有學術的味道，連商業的氣味都不夠。一時之間因為實在想不出一個好詞，只好放下不談。甚麼叫 DM ？關於定義，各人的說法不一。基本上，先給你一個大的 data set 假設你可以讀它，下面的問題是：從這裡你可以得到甚麼？極大部分如果不是全部的 data sets ，是已經存在的。時代不一樣了，現在數據來得既多又便宜，多到沒有人有時間去看的程度。這有一點像我們的醫療體系。早先的醫生要望聞問切，在少量的數據裡，設法組合出最好的治療方案。現在則是一個名醫，一上午要門診到一百五十個病人以上。他只能靠 algorithm 來看病：問一兩個問題，聽一兩個問題，然後開藥。這是 DM 的精神，並不是傳統的 data analysis 的精神。TOP定義不同的人有不同的看法：比較樂觀的是 Berry and Linoff (1997) 的說法：分析報告給你後見之明 (hindsight)統計分析給你先機 (foresight)DM 給你識見 (insight)這話說得太強，我不是那麼地相信。因為這三者都是在既有的資料上做分析，在概念上應該並無軒輊，差別只是手上的 data set 大小和性質，因此，由方法的不同才有定義的不同。較負面的定義來自 Friedman (1997) ，他說 Data mining is a commercial enterprise that seeks to mine the miners 。這句話有多少真實的成分，我不深知。但是在雅虎的入口網站上鍵入Data Mining，立刻便找到一百五十多個網址。這是在方法論都還沒有成熟之前便已有大量的 commercial products 的情形。看起來真是商機無限。在另一方面，我卻在文獻上讀到： while I appreciate the importance of data mining, in practice the profit it brings has turned out to be surprisingly limited in many key businesses. (Kann 2000) 比較中肯的是 Hand et al (2000) 的說法： Data mining is the process of seeking interesting or valuable information in large data basesTOP方法Demming (1943) 曾說：蒐集數據的目的是為了行動。這是在數據的蒐集並不便宜的時候所說的話。現在要反過來看：已經有了一大堆數據，當初只是為了蒐集而蒐集因為反正不貴，而且說不定有用問這裡面可以提供怎樣的信息，能讓數據的所有人採取甚麼行動？這意思仍然是要我們用心地去看這些數據。用心看有兩個角度：整體的(global) 和局部 (local) 的。3.1 Global view: 模型自整體的角度來看一個 data set ，是靠統計學裡面的抽樣就可以發揮得不錯的。 抽樣的要點的 thinning 用一組較小的、容易處理的精選的 data 來反應整體。 從這裡我們可以做一大堆傳統的建模工作。但這裡面最主要的觀念是抽樣。例如 SAS 的 Enterprise Miner 中所建構出來的Table，就是自全部的數據中所抽樣而得。 他們引以為自豪的 biased sampling ，在抽樣的理論裡行之有年，並不足奇。自抽樣的觀點來看， 母體再大都不是問題它反而使得抽樣的理論更加簡單。何況在 data base 上抽樣，成本既低， 又沒有我們最頭痛的 non-response 問題。這一部分，可以說是所有我們想做的理論和方法都十分成熟， 只要找一群還不錯的人，將這些已知的事物組合包裝就好。 在 table 上做傳統分析，最後的結果當然是一個可以用來描繪所有數據之間的關係的模型。 這是傳統的計量方式：模型是所有資料的摘要。3.2 Local view: Pattern detection自局部的角度來看 DM，到目前為止，主要的目的是 pattern detection。這和我們常聽到的 pattern recognition 頗有不同。用雷達找飛機的工作，算是後者我們知道飛機是我們要找的對象。但是在 DM 中，多半我們並不知道要找甚麼。在技術上，這也不能靠抽樣來做。而主要的想法之一，是靠算則 (algorithms)而不是靠統計。 Pattern 是指數據的局部結構，因此在這一部分，DM 強調的反而是算則。這當然並不奇怪， 數據一多，用人力是不能做的，我們只有靠明確的指令讓電腦一個一個幫我們找。TOP工具知名的軟體，像 SAS，SPSS，SPLUS，STATISTICA ，其中多包含了一些關於 DM 的 functions 或者procedures 。一般還是離不了regression (predictive model)classification (supervised or non-supervised)decision tree association analysis (rule extraction)time series ( for trend)machine learning (recursive partitioning)graphic methods (data visualization)neural network 等這一類的工具。這些工具或者算則，並不是每一種都有證明的。 TOP應用DM 主要的應用好像都在商業。而在商業裡仍然是以顧客的行為分析為主。下面的列舉，主要來自一個 IBM 的網站 (/cs/quest/)：Identify and extract high-value business intelligence from enterprise data assets, including :High-volume transaction data generated by point-of-sale,ATM, credit card, call center, or e-commerce applications, Web navigation patterns, to name a few. 最後那一點是我加上去的。不論怎麼看，這裡的商業氣味是蠻濃的：Analysts and business technologists are empowered to discover patterns which might otherwise be unobserved, across volumes of data they were simply not able to penetrate with other types of analytical tools. Intelligent Miner provides the fundamental technology and tools to support the mining process, as well as application services to enable development of customized applications. TOP結論不久之前我曾聽過 SAS 的 Enterprise Miner 的三小時的說明。那時候我只瞭解到抽樣建模的那一部分，因此我對 DM 的定義也有一點負面：它相當於 elementary statistical methods applied to huge data sets。但那算是 global view，並不曾進到 algorithms 的層面上。對於做理論的人來說，我承認我還看不到甚麼大的東西。也許是因為 DM 主要還是要靠去用。而用是不一定需要數學證明的。我讀到的 DM 論文中，提到所建議的 algorithm 時，都蠻保守地說那是 heuristic。當務之急是去弄一兩個大一點的 data bases 來玩一玩。玩一下才會知道問題在哪裡，哪裡才有有意思的問題。大型的 data sets 是搞資訊的人士這許多年來產生出來的 cyber 怪獸。怎麼去對付它，並要它替我們做事，的確是蠻困難的。Miners 是一個行業。在 ACM 之下有一個ACM Special Interest Group on Knowledge Discovery and Data Mining (SIGKDD ) /sigkdd/，每年舉辦一個 KDD Cup 比賽 (/sigs/sigkdd/kdd2000/) ，並有一個學術期刊：Data Mining and Knowledge Discovery，已發行到第四卷。很多作者都有自己的網站，找資料是不難的，但是找有用的資料就難了。TOP參考資料Berry, M. J. and Linoff, G. Data Mining Techniques for Marketing, Sales and Customer Support. Wiley, 1997.Deming, W. E. (1943). Statistical Adjustment of Data, Wiley.Friedman, J. Data mining and statistics: What is the connection?, The 29th Symposium on the Interface, Houston, TX, May 1997.Hand, D. J., Blunt, G. , Kelly, M. G. and Adams, N. M. Data mining for fun and profit. Statistical Science, v. 15, no. 2, 111-131.Kann, W. (2000) Comment on Data mining for fun and profit , Statistical Science, v. 15, no. 2, 127-130.以上內容提供者:趙民德中央研究院統計科學研究所資料採礦（Data Mining）連載之一 何謂DATA MININGDATA MINING和統計分析的不同為什麼需要DATA MINING何謂DATA MINING？資料採礦的工作（Data Mining）是近年來資料庫應用領域中，相當熱門的議題。它是個神奇又時髦的技術，但卻也不是什麼新東西，因為Data Mining使用的分析方法，如預測模型（迴歸、時間數列）、資料庫分割（Database Segmentation）、連接分析（Link Analysis）、偏差偵測（Deviation Detection）等；美國政府從第二次世界大戰前，就在人口普查以及軍事方面使用這些技術，但是資訊科技的進展超乎想像，新工具的出現，例如關連式資料庫、物件導向資料庫、柔性計算理論（包括Neural network、Fuzzy theory、Genetic Algorithms、Rough Set等）、人工智慧的應用（如知識工程、專家系統），以及網路通訊技術的發展，使從資料堆中挖掘寶藏，常常能超越歸納範圍的關係；使Data Mining成為企業智慧的一部份。Data Mining是一個浮現中的新領域。在範圍和定義上、推理和期望上有一些不同。挖掘的資訊和知識從巨大的資料庫而來，它被許多研究者在資料庫系統和機器學習（Machine learning）當作關鍵研究議題，而且也被企業體當作主要利基的重要所在。有許多不同領域的專家，對Data Mining展現出極大興趣，例如在資訊服務業中，浮現一些應用，如在Internet之資料倉儲和線上服務，並且增加企業的許多生機。隨著資訊科技的進步以及電子化時代的來臨，現今企業所面對的是一個與以往截然不同的競爭環境。在資訊科技的推波助瀾下，不僅企業競爭的強度與速度倍數於以往，激增的市場交易也使得各企業所需儲存與處理的資料量越來越龐大。在這種情況下，企業的焦點已從以往的資料整理與蒐集，轉變成如何有效的利用資料庫來進行資訊的獲取。換言之，企業如何因應外界的競爭，能快速且有效的從資料庫中取得有用的資訊，並反應市場或消費者的需求，成為各企業重視的焦點。資料採礦（data mining）所要處理的問題，就是在龐大的資料庫中尋找出有價值的隱藏事件，並且加以分析。而其主要的貢獻在於，它能從資料庫中獲取有意義的資訊以及對資料歸納出有結構的模式，以作為企業在進行決策時之參考依據（Carven and Shavlik, 1997）。此外，資料採礦所著重的是資料庫的再分析，包括模式的建構或是資料樣式的決定，其主要目的是用以發現資料庫擁有者先前關心卻未曾知悉的有價值資訊（Hand, 1998）。事實上，資料採礦並不只是一種技術或是一套軟體，而是一種結合數種專業技術的應用。Data Mining是指找尋隱藏在資料中的訊息，如趨勢（Trend）、特徵（Pattern）及相關性（Relationship）的過程，也就是從資料中發掘資訊或知識（有人稱為Knowledge Discovery in Databases, KDD），也有人稱為資料考古學（Data Archaeology）、資料樣型分析（Data Pattern Analysis）或功能相依分析（Functional Dependency Analysis），目前已被許多研究人員視為結合資料庫系統與機器學習技術的重要領域，許多產業界人士也認為此領域是一項增加各企業潛能的重要指標。此領域蓬勃發展的原因：現代的企業體經常蒐集了大量資料，包括市場、客戶、供應商、競爭對手以及未來趨勢等重要資訊，但是資訊超載與無結構化，使得企業決策單位無法有效利用現存的資訊，甚至使決策行為產生混亂與誤用。如果能透過資料採礦技術，從巨量的資料庫中，採礦出不同的資訊與知識出來，作為決策支援之用，必能產生企業的競爭優勢。Data Mining可說會合了以下六種領域：Database systems, Data Warehouses, OLAP Machine learning Statistical and data analysis methods Visualization Mathematical programming High performance computing Data mining 組成結構圖Data Mining應用的行業包括了金融業、電信業、網路相關行業、零售商、直效行銷、製造業、醫療保健及製藥業等等，應用領域如下表： Applications of Data Mining Customer-focused Operations-focused Research-focused Life-time Value Market-Basket Analysis Profiling & Segmentation Retention Target Market Acquisition Knowledge Portal Cross-Selling Campaign Management E-Commerce Profitability Analysis Pricing Fraud Detection Risk Assessment Portfolio Management Employee Turnover Cash Management Production Efficiency Network Performance Network Performance Manufacturing Processes Combinatorial Chemistry Genetic Research Epidemiology 現今電腦運算能力的躍進，以及資料儲存技術的進步，資料倉儲的廣泛建置，加上企業行銷策略轉為針對單一消費者個人行銷，更突顯Data Mining對於企業的迫切性。我們對於這種Data Mining的產品應該有一個正確的認知，就是它不是一個無所不能的魔法。它不是在那邊監視你的資料的狀況，然後告訴你說你的資料庫裡發生了某種特別的現象。也不是說有了Data Mining的工具，就連不瞭解業務、不瞭解資料所代表的意義、或是不瞭解統計原理的人也可以做Data Mining。Data Mining所挖掘出來的資訊，也不是你可以不經確認，就可以照單全收應用到業務上的。事實上，Data Mining工具是用來幫助業務分析策畫人員從資料中發掘出各種假設（Hypothesis），但是它並不幫你查證（Verify）這些假設，也不幫你判斷這些假設對你的價值。TOPDATA MINING和統計分析的不同？硬要去區分Data Mining和Statistics的差異其實是沒有太大意義的。一般將之定義為Data Mining技術的CART、CHAID或模糊計算等等理論方法，也都是由統計學者根據統計理論所發展衍生，換另一個角度看，Data Mining有相當大的比重是由高等統計學中的多變量分析所支撐。但是為什麼Data Mining的出現會引發各領域的廣泛注意呢？主要原因在相較於傳統統計分析而言，Data Mining有下列幾項特性：1. 處理大量實際資料更強勢，且無須太專業的統計背景去使用Data Mining的工具。2. 資料分析趨勢為從大型資料庫抓取所需資料並使用專屬電腦分析軟體，Data Mining的工具更符合企業需求。3. 純就理論的基礎點來看，Data Mining和統計分析有應用上的差別，畢竟Data Mining目的是方便企業末端用者使用而非給統計學家檢測用的。TOP為什麼需要DATA MINING？現今資料流通量之巨大已到了令人吒舌地步，就實際限制方面而言，便遭遇了下列問題： 巨量的紀錄（cases）（108-1012 bytes）。 高維的資料（variables）（10-104 attributes）。 蒐集到的資料僅有一小部分用來分析（5% to 10%） 資料收集過程中，本身並不具延伸性的探討特性，而往往忽略其未來潛在重要性。 資料的維度增加傳統分析技術的困難度 。除實際上遭遇之限制外，Data Mining對各行業所產生之利益，我們可由下表看出。Data Mining在零售業的應用 企業問題 增加郵寄活動的回覆率。 解決方法 經由Data Mining，行銷人員可建立一個能指出哪些人最有可能回覆郵寄活動的預測模型。 利益 針對正確特定的客戶群來提高收益 Data Mining在保險業的應用 企業問題 降低詐欺索賠數量。 解決方法 經由Data Mining，行銷人員可建立一個能指出哪些索賠最有可能是詐欺的預測模型。 利益 降低成本而提高收益。 Data Mining在金融業的應用 企業問題 增加預測市場波動的能力 解決方法 經由Data Mining，金融分析師可建立一個能指出哪些特徵會影響市場波動的預測模型。 利益 增加收益 資料採礦（Data Mining）連載之七-【迴歸分析】迴歸分析的意義簡單線性迴歸模式羅吉斯迴歸模式變數間的關係有些是確定的，像數學關係，如橘子一斤30元，十斤橘子300元；有些是不確定的，是隨機的，像廣告支出與銷售額的關係，商品價格與需要量的關係，個人年所得與教育年數的關係等。人們需要研究的是那些不確定的變數間的關係。如公司的業務經理知道他所銷售的貨品的價格與需求量間的關係後，他就可以依據商品的價格來預測銷售量。對於比較簡單的變數之間的關係，有時候可以憑著過去的經驗與直覺來判斷，但是對於比較複雜或需要精確結果的，就需要依賴客觀的統計方法來了解它們之間的關係了。在統計學上用來研究這些關係的統計方法除了變異數分析尚有迴歸分析、相關分析等。迴歸分析的方法是將所要研究的變數區分為依變數（dependent variable ）與自變數（independent variable），並根據相關理論建立依變數為自變數的函數（模型），然後利用所獲得的樣本資料去估計模型中參數的方法。例如一個家庭在考慮其家庭設備支出時會受什麼因素的影響呢？依據經濟理論，所得的多寡當然是最重要的因素。另外，財富的多寡、家庭人口數、偏好、商品的價格等都足以影響家庭設備支出。迴歸分析的意義迴歸分析就是一種統計分析的方法，主要在了解自變數（independent variable）與應變數（dependent variable）間之數量關係。它的主要用處，是尋找兩個或兩個以上的變數之間的相互變化的關係。當我們找到（或以為找到）這些關係之後，我們就可以利用它來做下面的事情：目的1. 敘述（description）：例如節目製作費用與收視率之關係 （了解變數之關係）。2. 控制（control）：例如商品價格與需要量之關係，故控制價格，也許就可以控制需要量（以價制量）。3. 預測（prediction） ：例如製作費與收視率之關係，也許可以用來粗估某節目的收視率。分類（依自變數多寡）：（1） 簡單迴歸分析（Simple regression analysis）（2） 複迴歸分析（Multiple regression analysis ）變數之選擇原則：（1） 依相關理論或邏輯（2） 依研究人員探討之變數關係來決定迴歸分析步驟：簡單線性迴歸模式最簡單的迴歸，只包括了一個因變數 和一個自變數 而我們希望它們之間的關係是直線： 其中Y：應變數（dependent variable; response variable）：自變數（independent variable; explanatory variable; regressor variable）：誤差項這樣的關係，叫做線性模型（linear model），而則是模型中的參數（regression parameters），又叫做迴歸係數（regression coefficient）。迴歸的基本假設迴歸的基本假設是其中的誤差結構。在方程式裡面，其中代表誤差項或者干擾項（error term; disturbance term）。它代表的意思是：我們知道完美的直線關係不太可能，因此我們承認直線模型可能有錯，而則代表可能發生的錯。 關於這些誤差項，我們的基本想法是：它們看起來應該來自某一個常態分布。最小平方法（Ordinary Least Square Method , OLS）假如你已有 這樣的一組包括個點的數據，那麼你就有辦法找出方程式 （2.1） 中最好的的解。所謂最好，是指它可以被選得使 （2.1） 中的誤差平方和最小。 設電腦就會將最好的（使Q的值最小的值求出來。這就叫做最小平方法。至於電腦怎麼實際去算，其實你不必管。反正它最後算出來的就是最好的，並且一定算得出來（除非所有的 都等於一個常數）。如果你一定要看公式，它們是： 這些點看來當然還不那樣像直線。所以模型雖有一點像，但還不是那麼對，有這樣的直線，儘管還是粗略，已經是十分不錯了。 ANOVA表之分析只要有一組資料 ，將它們丟給電腦，它就會幫你把應該有的迴歸都做出來。事實上，再差勁的一組數據，只要有 對，只要有自變數不恰好通通相等，則電腦就會幫你做迴歸。軟體是幫你做事情，但不是替你做判斷的。但是，這樣一個簡單迴歸做得好還是不好？回答這樣的問題，一部分要看residual plot，但也要看較正式的報表，一般叫變異數分析表（analysis of variance 表，簡稱 ANOVA表，ANOVA在統計學裡是一個標準名詞）。對於迴歸分析而言，ANOVA表雖然計算的公式複雜，但畫出來之後，卻並不難讀。它的樣子，各軟體都差不多。它主要的道理是平方和的分解，也就是說,下表中的第一欄中的三個量恰好滿足： 反正會幫你算出來。如何去解釋它才是你的工作。假設檢定我們要問的問題是要注意的是，對 這樣的問題，也會有一個 p-值。一般來說，有一個 ，就會有一個相對應的 p-值。羅吉斯迴歸模式迴歸分析（Regression）是使用一系列的現有數值來預測一個連續數值的可能值。若將範圍擴大亦可利用羅吉斯迴歸（Logistic Regression）來預測類別變數（Logistic Regression Model） 。logistic迴歸包括了相當一大類的問題，它可以討論類別、定量的自變量對一個類別變量的關係，是否獨立，不獨立時又會具有什麼形式的關係，線性的還是非線性的，.，等等。 資料採礦（Data Mining）連載之八-【多變量分析主成分分析】前言主成分分析（Principal Component Analysis）何謂主成分分析（PCA）我們且用最普通的言語來說何謂多變量。最簡單的觀測值為單變量，例如一群人的體重或者身高。較複雜的是二元變量，例如我們既然已同時量了這一群人的身高和體重，那麼為甚麼不將這兩者合起來討論？對於一般的問題，我們往往量了一大堆不同變量的數據。所謂的一個p-維變量，就是對一個對象量測p個不相同的變數所得到的結果。如果p的值不算太小，比如說5以上，要分析這樣的數據，我們就需要用到多變量的技術了。大多數由實務上所蒐集到的資料都是多元的。原因很簡單：我們千辛萬苦地安排了一個可以蒐集數據的客觀條件，當然會儘量多取一些測量。因此，聯招就不止考一門功課，凡有問卷調查也不會只問一個問項。就算是一個普通的身體檢查，也都是不同的項目量了又量。因此，多變量的問題自然存在。在本章裡，將介紹五個多變量分析方法：1. 主成分分析（principal component analysis）2. 因子分析（factor analysis）3. 判別分析（discriminant analysis）4. 叢集分析（cluster analysis）5. 典型相關分析（canonical correlation analysis）前面講過在多變量的問題裡，我們主要的問題是處理p-維資料的分析。但是，p的值大了的時候也會有問題：人類只是能看到三度空間的動物。在這樣多維的資料裡，我們多半也看不清楚到底應該有甚麼結論。 上面的五個方法差不多是目前用得最多的幾個多變量方法。讀者不要以為多變量方法一定優於單變量方法。沒有那回事。在單變量問題裡，我們的know-how 要多得多，因此可以做得較為細膩；對於多變量，因為問顯的難度增加，我們所知相對地要少得多。這是你在做多變量分析之前，心理上就應該調適的。本章所講的五個單元，在應用上可分為三類。第一類的目的是如何降低問題中的維數，這包括主成分分析和因素分析。主成分分析的著眼點，是試著去找尋資料的能夠解釋最多變異的方向，第二多的方向，等等。這個想法，和我們常用總平均來看學生的好壞是差不多一樣的。總平均通常是用學分數做加權來計算的。這裡，如果我們有四門課，分別是3, 3, 2, 和 4個學分，則 （3,3,2,4） 代表一個四維空間裡的一個方向。我們的加權平均實際上就是將數據沿著這個方向做投影。這樣的平均法雖行之有年，但它是不是真的最有鑑別力，卻是可以再研究的。但降低維數的想法，卻是我們都可以了解的。 因素分析則希望能找出這些資料是如何產生的的結構。例如我們現在有七、八百種股票上市，它們的投資報酬率便是一個 p-維向量，而且 p 700 ，是很大的數字。我們就希望能找出二三十個因素，例如GNP， CPI， 短期利率，等等，希望這 p 個投項報酬率可以用這些較少數的因素解釋出來。這些乃是一些重要財務分析模型的基本想法（他們管這樣的模型叫factor model），對一般的因素分析而言，我們的問題更難：因為我們手上只有基本資料，一般我們並不假設我們還有所給數據以外的其它資訊。這時，所要的因子不是由別的知識來的，而是要我們設法從現有的數據裡擠出來。這大略就是因素分析想要試著去做的事。第二類的目的是分類。這裡包括了判別分析和集群分析兩種。如果你有三班學生，而現在來了一個新的插班生。你希望能把他放到一個最適合他的班上去。這時，你就可能將該生的資料和這三個班的各同學類似的資料中去比較，看看該生和那一班最近。這樣的想法就是判別分析的想法，我們已知了一些分組或分類的情況，現在來了新的一個案子，我們要將之歸入那一類？從另一方面來說，前面談的是某些分類已完成的情形。現在假設是有一批新生報到的時候，而你是教務主任，負責將他們分班。不妨假設你想將同質性高的同學分在一起（雖然這不一定合於教育理論），那麼你就有一個集群分析的問題。當然集群分析的結構要複雜得多。我們想做的分類有一點像動植物品種的分類那樣的有一點（樹狀的）結構。最後一類是典型相關分析。這個問題的結構比較麻煩一點。設對每一筆數據，我們都可將之分為兩類資料： X 類和 Y 類。比如說，對每一個人，我們可以量測他的健康狀況（ X 部分）和經濟狀況（ Y 的部分）。我們想知道那些 X 部分的組成，和那些 Y 部分的組成關係最密切，那些第二密切，等等。 主成分分析（Principal Component Analysis）每當學年要結束時,學校老師總是要將學生的成績做一番評估。如何評估呢？以小學為例，一般學校的科目有：國語，算術，自然，社會等。每個學生的成績是按各科成績分別加起來的。如將國語分數加算數分數，自然分數加社會科分數都加起來做為總合的成績。但是把成績單純地相加起來,這樣行得通嗎？依照各科考試的內容，各科目應當以加權比例來計算分數，怎麼做呢？這樣一來即是加權過後總合的成績。我們在大學時的分數，通常就是以學分數來做加權的。換句話說，我們希望以某一種加權，將原先是七、八門的功課成績，換算成一個單獨的數字來代表你全部的成績。這樣的總平均在某種程度上代表了一些綜合的意義。這雖然行之有年，但這是不是最好的方法呢？我們在升學考的時候，希望考試能有甄別力。意思是說，把程度好的同學和程度不那麼好的同學能有效地區分開來。例如若：而將這些點都繪在平面上，則所有的點所顯示的樣子，就像一個橢圓形的樣子。圖9-1是4000個這樣子的點所畫的。而主成分則是這個橢圓的長軸方向。短軸的方向和長軸垂直，是第二個主成分的方向。這是p=2的愣形。如果p2，則我們會有第一、第二、.和第p個主成分方向。它們都互相垂直。當然，在p4的時候，我們就畫不出圖來。在一些軟體裡，主成分分析是和因素分析（factor analysis）放在一起的。因為二者的計算有一些相同的部分。比如說，先找主成分再由此出發去找因素，通常是一般因素分析的第一步。何謂主成分分析（PCA）前面說明的是，在我們對於某一問題同時可以考慮好幾個因素時，我們並不對這些因素個別處理，而是將它們綜合起來處理，我們用數據的本身來尋找對全部變異最有影響力的方向，第二有影響力的方向，.等等 。我們當然希望能夠找到一兩個方向能解釋大部分數據中的變異，因而得到降低原始數據中的維數的效果。這就是主成分分析（principal component analysis, PCA）。因此主成分分析之主要目的乃是希望用較少的變數去解釋原來資料中的大部份變異，更期望能將我們手中許多相關性很高的變數轉化成彼此互相獨立的變數，能由其中選取較原始變數個數少，能解釋大部份資料中的變異的幾個新變數，也就是所謂的主成分，而這幾個主成分也就成為我們用來解釋資料的綜合性指標。我們在此提醒大家，各主成分的方向是選得互相垂直的。如果原始的p-維資料是多元常態，則它們所相對應的各主成分是互相獨立的。即使沒有多元常態的條件，這些主成分至少是互相正交的（即：彼此的相關係數為0）。為什麼要用解釋變異的能力來尋找主成分呢?舉上例而言，考試的目的是希望能評估出學生的學習成效及能力程度，當我們只要看學生的數學程度如何時，當然可藉由一份良好的試卷來測驗出學生的程度分布狀況， 可是怎樣才是一份良好的試卷呢?當然是程度好的學生所考的成績較高，而程度差的學生成績就較低，亦即能真正反映出學生程度差異的真實分佈狀況。就統計上而言，即是此份考卷的分數能產生愈大的變異數，愈能夠反映學生彼此程度之差異，而在上例中，我們不想個別處理四科成績所反映的各科能力狀況，卻想做一個總體性學習狀況比較時，便要用所謂的主成分分析的方法來找出主成分，主成分即由原來四科成績的線性組合而成的新變數，亦即一個可以幫助我們看出學生們在此四科之學習狀況的綜合性指標，在此情況下，我們當然也希望此指標亦能真正顯出學生程度的差異，所以此指標若是能產生愈大的變異數，便代表它對學生之程度差異擁有愈大的反映及解釋能力。事實上，我們平日常用的算術平均法，將四科成績相加再除以四得到一平均成績。它也許是，也許不是一種主成分。得看這些成績之間的分布情形而定。主成分是一種用數學方法求出的一個方向，第一主成分並不保證 通通為正。因此，用第一主成分方向來做成績鑑別的話，有可能某一科得到負分還會給你幫忙呢！世上沒有一個教育單位敢這樣做的。通常原始資料有p個X變數時，經過轉換後，仍可找出p個主成分出來，然而原本我們最多只選擇m個PC，（mP）， 希望m的值愈小愈好，但解釋能力卻能達到約80%以上。除此之外，p個PC與原來的p個變數X之間的最大之差別乃是：原本之變數群中，多為彼此相關連的變數，而經過線性轉換後所產生的p個PC則為彼此獨立之新變數。主成分分析（principal component analysis）是首由於1901年提出， 再由Hotelling （1933）加以發展的一種統計方法。其主要目的是在於將許多變項予以減少，並使其改變為少數幾個互相獨立的線性組合變項（主成分），而在經由線性組合而得的成分之變異數會變為最大，使得原始的p-維資料在這些成分上顯出最大的個別差異來。主成分分析，除了用來概述變項間的關係外，亦可用來削減迴歸分析或集群分析中變項的數目。此外，為了達到最大變異的目的，我們可用主成分分析將原來的變項轉變為成分，在抽出成分之後，可將各變項的原始分數轉換為成分分數，以供進一步深入的統計分析。通常，在進行主成分分析時，應注意下列數點:2. 為使變異數達到最大，通常主成分分析是不加以轉軸。（這話其實是不必說的，因為求主成分並不需要由使用者來轉軸。但因為主成分軟體和因素分析的軟體往往放在一起，而後者往往需要轉軸，所以才在此多提一句。）3. 成分的保留: Kaiser （1960） 主張將特徵值小於的主成分予以放棄，而只保留特徵值大於1 的主成分。（成分保留的其它標準, 可參考因素分析的部份）。4. 在實際研究裡，研究者如果用不超過五或六個主成分，就能解釋變異之70-80%，亦已算令人滿意。5. 使用主成分分數後，會使各變項之變異數為最大，而且各變項之間會彼此獨立正交。主成分分析的最大問題，是各變量之間的單位可能不一。例如X1若以公斤為單位，X2若以公尺為單位，我們可以求出一組主成分向量來。但將X1換成公克，x2換成公寸再做同樣的分析，我們會得到不同的結果！且二者之間沒有明白的、可以解釋的關係。這和做迴歸分析不一樣，迴歸的結果是不受我們所選用的線性單位的影響的。因此，主成分分析適合於各變量的單位無太大的不同的時候。我們當然亦可將各變數通通標準化（使其新的平均值為0，新的標準差為1）之後再對新的、轉換過的數據來做。這是用人為的方法將所有的單位先轉換為一樣（通通都轉成沒有單位）的辦法。這就是前述第一點中相關矩陣（R）為出發點來做的主成分分析。資料採礦（Data Mining）連載之九【多變量分析因素分析與判別分析】因素分析（Factor Analysis）何謂因素分析法模式因素分析法之步驟因素轉軸的方法判別分析法（Discriminant Analysis）線性判別函數分派錯誤率（error rate of misclassification）判別分析的例子（error rate of misclassification）因素分析（Factor Analysis）我們在上一節談到主成份分析，它的目的是希望用較少的變數去解釋原始資料的大部分變異。而這些變數也就是我們利用主成份分析法整理而得的總體性指標。在這一章裡，我們將要介紹的因素分析法，也是希望能夠降低變數的數目，但不同的是我們是想在一群具有相關性且難以解釋的資料中， 找出幾個概念上有意羲的，並且彼此之間近於獨立的可以影響原始資料的共同因素。 TOP何謂因素分析法底下我們以九個變數為例子，由圖9-2我們可約略看出因素分析的要義。在九個變數中，可能某幾個變數在表面上看來即很相似，亦即其彼此間之相關係數較高，而事實上會影響這些變數觀察值結果的很可能是其背後看不到的某些共同原因所造成的。因此我們知道，可藉著因素分析法，由九個彼此相關的變數中萃取出其背後真正影響結果的三個主要因素： 我們可以回想做過的一些心理或性向測驗（因素分析是計量心理學的重要工具之一），這些測驗的問卷題目，很多都是彼此相關的問題, 而主試者可以在回收問卷資料後將資料加以整理分析，找出背後有那些共同因素影響受試者的答案。可能是受試者的保守性會直接影響他們對墮胎問題、兩性關係的看法；或者是自信心影響了他們在處理人際關係，面對困難的態度。這些事情的後面，我們希望能用某些因素（factors）來表現出來。主成份分析所著重的在於如何轉換原始變項使之成為一些綜合性的新指標，而其關鍵在變異數問題。與主成份分析不同的是，因素分析重視的是如何解釋變數之間的共變異數（covariance）問題，因每一位受試者的反應變量均為一些共同因素變量 （common factor variate）和唯一因素變量 （unique factor variate）的線性函數。例如，若我們能找 在技術層面上，若給定一個pp的共變異矩陣或者相關矩陣，則我們通常只能求出一組p個主成分出來。這一部分是直接計算就可以得到的。但因素的求得，就有很多方法。先利用主成分分析作最初的探索只是其中較常用的一種。 TOP模式我們將主成分分析和因素分析的模式寫在下面以作比較。對於主成分分析，它的主成分的形式是 T