决策树的重要性.ppt

決策樹分類法 中原資管所李維平老師 決策樹的重要性 在商業界最常用的方法之一 DecisionTree之意義 DecisionTree之意義 IfWehavemuchmoneyANDWearebuyingagiftforanadultTHENBuyacarIfWehavemuchmoneyANDWerebuyingagiftforachildTHENBuyacomputer Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes No No No No No No No No No No No No No No No No No No Yes 有弦 用吹的 彎如弓的 演奏時要用下巴夾的 用彈的 有鍵盤的 木管樂器 有簧片 有雙簧片 銅管樂器 常用於通俗樂器中 比演奏者高 常用於通俗樂器中 有十根弦以上 打擊樂器 有弦 鼓棒 有音鎚的 曲型的 筆直的 彈奏 小提琴 中提琴 低音提琴 大提琴 不知道 豎琴 詩琴 揚琴 不知道 電子樂器 風琴 Yes 撥弦古鋼琴 鋼琴 Yes No Yes No 名詞解釋 根節點葉節點內部節點 決策樹本質 是一個分類器 收入年齡職業 分類器 好普通差 銀行客戶 信用分類 信用 為目標屬性 決策樹 決策樹優點 可以萃取分類規則例如 銀行新客戶的信用分類問題 決策樹例子 1 信用好 2 信用差 例子 舊客戶購買之歷史資料 新客戶 女生 商學院 請問她最可能購買的產品 決策樹例子 1 電腦 2 手機 學院 性別 12 12 男 女 學院 22 11 商 人文 單純資料 男 女 商 人文 電腦 電腦 手機 手機 性別 混亂資料 混亂度高 混亂度低 決策樹 目標屬性 購買產品類別輸入屬性 性別 學院 年級 混亂度 定義 一群物件的目標屬性混亂的程度三種計算方式 P1 P2 0 1 4 P1 這群物件目標屬性值為1的機率P2 這群物件目標屬性值為2的機率Min P1 P2 0 1 2 Entropy P1log2P1 P2log2P2 0 1 練習 計算混亂度 1 1 1 1 1 1 1 2 1 1 2 2 Min P1 P2 P1 P2 決策樹精神 挑選一輸入屬性 能將目標屬性的混亂度降到最低 決策樹演算法 Step1 選擇一輸入屬性 將所有objects作分類 Step2 計算分類後之平均混亂度 Step3 選擇能使混亂度降得最低的屬性 作為節點之判別屬性 Step4 反覆 Step1 3 直到停止條件 停止條件 當葉節點滿足下列條件即停止1 所有物件的目標屬性 皆為同一類2 沒有輸入屬性可以降低混亂度 決策樹模型 三階段模式 訓練階段將決策樹訓練出來測試階段測試決策樹的準確性運用階段可對一未知資料作分類 DecisionTree之準確率 利用 測試資料 作測試 練習 age income creditrating fair excellent 30 40 no no yes yes yes 30 40 RootNode ChildNode LeafNode h m l no 決策樹相關演算法 ID3 前面所教 Quinlan1979輸入屬性為離散C4 5 IBMMining軟體所採用 Breiman1984輸入屬性可為連續 決策樹mining過程 A決定想解決的問題B決定目標屬性與輸入屬性C決定資料範圍D資料前處理或許需要將連續變數改為 離散 變數E建構決策樹 並解釋結果F若無法解釋 應回到A或B再思考 決策樹專案注意事項 1 2 目標變數應為 離散 類別 變數值不能太多輸入變數關聯性太高不適合使用預測所得高低 輸入變數為年齡 職業 繳稅高低預測打擊率高低 輸入變數為年齡 守備位置 長打率 月薪 決策樹專案注意事項 2 2 目標屬性與輸入屬性關聯性太低例如 樂透獎輸入 年 月 週 日輸出 樂透號碼 作業 碩專 時間 2週請於3 24 一 前 將報告mail給老師與上課成員報告請用Word檔撰寫 約3 6頁應說明每位組員的貢獻若有問題詢問 每位組員皆可回答 附錄 下週報告 大學部