十八章资料探勘技术.pptVIP

第十八章 資料探勘技術 本章大綱 第一節 導論 第二節 資料探勘的動機及程序 第三節 資料探勘的分類技術 第四節 資料探勘的相關分析技術 第五節 時間相關的資料探勘技術 第六節 資料探勘的應用 第七節 結論 學習目標 資料探勘的基本概念 資料探勘的程序 資料探勘的常用技術，包括分類、關聯分析等 資料探勘技術在建立企業智慧及決策支援系統的應用 資料探勘的基本概念 建立企業智慧最主要的方法之一。 資料探勘是從資料中發掘知識的過程，亦有人稱為 資料庫的知識挖掘(Knowledge Discovery in Databases, KDD) 資料考古學(Data Archaeology) 資料型態分析(Data Pattern Analysis) 資料探勘的定義 從大量資料中，尋找事前未知(previously unknown)、有效(valid)且可以付諸行動(actionable)之規則或知識。 資料探勘的基本概念（續） 資料探勘的常用技術，依其性質分為三類 分類技術 相關分析 時間順序分析 圖18-1 資料探勘技術分類 資料探勘的動機 瞭解過去經營資料中有用的可能關係 找出有助於未來經營決策的知識 分析特定顧客的行為或市場的變化 對影響經營的因素有深入的瞭解 資料探勘的程序 決定企業探勘資料的目的 資料收集與整合 選擇適當的資料探勘技術 結果分析 知識應用 圖18-2 配合企業問題與資料探勘技術的可能應用 資料探勘的分類技術 歸納分類 (Classification) 集群分析(Clustering Analysis) 歸納分類 若一組資料共有N 類，分別為C1…CN，而且一個案例在Ci類的機率為P(Ci)，則計算該組資料的公式為 歸納分類（續） H (C | Competition=Low)= － p (Up | Competition=Low) ×log2(Up | Competition=Low)　　 － p (Down | Competition=Low) × log2(Down |Competition=Low) 　 = 　 = 0.918 H (C | Competition=High)= － p (Up | Competition=High) ×log2(Up | Competition=High) － p (Down | Competition=High) ×log2(Down |Competition=High) = = 0.811 歸納分類（續1） 因為應用Competition加以分類後，會分成Sales＝Up及Sales＝Down兩類。因此其分類的總值為 H (C | A)＝ 即以上例而言 H (C | Competition)＝ ＝0.8752 表18-1 產品銷售分析 圖18-3 ID3產生的決策樹 集群分析 K平均演算法 步驟1：隨機初始k個中心點m1, m2, ..., mk。 步驟2：將物件集合中的每個物件按照與k個中心點的不相似性，將其歸屬於最相似中心點的集群中。 步驟3：針對每一個mi所代表的集群，計算這個集群所有物件之各屬性的平均值，並以此向量取代mi。 步驟4：若所有中心點在步驟3中沒有更動，則此時已完成集群分析並停止執行，否則跳至步驟2繼續執行。 表18-2 業務員年齡與業績統計 圖18-4 業務員年齡與業績散佈圖 表18-3 三個集群的成員 資料探勘的相關分析技術 關聯分析(Association Rule Analysis) 交易資料庫中每筆交易包含一些交易項目，關聯分析的目的是由這些交易資料中，找出交易項目的相關聯法則(association rule)。 鏈結分析(Link Analysis) 針對具有鏈結性的資料（如電話通信紀錄），將資料以節點（Node，如電話號碼）及鏈結（Link，如通話）來表達，並根據鏈結圖形找尋出具有某種特性之資料，或圖形中隱含的關係。 關聯法則 以X?Y表示，其中X與Y分別為交易項目的集合，且X?Y??。關聯法則X?Y必須滿足下列兩個條件 X和Y的所有交易項目的集合必須同時出現在至少s%的交易中（其中s%稱之為最小支持率或minimum support）。 在所有包含X交易項目的交易中，至少有c%包含Y的交易項目（其中c%稱之為最小信賴度或minimum confidence）。 鏈結分析 理論來自於「圖形理論」(Graph