贝叶斯算法(谢邦昌).pptVIP

Microsoft SQL Server 2005 Data Mining 演算法 – Na?ve Bayes 謝邦昌 輔仁大學統計資訊學系 教授中華資料採礦協會? 理事長 Na?ve Bayes Classifier 單純貝氏分類 何謂Na?ve Bayes Classifer 單純貝氏分類器 (Na?ve Bayes Classifier) 是一種簡單且實用的分類方法。 在某些領域的應用上，其分類效果優於類神經網路和決策樹 採用監督式的學習方式，分類前必須事先知道分類型態，透過訓練樣本的訓練學習，有效地處理未來欲分類的資料。 何謂Na?ve Bayes Classifer 用於大型資料庫，可以得出準確高且有效率的分類結果 單純貝氏分類器主要是根據貝氏定理 (Bayesian Theorem) ，來預測分類的結果。 何謂Na?ve Bayes Classifer 單純貝氏分類器，主要的運作原理，是透過訓練樣本，學習與記憶分類根據所使用屬性的關係，產生這些訓練樣本的中心概念，再用學習後的中心概念對未歸類的資料進行類別預測，以得到受測試資料物件的目標值。 每筆訓練樣本，一般含有分類相關連屬性的值，及分類結果 (又稱為目標值)；一般而言，屬性可能出現兩種以上不同的值，而目標值則多半為兩元的相對狀態，如 “是/否”，”好/壞”，”對/錯”，”上/下”。 隨機實驗 隨機實驗 1.新生嬰兒性別 2.產品檢驗 樣本點 1.男性、女性 2.良品、不良品 樣本空間 1.S=｛男性、女性｝ 2.S=｛良品、不良品｝ 隨機實驗(Random Experiment)是一種過程，實驗前已知所有可能結果，實驗前不可預知實驗結果，相同狀況下實驗可重複試行。 樣本空間：隨機實驗所有可能結果所構成的集合。樣本空間內元素稱為樣本點。樣本空間的子集合稱為事件。 機率的概念 機率是衡量某一事件可能發生的程度(機會大小)，並針對此一不確定事件發生之可能賦予一量化的數值。 考試會錄取的機率、明天會下雨的機率 機率理論的種類 一、古典機率 又稱先驗機率(prior probability)或事前機率，一隨機實驗滿足下列條件: 1.樣本空間的樣本點數是有限的 2.樣本空間內所有樣本點發生機率為相同的 事件E發生的機率以P(E)表示: P(E)=事件E樣本點之個數/樣本空間樣本點之個數 機率理論的種類 二、經驗機率 又稱相對頻率機率，是指一實驗重複實行，則某事件發生的機率定為在長期的實行中，該事件出現的次數與實驗總次數之比 P(E)= lim n(E) n→∞ n n:隨機實驗之總次數，n(E):事件E出現的次數 三、主觀機率 研究者根據自己的判定，給予機率，只要滿足P(E)→[0,1]即可 事件機率 聯合機率(joint probability) 表示A事件和B事件同時發生的機率= P(A ∩ B) 邊際機率(marginal probability) 在A和B的樣本空間中，只看A或B的機率，稱之邊際機率 條件機率(conditional probability) 在發生A的條件下，發生B的機率，稱為P(B|A) 乘法法則(Multiplicative rule) 　 Ｐ(Ａ∩Ｂ) Ｐ(Ｂ│Ａ)＝ ───── Ｐ(Ａ) Ｐ(Ａ∩Ｂ)＝ Ｐ(Ｂ)×Ｐ(Ａ│Ｂ) ＝ Ｐ(Ａ)×Ｐ(Ｂ│Ａ) Ｐ(Ａ∩Ｂ) Ｐ(Ａ│Ｂ)＝ ───── Ｐ(Ｂ) 獨立事件 設事件Ａ和事件Ｂ滿足以下條件： Ｐ(Ａ)＞０，Ｐ(Ｂ│Ａ)＝Ｐ(Ｂ) Ｐ(Ｂ)＞０，Ｐ(Ａ│Ｂ)＝Ｐ(Ａ) Ｐ(Ａ∩Ｂ)＝Ｐ(Ａ)×Ｐ(Ｂ) 則稱Ａ與Ｂ為『獨立事件』。 貝氏定理 Ｐ(Ａi∩Ｂ) Ｐ(Ａi)×Ｐ(Ｂ│Ａi) Ｐ(Ａi│Ｂ)＝ ────── ＝ ─────────── Ｐ(Ｂ) n ΣＰ(Ａi)×Ｐ(Ｂ│Ａi) i=1 Ｐ(Ａi)表事前機率(Prior probability)。 Ｐ(Ａi│Ｂ)表事後機率(Posteriori probability)，事件Ａi是一原因，