区别分析理论.docVIP

區別分析理論 本章將大致介紹整個區別分析的理論背景，在2.1 節將先介紹一些專用名詞及三個對等的分類法則，而2.2節與2.3節則介紹兩種常用的古典區別分析法，分別是線性區別法與費雪區別法，最後在2.4節則將介紹如何計算錯誤分類率。 2.1決策理論 決策法則(Decision rules) 已知有個母體，用、、…、代表。所謂決策法則就是一種法則，當某事物的測量值屬於區域時，則將此事物歸類到第個母體。而、、、個聯集為樣本空間的互斥的區域。而分隔這些區域的邊界稱為決策表面(decision surfaces)。如下圖所示： 決策表面(decision surface) 在介紹決策理論之前，需要先瞭解以下幾個名詞的意義： 先驗機率(Prior probability) = = the prior probability that an object is from population , = ,,…, 先驗機率就是事物來自第個母體的機率。值的取得，可根據過去各母體所佔的比例，當然有時值的決定相當主觀，若實在不確定時，可取。 錯誤分類的機率(The probability of misclassification) = = = 錯誤分類的機率就是在給定事物來自於第個母體的條件下，卻將事物錯誤分類到第個母體的機率。 錯誤分類的成本(The cost of misclassification) 錯誤分類的成本就是在給定事物來自於第個母體的條件下，卻被錯誤分類到第個母體而花費的成本。 期望錯誤分類的成本 (Expected cost of misclassification；簡稱ECM) 期望錯誤分類的成本ECM就是將事物來自第i個母體的機率乘以ECM(i)的總和，其中ECM(i)表示在給定第i組的情況下，卻被錯誤分類到其他組時，我們所期望花費的成本。 後驗機率(Posterior Probability) 後驗機率就是已知事物的測量值為時，將此事物歸類到第個母體的機率。 在定義過上面5個名詞後，接著我們將介紹三個分類法則： 法則1：最小ECM分類法則(Minimum ECM classification rule) 最小ECM分類法則就是如果期望錯誤分類的成本ECM最小的時候，將事物歸類到第k個母體。 法則2：錯誤分類成本相等的最小ECM分類成本(Minimum ECM classification rule when equal misclassification cost) 不失一般性假設所有時，法則1就成為 由於總和固定，當最小，表示一定是最大，也就是 所以當錯誤分類的成本都相同時，法則1與法則2是相同的。 法則3：最大後驗機率法則(Maximum posterior probability rule) 最大後驗機率法則就是在已知事物的測量值為時，將此事物歸類到第個母體的機率，如果大於將此事物歸類到其他母體的機率，則將此事物歸類到第組。其實法則3與法則2是相同的，因為 因此 2.2 線性區別法 2.2.1兩個變異數相等的常態母體的分類 (Classification of two normal populations，when ) 假設~，且假設~ ，所以兩母體的多變量常態分配的密度函數為 , 根據法則1：最小ECM分類法則可以得到下式： 相當於 將多變量常態分配的密度函數代入得到 左式上下約分化簡後得到下面的式子 將左式乘開 左式中，第1、5項相消，第2、3項6、7項合併得到下式： 將左式中第3項加上，第4項減去得到下式： 左式中，第1、2項3、4項合併後得到下式： 經過上面的一些代數運算，我們得到下面的結果： 在實務上，通常母體平均向量、是未知的，所以我們用樣本平均向量、來估計。因此兩個變異數相等的常態母體的估計的最小ECM分類法則為： 令 並且假設與則，所以 則兩個變異數相等的常態母體的估計最小ECM分類法則簡化為： 這裡 則 若只假設時， 左式4、、移到左邊得到 令左式，， g個變異數相等的常態母體的分類 我們將2.2.1 兩個變異數相等的常態母體的分類法則推廣到g個變異數相等的常態母體， 這裡 將事物的測量值歸類到第個母體，是最大的。為什麼將歸類到如果最大？理由是若將每個都減去，則 這裡 如果估計的線性區別分數的值最大，我們將事物的測量值歸類到第個母體，又因為代表到樣本平均向量距離的平方，值越小，則到樣本平均向量距離就越近，若距第組的中心(樣本平均向量)最接近，則將歸類到第個母