高斯混合密度函数.DOCVIP

高斯混合密度函數的參數估測法 如果我們的資料在d維空間中的分佈不是橢球狀，那麼就不適合以一個單一的高斯密度函數來描述這些資料點的機率密度函數。此時的變通方案，就是採用數個高斯函數的加權平均（Weighted Average）來表示。若以三個高斯函數來表示，則可表示成： 此機率密度函數的參數為，而且要滿足下列條件： 以此種方式表示的機率密度函數，稱為「高斯混合密度函數」或是「高斯混合模型」（Gaussian Mixture Model），簡稱 GMM。 為簡化討論，我們假設所有高斯密度函數的共變異矩陣可以表示為： 此時單一的高斯密度函數可表示如下： 上述方程式對參數的微分可表示如下： 而前述的可以表示成： 此的參數為，參數個數為：1+1+1+d+d+d+1+1+1=6+3d。 欲求得最佳的值，我們可依循最佳可能性估測法（MLE）原則，求出下列的最小值： 為簡化討論，我們引進另一個數學符號： 稱為事後機率（Post Probability），若用機率常用的符號，可寫成： 欲求的最小值，我們可以直接對及微分： 令上兩式為零，即可得到： 此外，我們人必須求E對的微分，但因仍必須滿足總和為1的條件，因此我們引進Lagrange Multiplier ，並定義新的目標函數為： 將上三式相加： 因此經由計算E的導式並令其為零，我們得到方程式及，這三個方程式事實上代表了個純量方程式，共含個未知數，但須特別注意的是：仍是的函數，因此方程式,是一組含 個未知數的非線性聯立方程式，很難用一般的方法去解，通常我們是以方程式,為基礎來進行疊代法，流程如下： 設定一個起始參數值 。（我們可用K-means的方式來設定一個較好的起始參數值） 使用 來計算 計算新的值 ： 4. 計算新的值： 5. 計算新的值： 6. 令若小於某一個極小的容忍值，則停止。否則令 並跳回步驟2。 上述方法一定會收斂至一個局部最小值，有關這些方程式的推導與證明，詳見下節。