条件随机场(公式版).pdfVIP

条件随机场 conditional random fields 条件随机场概述 条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔科夫 模型的基础上，提出的一种判别式概率无向图学习模型，是一种用 于标注和切分有序数据的条件概率模型。 CRF最早是针对序列数据分析提出的，现已成功应用于自然语言处理 (Natural Language Processing ，NLP ）、生物信息学、机器视觉及网 络智能等领域。 序列标注 实体命名 标注：人名 地名 组织名 识别 观察序列：毛泽东 标注：名词 动词 助词 形容词 副词 …… 观察序列：今天天气非常好！ 汉语词性 标注 一、产生式模型和判别式模型（Generative model vs. Discriminative model ） 二、概率图模型 （Graphical Models ） 三、朴素贝叶斯分类器（ Naive Bayes Classifier ） 四、隐马尔可夫模型（Hidden Markov Model ，HMM ） 五、最大熵模型（Maximum Entropy Model ，MEM ） 六、最大熵马尔可夫模型（MEMM ） 七、条件随机场（conditional random fields ，CRF ） 一、产生式模型和判别式模型（Generative model vs. Discriminative model ） o和s分别代表观察序列和标记序列 •产生式模型：构建o和s的联合分布p(s,o) ，因可以根据联合概率来生成 样本，如HMM ，BNs ，MRF。 • 判别式模型：构建o和s的条件分布p(s|o) ，因为没有s的知识， 无法生成样本，只能判断分类 ，如SVM ，CRF ，MEMM 。 产生式模型：无穷样本 ==》 概率密度模型 = 产生模型 ==》预测 判别式模型：有限样本 ==》 判别函数 = 预测模型 ==》预测 一个举例： (1,0), (1,0), (2,0), (2, 1) 产生式模型： P (x, y)： P(1, 0) = 1/2, P(1, 1) = 0, P(2, 0) = 1/4, P(2, 1) = 1/4. 判别式模型： P (y | x)： P(0|1) = 1, P(1|1) = 0, P(0|2) = 1/2, P(1|2) = 1/2 两种模型比较： Generative model ：从统计的角度表示数据的分布情况，能够反映同类数 据本身的相似度，不关心判别边界。 优点: •实际上带的信息要比判别模型丰富， 研究单类问题比判别模型灵活性强 •能更充分的利用先验知识 •模型可以通过增量学习得到 缺点： •学习过程比较复杂 •在目标分类问题中易产生较大的错误率 Discriminative model ：寻找不同类别之间的最优分类面，反映的是异类数据 之间的差异。 优点: •分类边界更灵活，比使用纯概率方法或生产模型得到的更高级。 •能清晰的分辨出多类或某一类与其他类之间的差异特征 •在聚类、viewpoint changes, partial occlusion and scale variations中的效果 较好 •适用于较多类别的识别 缺点： •不能反映训练数据本身的特性。 •能力有限，可以告诉你的是1还是2 ，但没有办法把整个场景描述出来。 二者关系：由生成模型可以得到判别模型，但由判别模型得不到生成模型。 二、概率图模型 （Graphical Models ） 概率图模型：是一类用图的形式表示随机变量之间条件依赖关系的概率模型， 是概率论与图论的结合。图中的节点表示随机变量，缺少边表示