数据雪球系统大型纯文本集合中提取的关系.docVIP

学号：2010012882 数据雪球系统:从大型纯文本集合中 提取的关系 （译文） 学院（系）： 专业 学生姓名： 指导教师 完成日期 数据雪球系统:从大型纯文本集合中提取的关系 摘 要 文本文档通常包含有价值、隐藏在普通英语句子的结构化数据。这个数据是最好的利用如果可以作为关系表,我们可以使用回答精确查询或运行数据挖掘任务。我们探索技术从文档集合中提取这些表,只需要从用户的例子少量的训练。这些例子是用于生成提取模式,这反过来又导致新的元组从文档集合中提取。我们建立这些想法和现在我们的雪球系统。雪球小说的策略生成模式和从纯文本文档提取元组。在提取过程中,每次迭代雪球评估这些模式的质量和元组而无需人工干预,仅保留最可靠的下一次迭代。在本文中,我们同时开发一个可伸缩的评价方法和指标我们的任务,全面的实验评价雪球和类似技术的集合超过300000的报纸文件。 1 引言 文本文档通常隐藏有价值的结构化数据。举个例子，报纸文章的集合可能包含总部的位置信息的组织。如果我们需要找到的核心位置,也就是说,微软,我们可以试着使用传统信息恢复技术去寻找包含我们的查询的答案文件。另外,我们可以回答这样一个查询更精确地如果我们有一个表列出所有可用的、提到我们的文档集合的区域性组织对。一个元祖o,l在这种表表明组织的总部位置l、o,并且这些信息出现在一个文档集合。元组微软,雷德蒙在我们的表将为我们的查询提供答案。隐藏的网络包含数以百万计的网页文本最好利用结构化的形式的数据。在这里，我们以最少的参与成员开发了从文本文档中提取结构化数据的雪球系统。我们的技术构建引入了布林的DIPRE想法。 DIPRE：双重迭代模式扩张 DIPRE提出了从HTML文档的集合作为提取的方法(或一个结构化的关系表)。该方法最适用于全球网络这样的一个环境,在那里 要提取的表元组会实现一致(即在HTML页面集合中的上下文重复文件)。DIPRE利用这种冗余和内在结构集合中从用户关系用最小的训练来提取目标。 在剩下的篇章中,我们更加关注场景上面定义的区域性组织。在这种背景下 DIPRE的目标是提取表出现在给定文档的所有区域性组织元组集合。起初,我们为DIPRE提供少数的实例有效区域性组织对。例如,我们可能表明微软，雷德蒙是一个有效的,这意味着微软是一个组织的总部所在地。同样的,我们为DIPRE提供其他一些例子,如表1所示。然而，用户提供了一个普通的表达式，里面包含的实体必须匹配。 这是DIPRE要求用户必须的一些训练。 在初始的训练之后，DIPRE寻找一些包含在文章中的原始结构和位置的例子，接着，DIPRE检测这些附近的初始文本内容。 举例：DIPRE 如下句子中：“computer servers at Microsoft‘s headquarters in Redmond ”找出Microsoft and Redmond 来构造一个模型如STRING1的总部在STRING2中，其他有可能的模型在图形1中列举出来了。 一个DIPRE模型包含五个元组，分别是顺序、前缀、左边、中间、右边，是由组合一起的具有相同字符串的种子元组产生的，之后从文章中找出最长的左边和右边用来设定左边和右边的字符串。 顺序反应的是顺序出现的位置和第一个出现的位置。在找到初始化的种子元组之后，DIPRE 浏览文档中符合模型的片段。 最后，DIPRE产生新的元组，把他们当做新的种子。DIPRE开始新的遍历新元组的过程，产生新的模型。 相关著作 布林DIPRE方法和我们的雪球系统,本文我们介绍这两个地址的问题，一直是信息提取研究的主题。然而,我们的任务是不同的,我们不要根据传统的信息提取系统的目标试图从每个文档中提取的所有相关信息。信息提取的主要挑战之一是每一个新任务的培训系统需必要的大量的体力劳动参与。这个挑战已经可以用不同的方式得到解决。一种方法是构建一个强大的和直观的图形用户界面进行训练系统,领域专家可以迅速为每一个新任务采取系统。然而,这些系统需要大量的体力劳动港口系统专家每一个新的领域。相比之下,斯诺鲍和DIPRE只需要少数例子元组为每个新场景。 另一种方法是训练系统在大型手工标记的语料库,系统可以应用机器学习技术来生成提取模式。这种方法困难是需要一个大的标记语料库,这又涉及到大量的体力劳动创造。为了解决这个问题,一些方法提出了使用一个未加标签的语料库进行训练。通过使用手动训练语料库的文档，描述自动生成提取模式，标记为相关或无关紧要的话题。这种方法比起标记文档需要较少的体力劳动,但是需要大量精力。描述了机器学习的技术从网络、创建知识库组成的实体和类的关系、利用文档的内容和网络的链接