《自然语言处理》全套PPT课件_801-900.pptxVIP

●常用数据集[

●常用评价方[

数据集

训练集

测试集

知识库

形式

发布时间

ATIS

Geo880

Free917

WebQuestions

WikiAnswers

SimpleQuestions

30MFactoid

QALD

8297

880

641

3782

2.4M

86755

31

300

3211

880

276

2037

698

21687

M

100

ATIS

GeoBase

Freebase

Freebase

Reverb

FreebaseReverb

Freebase

DBpediaYAGO

答案

逻辑形式答案

答案

答案

答案

答案

逻辑形式

1994

2001

2013

2013

2013

2015

2016

2011-今

●把问答可以看成一个排序问题，评价指标包括：准确率(Precision@1),平均准确率(MeanAveragePrecision),平均倒数排名(MeanReciprocalRank)。

●把问答看成一个答案是否正确的分类问题，评价指标包括：F1值(F1Value)。

(3)常用数据集及评价方法

813

第14章问答系统

●14.2检索式问答●14.3知识库问答

√14.4社区型问答

●14.5阅读理解式问答

814

社区型问答技术

■社区型问答(CommunityQuestion-Answering,简称CQA)系统，是一种基于社区的网络服务，用于支持提问者和回答者之间的相互交流。用户可以在网站上提交问题、描述和相关答案，也可以使用有哪些信誉好的足球投注网站引擎检索，找到以前提出问题的答案

■常见的社区型问答系统

●不受任何主题限制，如Yahoo!和百度知道

●专注于特定领域，如StackOverflow

815

问题：电脑打不开网页怎么办?

描述：有时候一开机的时候会打的开，但也总是会跳出一个宽带连接的窗口，QQ上的上。怎么

回事啊?

行业专家1:

1)网站关闭了

2)网站服务器出了问题

3)网站本身出了问题，导致无法访问

4)网站的服务器在境外，境内屏蔽了他们的IP,可以使用代理去访问

(最佳答案)(赞：8|踩：25)

用户2:

很明显的问题，这个是DNS出了问题，我告诉你一招，基本是100%可以解决的。

网上邻居右键属性——找到你的本地连接——右键本地连接选择属性——找到TCP/IP选项，双击——将自动获取IP地址，改为使用下面的IP

地址…

(赞：649|踩：344)

·…

问题：男生学什么乐器比较好?

描述：无

用户1:

我觉得可以学钢琴，架子鼓，大提琴，小提

琴等，培养韵律感，关键是自己要感兴趣

(最佳答案)(赞：9|踩：10)

用户2:

钢琴钢琴钢琴钢琴钢琴!!这么有气质的乐

器你值得拥有

(赞：8|踩：8)

用户3:

首先你要长得帅首先你要长得帅

(赞：1|踩：2)

……

社区型问答技术

■社区型

VIV

社区型问答技术

■在社区型问答系统中，一个典型的问答过程从问题的生命周期角度可以分为4个阶段：

●问题创建：提问者通过为问题选择主题、撰写标题和描述发布问题。

●问题回答：将问题分发给最有可能给出好答案的潜在回答者。回答者提供候选答案，其他用户可以对问题和答案进行投票和评论，帮助识别高质量答案。

●问题关闭：提问者可以通过选择最能满足其信息需求的最佳答案来中止问答过程。最佳答案也可由社区问答系统本身选择，如可以根据用户评分或票数选出。

●问题检索：将问题标记为已解决并存档。此时系统包含大量存档的问答对，除了问答场景，问答系统还可以通过全文检索或主题分类来发现存档中已有问题或相似问题的答案。

817

■用户与社

■社区型问系以使得提问者和有哪些信誉好的足球投注网站用户能够高效获取更好的答案，回答者能够处理擅长的领域

社区型问答技术

得到

选择最佳

评价

评价者

提问者

推荐给

回答者

提出

818

(1).榻似问题题翰索

针对用户的查询请求，从社区问答历史记录里检索出与之相似的已解决问题，并将这些问题的答案推荐给用户

■相似问题检索的优点：减少用户重复提问，满足用户的信息需求，节约用户的等待时间

■相似问题检索的重要一环：问题的的相似度计算

■问题相似度计算方法

(1)基于字符串的方法

(2)基于语料库的方法

(3)基于世界知识的方法

819

(1)想学将颢检衡量标准：字符串的共现和重复程度

■依据计算粒度进行分类

■基于字符的方法：编辑距离、汉明距离等

■基于词语的方法：余弦相似度、欧氏距离等

■基于字符串方法的优