基于遗传算法的问答系统优化方法.pdf

基于遗传算法的问答系统优化方法 一 背景 1.1 问答系统 近年来，随着自然语言处理技术的发展，智能问答系统受到了极大的关注，从聊天软件 ‘小黄鸡’的风靡，到流行于各大网络平台的应答机器人，智能问答系统在众多领域得到应 用。一个优质的问答系统解决客户常见的问题，降低人工开销，并能提供24 小时无间断服 务。 在限定领域问答系统中(如政府事务问答系统)，通常采用基于问题答案对的问答系统。 如图1，基于问题答案对的问答系统首先对用户输入的问题进行分析，包括关键词提取，关 键词扩展等一系列的预处理。然后将预处理的问题输入问题检索模块进行问题匹对，包括 lucene 检索，模糊匹配等文本相似度计算方法。最后对检索出来的匹对问题进行筛选和选 择，选择出最优的答案。基于问题答案对的问答系统由于高效和简单，已经广泛应用在限定 领域和社区问答中，如百度知道，智能客服等具体的应用。 图1 问答系统流程 1.2 遗传算法 遗传算法（Genetic Algorithms ,GA ）是一类借鉴生物界自然选择和自然遗传机制的随机 化有哪些信誉好的足球投注网站算法。它模拟自然选择和自然遗传过程中发生的繁殖、交叉和基因突变现象，在每次 迭代中都保留一组候选解，并按适度值评估函数从解群中选取较优的个体，利用遗传算子（选 择、交叉和变异）对这些个体进行组合，产生新一代的候选解群，重复此过程，直到满足某 种收敛指标为止如图2。遗传算法作为一种优化参数的方法，已经广泛应用与各种领域。 图2. 遗传算法流程 二 问题描述 基于问题答案对的问答系统具有知识整理简单，有哪些信誉好的足球投注网站高效的特点，被广泛应用在智能问 答系统中。然而，在限定领域的复杂有哪些信誉好的足球投注网站中，其简单高效带来了一定的问题。首先，在一般 的系统中，通常采用一种信息检索的方法(vsm)进行信息检索，由于每一种方法都有其缺点 （如vsm 不能解决语义连续的信息检索），不能适应多种类型的问题检索，因此需要在问答 系统中引入多种检索方法。但是，如果引入多种信息检索的方式，会造成检索结果的多样性 且不同有哪些信誉好的足球投注网站方法的评价尺度不一，无法简单的进行排列比较。第二，在问答系统中往往会有 不同问题类型的数据，在检索中需要同时对不同类型的问题进行检索。如在政府事务中，既 有政府事务的问题，也有用户的一些闲聊类型的问题，在检索过程中其重要性不相同和问题 格式不相同，因此无法采用统一尺度进行比较选择。 综上可以看出，在包含不同检索方法和不同类型的问答对的限定领域问答系统中，如何 选择一个有效的且优化的评价因子，对不同检索方法和不同类型问题进行合理选择显得的尤 为重要。并且，有效的因子不仅可以组合多种方法和数据类型，还可以提高问答系统的性能 和用户的体验。 三 发明要点 本发明提出一种将遗传算法和问答系统进行有效结合的方案和系统。该方案 首先利用多种信息检索的方法来优化和增强问答系统对问题的检索性能，提高查 准率和查全率，并且对不同类型的问题进行区分检索，提高系统对限定领域的检 索能力。然后，利用遗传算法在开发集上对以上不同评价因子进行优化选择，选 择系统最优的参数。具体而言，该发明主要包含以下内容： 1. 集成多种信息检索方法的问答系统。基于问答对的传统的问答系统一般采 用单一的信息检索方法对相似问题进行检索。当问答对比较复杂时，单一的检索 方法不能满足检索要求，如词袋模型对语序有要求的问题无法检索。本发明提出 一种集成多种检索方法的问答系统，有效的提高了系统的查准率和查全率。 2. 区分不同类型问题的检索方法。在传统的限定领域问答系统中，一般是直 接从所有的问答对中进行检索，不区分不同类型的问答类型。但当用户咨询特定 领域的问题时（如政府事务），用户关心的往往是限定领域的问题，对于一些闲 聊问题不是很关心。为了解决此问题，本发明提出了一种不同类型问题的区分检 索方法，针对不同类型问题进行区别检索，然后根据领域进行特殊选择，从而有 效提高系统限定领域内的查准率和查全率。 3. 基于遗传算法的评价因子优化方法。在以上的两个方法中，问答系统中集 成了多种评价标准，包括多种信息检索方法的评价因子和检索不同类型问题的评 价因子，因此需要选择一个最优的组合评价标准，提高系统的整体性能。本发明 提出了一种利用遗传算法进行参数选择的方法，可以根据不同的领域开发集，自 动选出系统最优评价因子。 四 发明内容和系统实现 4.1 集成多种信息检索方法的问答系统