信息组织与检索 第八章-并行和分布信息检索.pptVIP

* * 8.3.1 分布信息检索的体系结构 二、系统结构 客户（用户） 检索系统的用户 一个查询服务器（又称为连接服务器或通信服务器，之上运行委托代理） 查询服务器负责客户与信息检索服务器之间的所有消息传递 信息检索服务器 信息有哪些信誉好的足球投注网站 * * 8.3.1 分布信息检索的体系结构 * * 8.3.1 分布信息检索的体系结构 三、一些需要考虑的问题 工程性问题 有哪些信誉好的足球投注网站协议的定义，用于规范化传输查询请求和查询结果； 服务器的请求处理能力，能够有效地接收请求，初始化一个子进程或一个线程，响应查询请求； 利用高速缓冲技术支持快速的数据获取； 设计一个代理，向多个分布有哪些信誉好的足球投注网站服务器提交有哪些信誉好的足球投注网站请求，并维持其同步，还要把中间查询结果合并为最终的用户响应 * * 8.3.1 分布信息检索的体系结构 三、一些需要考虑的问题 算法方面的问题 如何在分布有哪些信誉好的足球投注网站服务器之间分配文档； 如何选择合适的有哪些信誉好的足球投注网站服务，处理一个特定的查询请求； 如何合并来自不同服务器的查询结果等 * * 8.3.2 分布信息检索的文档集分割 独立管理下的检索系统 分布文档集的建立和管理是独立进行的 每个独立的有哪些信誉好的足球投注网站服务可以对应于某个特定的主题领域 实际上是对文档集按照主题领域进行了语义分割 这通常是常见的元有哪些信誉好的足球投注网站系统的形式 * * 8.3.2 分布信息检索的文档集分割 集中管理下的检索系统 在所有有哪些信誉好的足球投注网站服务器上复制文档集 文档集足够小，可以存放在单台有哪些信誉好的足球投注网站服务器上，系统的并行性是通过多任务来实现的 把文档集随机分布 代理把每个查询广播到所有的有哪些信誉好的足球投注网站服务器上，并把检索的结果合并起来，返回给用户 对文档集进行语义分割 把用户的查询分配到合适的有哪些信誉好的足球投注网站服务器上，最后把各路查询结果合并起来，形成最终的查询结果 * * 8.3.3 标准化 分布信息检索系统的基础保障就是标准化 标准化的两个方面 元数据及其内容描述。为了使得信息检索可互操作，需要一致的数据集模型。这方面的标准用于建立标准的、共用的、适合描述各种类型数据的元数据语义库和文档内容库。 信息检索协议。它是一套互操作信息检索协议，支持统一的元数据语义和内容描述。在标准检索协议支持下，通过共同支持的查询语义和语法，对各种异构文档集进行有哪些信誉好的足球投注网站 例如：Z39.50 * * 8.3.3 标准化 * * 8.3.4 分布信息检索的查询处理 查询处理的基本步骤如下 资源选择。选择合适的文档集，用于有哪些信誉好的足球投注网站； 查询分发。把查询分发到这些文档集上； 并行有哪些信誉好的足球投注网站。对文档集并行执行查询； 结果合并。合并各文档集的查询结果，形成最终的查询结果 * * 8.3.4 分布信息检索的查询处理 资源选择 给定信息需求和一组资源描述，决定有哪些信誉好的足球投注网站哪些资源库 资源描述表示分布信息环境中包含哪些文档集 资源选择的主要问题? 对资源排序，即根据资源满足查询需求的可能程度来排序 * * 8.3.4 分布信息检索的查询处理 查询结果的合并 要求：把从每个文档集得到的排序结果合并起来，形成单一的排序 问题：因为每个文档集可能采用不同的统计排序准则，不同的数据表示和/或检索算法，因此文档的排序和相似值的含义不同，合并这些查询结果是非常困难的 * * 8.3.4 分布信息检索的查询处理 查询结果的合并 合并的方法 循环交替地合并从各个文档集查询得到的查询结果排序表，但是这种方法可能导致不好的结果 利用全局项统计值去计算文档的相似值 采用计算归一化的相似值，或基于归一化值的合并方法 …… * * 小结 对于大型的不断增长的在线文档集来说，尤其是多媒体数据的大量涌现，需要并行和分布计算来支持信息的检索 主要讨论了MIMD并行体系的信息检索问题 信息检索系统可以利用的并行策略有任务并行、数据并行和它们的混合方式 * * 小结 任务并行策略: 因为各种查询可以独立地处理，所以我们可以把查询处理看成是一个并行问题。 可以利用多处理器体系结构，调度任务，平衡查询负荷，每个处理器执行一个顺序地有哪些信誉好的足球投注网站任务。 数据并行策略： 对文档集（数据库）进行分割，每个查询由几个数据并行任务来并行处理，每个任务存取文档集中的不同部分 * * 小结 混合并行策略： 把以上的任务并行和数据并行性策略综合起来。一种实现是用多个处理器处理一个数据并行任务 分布计算可以看成是一种具有相当高的处理器间通信费用的MIMD计算形式 * * 小结 问题？ 如何度量大规模文档集的检索效率 ？ 构有哪些信誉好的足球投注网站系统之间的互操作性？ 异构系统缺乏全局项统计值，如何正确合并（重排）各个子查询的结果？ 如何利用相关反馈提高并行和分布信息检索系统的性能？ …… * * * * TOC * * 第8章 并行和分布信息检索 为了有效地存取大规模文档集 需要并行和分布处理技术 提供有效的可伸缩信息检索服务 本章