多媒体信息检索研究与展望.pptVIP

Company Logo LOGO 指导教师：李全彬 多媒体信息检索研究与展望 班级：12电信1 学生：邓达铭 学号：128326105 主要内容章节 第一部分 序论 第二部分 多媒体信息检索技术 第三部分 多媒体信息检索实例分析 第四部分 多媒体检索未来研究发展方向 第五部分 多媒体信息检索技术研究面临的挑战 概况 多媒体信息检索是指根据用户的需求,对文字、声音、图像、图形等多种媒体信息进行识别并获取所需信息的过程。多媒体信息检索应包括两层含义:其一是指对离散媒体的检索；其二是指对连续媒体的检索。 特点 信息类型复杂,存储与检索技术复杂 ，交互性,同步性,技术的可期待发展性 序论 多媒体信息检索技术 1 基于文本的多媒体信息检索技术(TBR) 2 基于内容特征的多媒体信息检索技术(CBR) 多媒体信息检索技术是把文字、声音、图像、图形等多种信息的传播载体通过计算机进行数字化加工处理而形成的一种综合技术。目前有基于文本和基于内容特征的两种多媒体信息检索方式。 基于文本的多媒体信息检索技术（TBR） 由于计算机技术及其它相关技术的限制,早期的多媒体信息检索是基于文本方式的(TextBasedRetrieval,TBR)。当Internet逐渐发展起来以后,这种技术被直接引人到网络的多媒体信息检索领域。这种技术的特点是以关键词的形式来反映多媒体物理特征和内容特征,并对抽取出的关键词按某种顺序进行著录或标引,建立类似于文本文献的索引数据库,这样,多媒体信息检索实际上就转化成为对多媒体进行描述的关键词的检索。 基于内容特征的多媒体信息检索技术(CBR) 基于内容的多媒体信息检索的主要工作集中在识别和描述图像的颜色、纹理、形状、空间关系上,对于视频,还有视频分割、关键帧提取、场景变换探测以及故事情节重构等间题。它是一门涉及面很广的交叉学科,需要利用图像处理、模式识别、计算机视觉、图像理解等领域的知识作为基础,还需从认知科学、人工智能、数据库管理系统、人机交互、信息检索等领域引人新的媒体数据表示和数据模型,从而设计出可靠、有效的检索算法、系统结构以及友好的人机界面。 多媒体信息检索实例分析 目前因特网上具有多媒体信息检索功能的有哪些信誉好的足球投注网站引擎也很普遍,在这里选择比较典型的网络多媒体信息检索来做分析。 1 Scour() 2 Image Surfer() Scour() Scour成立于1998年,自称是第一个基于Web的多媒体有哪些信誉好的足球投注网站引擎。主要是针对声音和图像的检索,而且主要集中在艺术和娱乐类目中。其工作原理是在文件名、路径名或ALT标签中有哪些信誉好的足球投注网站用户的检索词。提供的检索技术主要是基于文本方式的检索,即采用关键词进行检索,支持“+”(包括其后的关键词)和“一”(排除其后的关键词),并可以在高级检索中将检索结果限制在gif,bmp,ipeg等形式中。但因其标引深度不够,使用尽可能少的关键词检索效果明显,故不适于查找详细的主题。 多媒体检索未来研究发展方向 1以人为本的方法和基于神经系统科学的学习模式 2多媒体协作 以人为本的方法和基于神经系统科学的学习模式 通常,用户是多媒体计算链(包括多媒体的产生、表达、检索和传送)中的重要部分,并且在不同的环节中,用户的角色也是不同的。因此,应该把研究的焦点尽可能地放在那些对多媒体进行探究的用户身上。由于对用户需求的研究使研究者充分理解了用户的想法和要求,这方面的研究会引起研究者的极大关注。用于多媒体的人本方法要考虑用户怎样理解和解释多媒体信息(特征、认知和情感层),还要考虑用户之间怎样自然地相互作用(指文化、社会背景及情感、情绪、态度和注意力等个人因素)。毫无疑问,这就意味着要考虑神经系统科学、心理学、认知科学和其他一些领域中的研究工作。将人工智能的研究与基于神经的学习范例和模式学习的研究融合到一起还存在很大的潜力。将不同层次上抽取的多媒体相结合的学习方法也很有发展前景。值得注意的是,当前的有哪些信誉好的足球投注网站引擎(如Yahoo!、Google等)只是用文本对图像和视频进行索引。因此,论证文本与图像和视频特征相互作用的方法也具有很重要的研究意义。 多媒体协作 随着世界通过有线或无线越来越紧密地连接在一起,找到更多的有效方法来实现人与人之间通过计算机进行交互变得越来越重要。在多模式的协作环境中存在很多问题:人们怎样找到其他人;个人怎样发现会议或协作;在这些环境下,对于不同的目的、个人或团体,哪些是最有效的多媒体接口?多模式处理还有许多潜在的任务,从转录并摘要会议和将声音、姓名、人脸联系起来,到通过跟踪个体(或团体)注意力和意图,这些任务广泛存在着。对协作环境谨慎巧妙的使用和评价将是更多地学习关于人们如何进行合作的关键。协作环境对于查询模块很重要。因此,可以采用基于时间的