大规模日语智能多模态语料库的建设及其在教学中的应用（成果简况表）.docVIP

附件2： 辽宁省普通高等教育本科教学成果简况表 填表说明：本表供匿名评审使用，填写时，不得出现成果主要完成人的姓名和主要完成单位的名称等信息，统一用×××、×××××××代表，否则一律不得进入评审程序。 成果名称：大规模日语智能多模态语料库的建设及其在教学中的应用 实践起始时间： 2012年1月-2016年12月 一、成果内容 1.本成果的研究背景及其意义 1.1多模态话语 人类在正常情况下跟外语世界（包括人际关系）的互动都是多模态的。除词句和话语内容之外，还可以通过手势、表情、韵律等非语言媒介进行意义构建（顾2013）。“模态”是指人类通过感官（如视觉、听觉、触觉等）跟外部环境（如人、机器、物件、动物等）之间的互动方式。用单个感官进行互动的叫单模态，用两个以上的叫双模态，三个或以上的叫多模态。“多模态话语”指运用听觉、视觉、触觉等多种感官，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象；“多模态话语研究”就是关注人类语言使用的多模态本质，运用社会符号学及系统功能语言学视角下的多模态话语分析方法、多模态语料库语言学方法等，通过多种技术手段采集人们使用语言时各种类型的多模态数据，挖掘蕴含在音频、视频、图像等各种媒介中的各种信号、数据，从而多维地解读人们言语交际的意义和机制。 1.2 多模态语料库建设与应用研究现状 “多模态语料库”指音频、视频和文字语料等多种信息集成，研究者可以通过多模态方式加工、检索和统计进行相关研究的语料库。其中，多模态的含义包括用户调用多模态进行语料处理 ( 如视觉、听觉等) ，以及检索方式是多模态 ( 如触觉、视觉、听觉等) ( 顾曰国2013)。多模态语料库的建设始于20世纪末。SACODEYL多模态语料库是世界上首个多语种多模态语料库（张振虹等2014），它收集了来自英国、法国、德国等国家13-17岁青少年使用七种不同语言进行的访谈视频，对视频进行了转写和多模态标注，提供了检索平台，便于使用者学习某种语言。目前，国外已建设了不少规模各异的多模态语料库，并在理论依据、语料采集、加工、标注以及分析框架等方面形成了诸多成果( Dybkjr ＆ Bernsen 2004; Bernsen ＆ Dybkjr 2007; Knight et al．2009; Kipp et al．2009; Thompson 2010; Knight 2011 等) 。国内多模态语料库建设及相关研究方兴未艾，大型多模态语料库以顾曰国建立的“现代即席话语多模态语料库”为代表，其他若干小型多模态语料库主要集中于外语教学领域（金艳妮2013、彭娟娟2013、马力霞2012、黄伟2012等）。这些研究主要尚属于探讨、摸索阶段，并且语言都是英语，日语多模态语料库尚是空白。 ******大学的日语多模态语料库-JV Finder，是国内首个日语影视语篇语料库。该语料库广泛应用于教材、教辅开发、课件建设以及第二课堂的自主学习，实现了书本静态的语法与动态的交际话语的高度结合，缩短了知识的内化过程。经过5年的探索实践，学生的应用能力培养效果已见成效，得到了日语教育界的高度认可。 2. 本成果的主要研究内容与实践内容 2.1日语智能多模态语料库 本成果自主建设并公开使用的大规模日语智能多模态语料库-JV Finder，实现了日语在线视频语料检索的快速查询、准确定位以及播放和下载功能，为教材、教辅开发、课件建设以及第二课堂的自主学习等提供了准真实的多模态语境资源。截至2017年12月该库存储了160部带有汉日双语字幕的影视剧、视频集数1555集、视频资源容量695G、视频时长1036小时、可分析语句234946条，选材涉及日本社会生活各方面。该语料库标注了25种场景、5种语用功能、7种话题的标签。可分析语句具有基于“字幕”以及“标签”的多模态语料片段的有哪些信誉好的足球投注网站、定位、播放以及下载功能。利用字幕与视频时间轴的对应关系，实现了从字幕到视频的匹配定位，解决了视频无法通过关键词直接检索的难题。并且还开发了手机APP，将网页端的视频语料库移植到安卓客户端，实现快速使用日语查询的功能。 视频总数 视频集数 视频资源容量 视频时长 可分析语句 160部 1555集 695 G 1036小时 234946条 表. 多模态语料库JV Finder的详细数据 2.2多模态语料库的主要功能 (1) 视频及其字幕上传功能：为快速、便捷地建设多模态语料库，采用了视频及其字幕的上传技术。该上传技术要求用户上传的视频文件为H264编码的MP4格式，字幕文件是srt或ass格式。上传方式分为两种：通过浏览器在Web应用中上传或使用