多通道用户界面交剖析.ppt

多通道用户界面交互技术 多通道用户界面交互技术 人机交互发展史 多通道用户界面概述 多通道整合 眼动跟踪 三维输入 人机交互发展史 1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。 在1970年成立了两个HCI研究中心：一个是英国的Loughbocough（拉夫堡大学 ）大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专著，为人机交互界面的发展指明了方向。 人机交互发展史 20世纪80年代初期，学术界相继出版了六本专著，对必威体育精装版的人机交互研究成果进行了总结。 Human-Computer Interface(界面/接口) Human-Computer Interaction(交互) 20世纪90年代后期以来，随着高速处理芯片，多媒体技术和Internet Web技术的迅速发展和普及，人机交互的研究重点放在了智能化交互，多模态（多通道）-多媒体交互，虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。 人机交互发展史 人机交互的发展经历了几个阶段： 早期的手工作业阶段 作业控制语言及交互命令语言阶段 图形用户界面（GUI）阶段 网络用户界面的出现 多通道、多媒体的智能人机交互阶段 多通道用户界面交互技术 人机交互发展史 多通道用户界面概述 多通道整合 眼动跟踪 三维输入 多通道用户界面的几个概念 通道（modality） 1.传输信息的数据通路。2.计算机系统中传送信息和数据的装置。 模式 （mode） 一种状态或上下文信息。决定了如何对信息解释以获取意义。 通道整合 指用户在与计算机系统交互时，多个交互通道之间相互作用形成交互意图的过程。 多通道用户界面的几个概念 多通道界面 主要关注人机界面中的用户向计算机输入信息以及计算机对用户意图理解的问题，其目标是达到交互自然性和交互高效性。 多通道用户界面的几个概念 多通道用户界面交互技术 基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术，允许用户利用自身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。 多通道用户界面的概念模型 多通道用户界面的基本特点 多个感觉通道 交互双向性 交互的隐含性 交互的非精确性 多通道用户界面评价 基于多通道用户界面所追求的目标，人们提出相应的评价多通道用户界面的若干指标： 互补性（complementary）； 指派性（Assignment）； 等效性（Equivalence）； 冗余性（Redundancy）； 互补性 互补性是指若干通道必须以互补方式完成特定的交互任务，也就是说，当单个通道不能提供充分的任务信息时，需要其他通道补充，如手势指点补充语音命令。互补性可能存在一个“优势通道”，并需要其他通道予以辅助。 指派性 指派性是指某通道是完成特定交互任务唯一途径的情形，即某通道必须被用于实现特定交互任务而没有其他通道可以替代 指派性可分为两种情形 一种是不存在其他选择，称为严格的指派性（Strict Assignment） 另一种是虽然存在选择，但用户或系统总是倾向于使用同一种通道，称为代理指派性（Agent Assignment） 等效性 等效性是指在完成特定交互任务时至少有两种以上通道可以互相替代，由于设备特性、用户习惯或临时因素（如手头正忙）而使某种通道不能使用时，可选择其他通道代替。 冗余性 冗余性是指在特定交互中多个通道同时使用并具有相同的表达作用 不同通道为相同参数提供所需信息，并且所表达信息可能是一致的，也可能是矛盾的 输入原语 输入原语IP（Input Primitive）代表了用户到计算机的词法输入，它是来自不用的通道的独立的、最小的、不可分割的操作。 根据用户的交互意图和交互方式，输入原语可以抽象出浏览、指点、拾取、文本、变换、手势六类。 输入原语 每个IP可实例化为一个四元组 〈用户动作，数据表示，使用通道，时间标签〉 它体现了某一时刻来自某个输入通道的用户输入动作与一种内部数据表示联系在一起 IP是通道无关的，不同的物理通道的输入可以映射到相同的IP 二维鼠标的Click动作和眼动跟踪的眼睛凝视动作都可归为指点类IP─POINT； 多通道用户界面描述方法 UAN面向任务，支持任务分解，并将每个基本任务求精为可以完成它的用户动作序列。体现为一种多异步任务的类似层次结构，每个任务内的时序独立于其他任务。 LOTOS是国际