移动设备交互方式调研.pptVIP

新一代人机自然交互在移动设备中的应用 人机自然交互的定义 移动设备现有的交互方式 自然交互在移动设备中的应用 语音交互在移动设备中的应用 图像识别在移动设备中的应用 多媒体交互在移动设备中的应用 电信研究院在移动设备人机交互中可以做的 人机自然交互的定义——人机交互的定义 人机交互技术(Human-Computer Interaction Techniques)是指人与机器的交互其实质是通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。 机器通过输出或显示设备给人提供大量有关信息及提示请示等； 人通过输入设备给机器输入有关信息及提示请示等； 人通过输入设备给机器输入有关信息，回答问题等； 人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。 人机自然交互的定义——人机交互的发展 确切的说，人机交互是指人与“含有计算机的机器”的交互。人机交互的发展已经经历了4代： 第1代 ： 键盘； 第2代 ： 鼠标； 第3代 ： 多媒体； 第4代 ： 人及自然交互。 人机自然交互的定义——鼠标 到20世纪80年代初期进入第2代交互，开始使用鼠标。 20世纪60年代麻省理工学院发明了Sketchpad首次引入菜单、不可重叠的瓦片式窗口、图标、并采用光笔进行绘图操作。 1963年，斯坦福研究所Engelbart发明了鼠标。 20世纪70年代，施乐公司在Alto计算机上首次开发了位映像图形显示技术，奠基了目前图形用户界面的基础。 人机交互的自然性和效率得到很大的提高，便于初学者使用，但是占用了较多屏幕空间，难以表达和支持非空间的抽象性信息的交互。 鼠标 人机自然交互的定义——多媒体 到20世纪80年代末期进入第3代，开始以用多媒体并且与鼠标并用。 动画 音频 视频 智能用户界面和自然交互技术取得突破之前的一种过渡技术。提高了人们对信息的表现形式的选择和控制能力。但是并没有理解媒体的信息的含义。 人机自然交互的定义——人机自然交互 基本特征： 赋予计算机听觉和视觉智能，使计算机能认识交互的对象，理解以语言形式表达的说话内容，理解交互对象的情感，按人的要求去做，或回答人提出的问题，达到交互的目的。 研究重点： 非生命对于生命的理解，生命与非生命的对话。重点是计算机对人的理解，发展人造信息与自然信息的接口，改造人造信息与自然信息想兼容。 人机自然交互 语音设备： 人机自然交互 人机自然交互两种技术： 多通道用户界面：采用实现语音、手势、书写和眼动等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行交互。 虚拟现实技术：以人为中心。 人机自然交互 主要功能与特征： 功能： 说话人识别； 语音识别； 情态识别； 对说话人进行定位和识别； 特征 交互方式：输入输出是多模态的。 交互内容：人机对话，情态的表现，在互联网上基于内容的信息检索。 交互界面：智能代理界面。 交互环境：营造2或3维的真实的虚拟环境和虚拟真人。 人机自然交互 识别交互的对象（说话人识别）： 说话人辨别：判断正在说话的人是谁。 说话人验证：验证所获取的语言或人脸信号是哪个人的。 说话人识别的途径： 听觉通道 视觉通道 人机自然交互 识别交互内容： 在人际交互中，对交互内容的识别就是对人类语言的识别，包括语音识别及对自然语言的理解，这是交互的核心问题。 识别方法： 听觉通道：线形预测编码（LPC），DTW，HMM 视觉通道：唇读图像 基于像素 基于模型参量 人机自然交互 听觉视觉的双模态融合： 融合问题：将视觉与听觉信息融为一体，恢复其本来的面貌。 融合策略： 早期融合：在分类以前将来自听觉和视觉的信号的语音特征连接形成特征向量空间。 中期融合：为了适应如何对融合的加权值进行有效地调整。 晚期融合：听觉和视觉信到可信度评价的算法机制。 人机自然交互的定义——人机自然交互发展趋势 高科技化 计算机硬件的发展：屏幕小，体积小，触屏，多种交互方式 计算机软件的发展：识别软件的推广 多媒体技术的发展 自然化 语音 手势 情态 人性化 移动设备现有的交互方式——现状 现在市场上有很多的移动设备，从每个设备生产商的不同交互理念来设计出不同的交互方式，总体来看有以下几种交互方式： 手机键盘交互 这种交互方式被广泛的应用到1代手机和2代手机上，其中最为出名的当属诺基亚的机型。 半触屏交互 这种交互方式被广泛的应用到2代手机上，其中大部分用在山寨手机上，显然这是一种折中方案，既节省成本又节省钱 移动设备现有的交互方式——现状 全触屏交互 这种交互方