融合触、听、视觉的多通道认知和交互模型.docVIP

第 卷第 期 ２６ ４ 年 月 ２０１４ ４ 计算 机辅助设计与图形学学报 Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｅｓｉｇｎ　＆ Ｃｏ ｍ ｐｕｔｅｒ　Ｇ ｒａｐ ｈｉｃｓ Ｖｏｌ．２６ Ｎｏ．４ Ａ ｐｒ ．２０１４ 　 融合触、听、视觉的多通道认知和交互模型 路 璐 ，田 丰 ，戴国忠 ，王宏安 １，２） １） １） １） 　 　 （中国科学院软件研究所人机交互北京市重点实验室 北京 ） １） 　 　１００１９０ （中国科学院大学 北京 ） ２） 　 　１００１９０ （ ） ｓｐｒｉｔｅｌｕ＠ｇ ｍａｉｌ．ｃｏｍ 摘 要：以触觉相关的多通道交互研究为立足点，结合经典的多通道假设和必威体育精装版的认知理论，提出一种 融 合 触觉、听 觉、视觉的多通道信息认知加工模型，并就计算 机 端 的 信 息处理过程 提 出 了 多 通 道 交 互 的 分层处理 模 型，分 析 了 相 应的多通道整合方法 该模型对交 互 界 面 与 程 序 主 体 功 能 定 义不 同 的 实现路 径，区 分 交 互 设备和 交 互 信 息 处理 过 ． 程，有利于从不同角度对交互界面的研究工 作进行简化，避 免 高 耦 合 度带来 的 冗 余 工 作 量；实现了 一 个 融 合 触、听 、 视觉交互的实例实例结果表明，利用文中模型能够降低多通道交互研究的分析难度并提高实验效率 ． ． 关键词：人机交互；触觉交互；多通道整合；交互模型 中图法分类号 ： Ｔ Ｐ３９１ ， Ａ　Ｓｔｕｄｙ ｏｆ　ｔｈｅ　Ｍ ｕｌｔｉｍ ｏｄａｌ　Ｃ ｏｇｎｉｔｉｏｎ　ａｎｄ　Ｉｎｔｅｒａｃｔｉｏ ｎ　Ｂ ａｓｅｄ　ｏｎ　Ｔｏｕｃｈ Ａ ｕｄｉｔｉｏｎ 　 ａｎｄ　Ｖ ｉｓｉｏ ｎ １，２） １） １） １） Ｌｕ　Ｌｕ Ｔｉａｎ　Ｆｅｎｇ Ｄ ａｉ　Ｇ ｕｏｚｈｏｎｇ ａｎｄ　Ｗ ａｎｇ　Ｈ ｏｎｇａｎ ， ， ， １） （ ， ， ， ） Ｂｅｉｊｉｎｇ　Ｋｅｙ　Ｌ ａｂｏｒａｔｏｒｙ　ｏｆ　Ｈｕｍａｎ－Ｃｏｍ ｐｕｔｅｒ　Ｉｎｔｅｒａｃｔｉｏｎ Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｓｏｆｔｗ ａｒｅ Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍ ｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ Ｂｅｉｊｉｎｇ　１００１９０ ２） （ ， ） Ｕ ｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍ ｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ Ｂｅｉｊｉｎｇ　１００１９０ Ａ ｂｓｔｒａｃｔ Ｗ ｅ　ｐｒｏｐｏｓｅ　ａ　ｃｏｇｎｉｔｉｏｎ　ｍ ｏｄｅｌ　ｏｎ　ｈｏｗ　ｔｈ ｅ　ｉｎｆｏｒ ｍ ａｔｉｏｎ　ｏｆ　ｔｏｕｃｈ ａｕ ｄｉｔｉｏ ｎ　ａｎｄ　ｖｉｓｉｏ ｎ　ｉｓ ： ， ｉｎｔｅｇｒａｔｅｄ　ｉｎ　ｈｕ ｍａｎ　ｍｉｎｄ ａｎｄ　ａ　ｌａｙｅｒｅｄ　ｐｒｏｃｅｓｓｉｎｇ　ｍ ｏｄｅｌ　ｏｎ　ｈｏｗ　ｔｈｅ　ｃｏ ｍ ｐｕｔｅｒｓ　ｐｒｏｃｅｓｓ　ｔｈｅ ， ｍ ｕｌｔｉｍ ｏｄａｌ　ｉｎｆｏｒｍａｔｉｏｎ ． Ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｃｏｇｎｉｔｉｏｎ　ｍ ｏｄｅｌ　ｉｓ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｃｌａｓｓｉｃ　ｃｏｇｎｉｔｉｏｎ　ｍ ｏｄｅｌ　ｏｆ ｍ ｕｌｔｉｍ ｅｄｉａ　ｌｅａｒｎｉｎｇ ａｎｄ　ｔｈ ｅ　ｉｄｅａｓ　ｏｆ　ｔｈ ｅ　ｌａｔｅｓｔ　ｃｏｇ ｎｉｔｉｏ ｎ　ｔｈｅｏｒｉｅｓ ． Ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｌａｙｅｒｅｄ　ｐｒｏｃｅｓｓｉｎｇ ， ｍ ｏｄｅｌ　ｓｅｐａｒａｔｅｓ　ｔｈｅ　ｐｒｏｃｅｓｓｉｎｇ　ｒｏｕｔｅ　ｏｆ　ｔｈ ｅ　ｉｎｔｅｒｆａｃｅ　ｆｒｏ ｍ　ｔｈｅ　ｍ ａｉｎ　ｆｕ ｎｃｔｉｏ ｎ　ｉｎ　ｔｈｅ　ａｐ ｐｌｉｃａｔｉｏ ｎ ， ａｓ　ｗ ｅｌｌ ａｓ　ｔｈ ｅ　ｉｎｔｅｒａｃｔｉｖｅ　ｄ ｅ ｖｉｃｅ　ｆｒｏ ｍ　ｔｈ ｅ　ｉｎｆｏｒ ｍ ａｔｉｏｎ　ｐｒｏｃｅｓｓｉｎｇ ． Ｔ ｈｅ　ｓｅｐａｒａｔｉｏ ｎ　ａｖ ｏｉｄｓ　ｔｈｅ　ｒｅｄｕｎｄａｎｔ　ｗ ｏｒｋ ｃａｕｓｅｄ　ｂｙ　ｈｉｇ ｈ　ｃｏｕｐｌｉｎｇ ａｎｄ　ｓｉ ｍ ｐｌｉｆｉｅｓ　ｔｈｅ　ｗ ｏｒｋ　ｏｆ　ｉｎｔｅｒｆａｃｅ　ｓｔｕ ｄｙ　ｆｒｏｍ　ｄｉｆｆｅｒｅ ｎｔ　ｐｅｒｓｐｅｃｔｉｖｅｓ ． Ｔ ｈｅ ， ｓｉ ｍ ｐｌｉｆｉｃａｔｉｏｎ　ｈ ｅｌｐｓ　ｒｅａｌｉｚｉｎ ｇ　ａ　ｓｉｍ ｐｌｅ　ｖｅｒｓｉｏ ｎ　ｏｆ　ａ　ｍ ｕｌｔｉｍ ｏｄａｌ　ｉｎｔｅｒａｃｔｉｏ ｎ　ｓａ ｍ ｐｌｅ　ｉｎｔｅ ｇｒａｔｉｎ ｇ　ｔｏｕｃｈ ， ａｕ ｄｉｔｉｏ ｎ　ａｎｄ　ｖｉｓｉｏｎ ． Ｔｈｅ　ｅｘｐｅｒｉｍ ｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏ ｗ　ｔｈ ａｔ　ｔｈｅ　ｍ ｏｄｅｌ　ｐｒｏｐｏｓｅｄ　ｃｏｕｌｄ　ｉｍ ｐｒｏｖｅ　ｔｈｅ ｐｅｒｆｏｒ ｍ ａｎｃｅ　ｉｎ　ｉｎｔｅｒａｃｔｉｏ ｎ