基于机器视觉与神经网络的人机系统研究.docVIP

 基于机器视觉与神经网络的人机系统研究 蒋小平，王利军，李金路，王勇恒* （中国矿业大学（北京）机电学院信电系） 5 10 15 20 25 30 35 40 摘要：人机系统作为重要的计算机输入设备，常见的有键盘、鼠标等，论文详细阐述和设计 了一种全新的人机系统，通过特定摄像头采集特定手势，通过图像处理和机器视觉的相关算 法，提取手势的特定，特定的手势经过可重复学习的神经网络，辨识出特定手势，系统将特 定手势与特定的键盘组合或者计算机命令绑定，可以便捷的完成特定的功能，系统图像处理 与神经网络通过 Matlab 实现，经过特殊训练的神经网络和特定的键值或者计算机命令组合， 可以应用于各种特殊的领域。 关键词：自动化；机器视觉；神经网络；人机系统；Matlab 中图分类号：TP29 Gesture human-computer system based on machine vision and neural network research Jiang Xiaoping, Wang Lijun, Li Jinlu, Wang Yongheng (China University of Mining Technology,Beijing,100083) Abstract: Man-machine system as a computer input device, a common keyboard, mouse, etc, the paper elaborated and designed a new man-machine system, acquisition of specific gestures, image processing and machine vision algorithms by a particular camerasystem, specific, specific gestures to extract gestures reusable learning neural network, to identify specific gestures, specific gestures to bind with a specific keyboard combination or a computer command can be convenient to accomplish a specific function, system, image processing and neuralnetwork by Matlab, after special training of the neural network and a specific key or a computer command combination, can be applied to a variety of special areas Key words: Automation; machine vision; neural network; man-machine system;Matlab 0 引言 计算机科技的发展，人机系统也发生巨大的变化，但传统的键盘与鼠标人机输入系统， 仍然占用重要的地位，随着机器视觉与神经网路技术的发展，利用摄像机与相应的算法结合， 来识别特定的输入手势，已经成为可能，目前智能设备中，多采用电容触控技术，在设备表 面有电容触摸板，通过相应的检测电路与算法，就可以检测相应的手势或者动作，但这种接 触式的输入方式，会导致输入平面有明显的手印或者划痕，或者在一些控制病菌或者不能接 触的场合，使用接触式的输入方式是不允许的，设计出一种非接触式的输入方式，并能够识 别一定的动作手势，进而执行一定的计算机命令，是非常有必要的。 本文主要研究一种新型的人机输入系统，论文在论述系统结构的同时，也关注系统实现， 通过 Matlab 建模和仿真验证结果，并通过 Matlab 与 c++接口实现具体功能。 1 系统框架 整个系统有四个部分组成，分别是图像采集模块、图像处理模块、神经网路辨识模块、 动作相应模块；在摄像头前段装设红色滤光片，操作者通过特定的红色光源执行相应的手势， 摄像头捕捉到图像后，通过相应的算法提取特征，这些特征由神经网络辨识分类，相应的结 作者简介：蒋小平(1966- )，男，副教授，从事自动控制理论及应用教学和科研工作. E-mail: jxp315@163.com -1-  果触发对应的键值或者计算机命令，由 Matlab 来完成图像处理与神经网路辨识，通过 Matlab 与 c/c++接口来实现对应的人机输入，通过 Windows 内部机制实现固定键值输入或者执行相