头部跟踪系统设计在虚拟听觉的应用.docxVIP

头部跟踪系统设计在虚拟听觉的应用学 生：许仕鹏 学 号导老师：朱梦尧 副教授专 业：电子信息工程 完成年月：2013年06月 目录摘要3Abstract4第一章 绪论51.1 课题研究背景及意义51.2 虚拟声音与头部跟踪51.2.1 虚拟声音生成51.2.2 头部跟踪6第二章 头部跟踪系统设计72.1 头部跟踪作用与原理72.2 DCM互补滤波器设计82.2.1 DCM矩阵82.2.2 互补滤波器设计92.3 IMU计算方程102.3.1 旋转的表示方式102.3.2 四元数112.3.3 由传感器数值与四元数132.3.4 四元数微分方程152.4 系统实现172.4.1 芯片选择172.4.2 硬件电路192.4.3 软件实现22第三章 3D声音渲染系统253.1 3D声音渲染原理253.2 光线追踪算法263.3 房间冲击响应计算313.3.1 HRTF数据库介绍313.3.2房间冲击响应计算方法333.4 软件实现363.4.1 系统构架363.4.2 多线程声音卷积播放37第四章 整体系统与效果404.1 整体系统404.2 效果说明41英文文献43英文文献中文翻译48总结52致谢53参考文献54附录56头部跟踪核心代码56imu.c563D声音渲染核心代码57hrtf.cpp57wav.c57Primitive.cpp58main.cpp59有关图纸62头部跟踪系统原理图62摘要虚拟听觉技术是继视频技术之后又一重要的人机接口。本课题实现了在虚拟环境中加入与虚拟场景相对应的三维虚拟声音，使收听者在虚拟环境中收听到的声信号逼近在真实环境声场中收听到的声信号，从而增强虚拟现实环境的逼真度和沉浸感。此设计中使用光线追踪的方式模拟声音的传播，通过与头相关函数数据库结合，计算出双耳房间冲击响应，使之与原始声音卷积即可得到与房间真实情况相仿的三维虚拟声音。为了使听者真实感提升，本课题将使用捷联惯导方法实现的头部跟踪系统与虚拟听觉相结合，可以给用户提供更逼真的交互式听觉体验。本设计实现了一个半实时的包含头部跟踪的三维声音渲染系统，效果良好，头部跟踪系统每秒计算姿态400次，每秒上传50帧数据给计算机，精度1-2°，三维声音渲染部分可以连续播放声音，房间冲击响应每秒钟更新一次，声音方位感明显。关键词：头部跟踪，三维声音渲染，头相关函数， 双耳房间冲击响应AbstractVirtual auditory is another important technology in human machine interface since video technologies. This design combined the 3d virtual sound rendering with a virtual scene, making the listeners hear acoustic signals that approximate to sound in a real scene, thereby enhancing the fidelity and immersive of the virtual reality environment. The system uses ray tracing to simulate sound propagation, with the head-related transfer function(HRTF) database from the MIT KEMAR dummy head model the system generates the binaural room impulse responses(BRIR) of the virtual scene. After convolving the original sound with the BRIR, a virtual sound that is similar to the sound in a real environment can be generated. This design also combined the head tracking system that uses the inertial navigation method with the virtual auditory, which can provide users with a more realistic interactive listening experience. This design has implemented a half real time 3d sound rendering sy