基于变换域特征与彩色信息的立体视觉不舒适度预测.pdfVIP

杭州电子科技大学硕士学位论文

摘要

立体图像视频可以给人们带来身临其境的观看感受，被认为是继二维图像视频之后的新//

一代多媒体技术，但用户观看不自然的立体图像/视频会产生不同种类的视觉不适现象。立体

图像视频技术的发展是以保证用户的健康舒适为先决条件，因此有必要预先对立体图像视频//

进行立体视觉不舒适度预测。若采用主观实验评价立体视觉不舒适度会耗时耗力，因此研究

者们转向探求客观预测方法来评价视觉舒适度。但是，当前的立体视觉不舒适度客观预测方

法未充分挖掘立体图像视频的变换域特征信息与立体视觉不适度的关联性。基于上述研究背/

景，本学位论文主要研究基于变换域特征和彩色图信息来建立立体视觉不适度预测模型。主

要工作内容如下：

1.提出了基于变换域特征的立体图像视觉不舒适度预测模型(VDP-DWT)。该模型先对彩

色图与视差图分别进行二维离散小波变换(TwoDimension-DiscreteWaveletTransformation,

2D-DWT)，并从变换后的系数中提取视觉不适特征，然后结合彩色图信息进行立体图像视觉

不舒适度预测。模型定义了立体图像的亮度矩特征和色度矩特征，并从小波变换域提取了多

级空间频率特征、结构复杂度特征、多级视差幅值特征和多方向视差纹理特征；然后使用渐

进梯度回归树(GradientBoostRegressionTree,GBRT)作为回归工具来预测立体图像客观不舒

适度分。在IEEE-SA立体图像数据库与NBUS3D-VCA立体图像数据库上的实验结果表明，

相较于新近的预测模型，经本文特征训练后的GBRT模型预测的不舒适度与人类视觉系统更

吻合，从而提升了立体图像视觉不舒适度预测性能。

2.提出了一种基于多尺度高斯差分分解的立体视频不舒适度预测方法(VDP-MSDOG)。

该方法利用多尺度高斯差分模型分解输入的彩色图和视差图；然后在多尺度高斯差分空间下

分别提取视差图和彩色图的三类视觉不适特征，即多尺度高斯差分空间的幅度均值特征、多

尺度高斯差分空间的幅值分布特征和多尺度高斯差分空间的流特征；最后利用GBRT回归模

型进行特征融合获取不舒适度得分。在EPFL立体视频数据库和IVYLAB立体视频数据库上

的实现结果表明，提出算法相较于其它对比算法，能更准确地反映立体视频的观看舒适程度。

关键词：立体图像，立体视频，视觉不舒适度预测，视差信息，彩色信息，小波变换

I

杭州电子科技大学硕士学位论文

ABSTRACT

Stereoscopicimages/videoscanprovidepeopleanimmersiveviewingexperienceandare

regardedasthenextgenerationofmultimediatechnologyaftertwo-dimensionalimages/videos.

However,differenttypesofvisualdiscomfortwilloccurwhileoneisviewingunnatural

stereoscopicimages/videos.Keepingobserversinhealthandcomfortisanessentialprerequisiteto

developingthetechnologyofthestereoscopicimages/videos.Itisnecessarytopredictthe

discomfortofstereoscopicimages/videoinadvance.Thesolutionswithsubjectiveexperimentsto

addresstheconcernsonvisualdiscomfortrequirelabor-intensiveandtime-consumingprocesses.As

suc