受试者操作特征曲线绘制与原理演示-开题报告.docVIP

题 目： 受试者操作特征曲线的绘制与原理演示 学院： 电信 专业： 电子科学与技术 学生姓名： 朱绍军 学号： 文献综述： ROC 是受试者工作特征(Receiver Operating Characteristic)或相对工作特征 (Relative Operating Characteristic)的缩写。ROC分析技术于五十年代起源于统计决策理论,用来说明分类器命中率和误报警率之间的关系,最早在第二次世界大战中应用于雷达信号观察能力的评价,后来使用在晶体管的相关研究中。六十年代中期,ROC开始应用于实验心理学和心理物理学研究。Lusted在1988年首次提出了ROC分析可用于医疗决策评价,随后该方法广泛应用于医疗诊断性能的评价.最近, Swets[1]等人为ROC分析技术进一步扩展到更广阔的公共领域提供了思路和建议[2-5]。 Spackman将ROC分析技术引到机器学习领域中,并说明了ROC曲线的数值估计和比较算法。ROC分析技术在最近几年越来越多的应用到机器学习领域中。ROC分析技术不仅是一种通用图形化性能估计方法,更主要的是，ROC曲线的独特属性使它在类别分布不平衡或者分类错误代价不相等的领域中变得越来越重要。此外,ROC曲线可以在多类ROC问题给出清楚的解释[6]。ROC分析技术在类别分布、代价不敏感性、直观性以及可理解性等方面的优势,足以使它能够代替传统的正确率成为更好的分类精度度量标准。 目前，机器学习领域的研究者非常重视ROC分析技术。国外一些机器学习研究者根据实际需要扩展和改进了ROC分析技术。并在ROC分析的基础上改进并提出了一些新的方法。如ROC曲线是对分类性能的二维描述,为了能够直接比较多个分类器,希望将ROC曲线描述的分类器性能转换为一个数值来表示分类器的性能。一个通用的方法是计算ROC曲线下的面积(Area Under the ROC, AUC)。其基本原理是:通过临界点(cutoff point/cutoff value)的移动,获得多对灵敏度(sensitivity)和误判率(1-Specificity(特异度)),以灵敏度为纵轴,以误判率为横轴,连接各点绘制曲线,然后计算曲线下的面积,面积越大,则分类精度越高。因此通过对AUC的估计,ROC可以用来评价分类方法的性能。研究发现,使用大量的比较实验获得的AUC比正确率更适合作为分类评价标准。Hand和Till进而提出了一种简单的近似AUC的计算方法［7］。 另外,ROC分析技术也被用来重新评估以前的机器学习方法,对于一些几乎是常识的知识提出了新的看法。在决策树中,我们一直认为精度的提高主要依靠于裁剪技术。但是在用AUC评估算法时,发现剪裁基本没有作用。在传统的机器学习领域,一直认为 Naive Bayes方法和决策树的方法不相伯仲。但是ROC分析研究表明Naive Bayes方法要优于决策树方法。与此同时,一些学者还针对与ROC分析在分类中的应用,提出了新的分裂标准,Smoothing方法,集成方法等。 ROC分析技术衡量了测试数据类别在常见统计分布下、任何错误代价下分类算法的总体性能标准,在最近几年越来越多的应用到机器学习领域中。ROC曲线对类别分布比例和错误代价不敏感性,使它在类别分布未知的领域和代价敏感学习中变得越来越重要。ROC分析技术已经广泛应用到处理两个类别分类器的性能评估中。 在国内的科学研究实践中,ROC分析技术虽然在医疗领域已得到了广泛的应用,但是在其他应用领域还很少看到关于ROC的文献资料。因此引入和推广ROC分析技术是十分有必要的。 研究方案： 理论基础：ROC(Receiver Operating Characteristic)曲线,也就是受试者工作曲线,用于二分类判别效果的分析与评价。对于二值因变量模型,一般自变量为连续变量,因变量为二分类变量。灵敏度指将实际为真值的样本判断为真值的概率。特异度指将实际为假值的样本判断为假值的概率。误判率指将实际为假值的判断为真值的概率,其数值等于1-特异度。TNF和TPF分别代表正确诊断的真阳性和阴性病例所占比例；FPF和FNF分别代表部分未经正确诊断的真阳性和真阴性病例所占比例。 研究方法：通过临界点(cutoff point/cutoff value)的移动，获得多对灵敏度(sensitivity)和误判率(1-Specificity(特异度))，以灵敏度为纵轴，以误判率为横轴，将绘成的曲线与45度对角线对比，若差不多重合，说明自变量对因变量的判断价值很差，若越远离45度对角线即曲线下的面积越