大数据在学科评估中的应用研究.docVIP

大数据在学科评估中的应用研究摘要：大数据技术有效解决了学科评估中采集数据的困难，通过建立业务指标和评估指标的对应关系保证了评估指标的兼容性和扩展性，使评估指标体系更容易落地，OLAP技术的应用提高了学科评估工作效率。大数据相关技术在学科评估中的运用改变了以往的工作模式，具有创新意义，实践证明该技术方案使学科评估实施更加快速、有效。关键词：大数据；学科评估；多维分析中图分类号：G40-058.1文献标志码：A文章编号：1673-8454（2015）07-0013-04一、现状及问题学科建设是高等学校发展的核心工作，是衡量一所高校办学水平的重要评价标准。如何科学、客观、准确地评价学科状态，从而更好地规划资源配置促进各学科均衡发展是多年来各高校及研究机构的重点研究课题。学科评估的两个关键因素是评估指标体系和基础数据，到目前为止，学科评估重点研究了评估指标体系及评估方法，并已取得了显著成果，研究人员提出了多种比较成熟、完善的评估指标体系。但是，目前不论使用哪一套评估指标体系开展学科评估工作时都会遇到许多问题，使看起来完美的评估指标体系并不能顺利实施。以下是三个典型的问题：（1）无法准确、全面、及时地获取各类业务数据，导致评估结果不够全面、不够客观、不够准确。（2）评估指标是对高校业务的抽象描述，无法与具体业务数据直接对应，导致无法直接得到与评估指标对应的评估结果，需要将评估指标转换为业务标准才能与业务数据准确对应。（3）目前学科评估主要靠人工收集数据、计算评估结果，基于一套比较复杂的评估指标体系采用人工方法去生成评估结果是一件非常困难的事情，如果要同时生成多套不同评估指标体系的评估报告更是一件不太现实的事情。本文介绍使用大数据技术充分收集高校业务中与学科相关的结构化、半结构化和非结构化数据，并将半结构化和非结构化数据转化为更容易分析使用的结构化数据，同时确定数据实体及其间的关系，最终将经过清洗的数据按照统一标准进行存储。基于标准化的业务数据，充分发挥OLAP技术优势对学科进行多维分析并生成学科评估报表。二、大数据解决方案1.系统架构基于大数据的学科评估系统框架（见图1）主要包括：数据源层、数据处理层、数据存储层和数据分析层。（1）数据源层数据源层是学科评估基础数据的来源，主要包括分布于各业务系统的结构化数据，系统外的半结构化数据和非结构化数据，如TXT、XML等格式的文本文件。（2）数据处理层学科评估基础数据分布于不同的业务系统，而且数据量大，同时还有系统外的半结构化和非结构化数据，传统的ETL技术已经无法完成处理任务。Hadoop技术能够对海量数据进行分布式处理，尤其是处理半结构化和非结构化数据具有先天优势。数据处理层借助大数据技术对原始数据进行抽取、清洗、转换，完成数据集成，按照存储层数据模型重新组织数据，形成能够支持学科评估的标准化数据。（3）数据存储层数据存储层是学科评估数据的核心，主要包括业务数据库、业务指标库和评估指标库。业务数据是与学科相关的基础业务数据，业务指标是指描述基础数据的维度，评估指标是指不同评估体系中的各类指标。数据存储层采用数据仓库维度模型存储业务数据，这样更有利于应用层的统计分析。数据存储层会进行数据的标准化，建立统一的编码规则，去除冗余和不一致。（4）数据分析层数据分析层是学科评估应用的核心。通过联机分析平台（OLAP）可以快速生成评估报表并进行多维分析，节省人工计算工作量，并以打印输出、文件输出、Email输出、Web发布等多种方式展现。2.业务数据模型业务数据采用星型模型进行数据建模，建模的重点是识别业务实体与学科评估相关的最细粒度属性，作为业务指标维度，它们将构成业务指标库，这些指标可以综合反映业务实体属于哪一个学科评估指标，其他对学科评估不产生影响的实体属性可选择性地保留在模型中，方便进行多维分析。图2是以科研论文和科研项目为示例的科研业务数据模型。学科维度来标识论文和项目属于哪一个学科，论文类型、刊物类型、刊物分区、第一作者类型维度是评估科研论文的业务指标，项目经费、负责人类型、项目类别、项目级别、项目子级别是评估科研项目的业务指标。3.评估指标模型由于目前还没有统一的、标准化的学科评估指标体系，各高校内部以及各权威机构的评估指标体系都不完全相同，而且经常会有变动，如果每次开展学科评估都将基础数据与评估指标重新对应，然后计算评估结果是一件非常困难的事情。鉴于高校内部描述业务实体的属性相对固定，提取这些属性作为基础业务指标，将业务指标与学科评估指标作匹配，这样业务实体就能对应到具体的评估指标。图3是以科研论文和科研项目为例设计的评估指标模型，设计说明如下：（1）同一类业务数据用于学科评估的属性可能不完全相同，如纵向项目用项目级别和项目子级别属性来表示评估得分，横向项目是用项目经费来表示评估得分，