数据科学,预测和大数据的数据质量试题.pptx

Data quality for data science, predictive analytics, and big data in supply chain management: An introduction to the problem and suggestions for research and applications 数据科学，预测分析和大数据的数据质量在供应链管理中：问题的引入以及研究与应用的建议 1，文献题目 Data quality for data science, predictive analytics, and big data in supply chain management: An introduction to the problem and suggestions for research and applications 数据科学，预测分析和大数据的数据质量在供应链管理中：问题的引入以及研究与应用的建议 期刊：Int. J. Production Economics 154 (2014) 72–80 作者：Benjamin T. Hazen , Christopher A. Boone Jeremy D. Ezell , L. Allison Jones-Farmer 2，文献简介 今天的供应链专家淹没在数据之中，积极地思考着寻求数据如何产生，组织和分析的新的方式。这就推动了一些组织为了加快和提高供应链的流程和绩效，接受并完善数据分析功能，例如数据科学(data science) ，预测分析(predictive analytics)和大数据(big data)，简称DPB. 这篇文章引入在供应链管理中的数据质量问题，并且提出了监测和控制数据质量的方法。本文除了提出数据质量在供应链研究和实践中的重要性外 ，还进一步提出了基于互补理论的跨学科研究主题。 3，生产数据 一些学者类比产品制造和数据制造，进而类比戴明的全面质量管理，提出全面数据质量管理 Total Quality Management 全面质量管理 计划，执行，检查，处理 Total Data Quality Management 全面数据质量管理(TDQM) 定义，测量，分析，改进，控制 4，数据质量维度 精确性，及时性，一致性，完整性 Data quality dimension Description Supply chain example Accuracy Are the data free of errors? Customer shipping address in a customer relationship management system matches the address on the most recent customer order Timeliness Are the data up-to-date? Inventory management system re?ects real-time inventory levels at each retail location Consistency Are the data presented in the same format? All requested delivery dates are entered in a DD/MM/YY format Completeness Are necessary data missing? Customer shipping address includes all data points necessary to complete a shipment (i.e. name, street address, city, state, and zip code) 知道数据的基本维度后，我们就可以确定测量这些维度的方法，并用一些工具去监控数据的质量。比如，SPC即统计过程控制（Statistical Process Control）。 SPC主要是指应用统计分析技术对生产过程进行实时监控，科学的区分出生产过程中产品质量的随机波动与异常波动，从而对生产过程的异常趋势提出预警，以便生产管理人员及时采取措施，消除异常，恢复过程的稳定，从而达到提高和控制质量的目的。 5，用统计过程控制方法控制数据质量 像生产制造一样，用控制图去控制数据质量 控制图(Control chart)就是对生产过程的关键质量特性值进行测定、记录、评估并监测过程是否处于控制状态的一种图形方法。 根据假设检验的原理构造一种图，用