《Python数据分析》ch01 Python数据分析基础.pptxVIP

Python数据分析Python数据分析基础第一章计算机专业·任务驱动应用型教材

01数据分析基础

数据分析基础01数据分析方法数据分析的目的是把隐藏在一大批看起来杂乱无章的数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。在实际应用中，数据分析可帮助人们做出判断，以便采取适当的行动。数据分析是有组织、有目的地收集数据、分析数据，使之成为信息的过程。

数据分析基础01图1-1显示了数据分析的基本流程。其中，数据分析方法是数据分析的核心。在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析及验证性数据分析。其中，探索性数据分析侧重于在数据中发现新的特征，而验证性数据分析则侧重于已有假设的证实或证伪。

数据分析基础01定性数据分析定性数据分析又称为定性资料分析、定性研究或定性研究资料分析。是对诸如词语、照片、观察结果之类的非数值型数据（或者说资料）的分析。2探索性数据分析探索性数据分析是为了形成值得假设的检验而对数据进行分析的一种方法。是对传统统计学假设检验手段的补充。1

数据分析基础01在线数据分析在线数据分析也称为联机分析处理，用来处理用户的在线请求，对响应时间的要求比较高（通常不超过若干秒钟）。4离线数据分析离线数据分析用于较复杂和耗时的数据分析与处理，一般通常构建在云计算平台上。如开源的HDFS文件系统和MapReduce运算框架。3

数据分析基础01数据分析的分类按分析的方法和目的分类描述性分析：对表达这是什么情况很有效，但不能解释某种结果发生的原因或未来会发生的事情。预测性分析：对数据特征和变量的关系进行描述，基于过去的数据对未来进行预测。预测性分析的一般步骤是先确定变量之间的联系，然后基于这种联系预测另一种现象出现的可能性，如用户看到啤酒后顺便拿上尿布的可能性。规范性分析：偏向于数据挖掘，通过实验等方式对多个变量进行处理，达到预期目标，在得到预期结果后，就施行实验环境下的条件，最终达到商业目标。

数据分析基础01按分析方法，以及收集和分析的数据类型分类定性分析（非结构化数据）：目的是深入了解某种现象出现的根本原因和诱因，是分析的最初阶段，也是探索性研究的有效工具。它是探索初期识别是什么的问题的一个步骤。定量分析（结构化数据）：通过统计、数学或计算的方法或方式对现象进行系统的实证研究。定量分析属于研究阶段，是一个分析过程，是验证猜想与实施的过程。

数据分析基础01按照研究者的目的分类统计。预测。数据挖掘。文本挖掘。优化。实验设计。

数据分析基础01数据分析过程识别信息需求识别信息需求是确保数据分析过程有效的首要条件，可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责，管理者应根据决策和过程控制的需求，提出对信息的需求。就过程控制而言，管理者应识别需求要利用哪些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。

数据分析基础01收集数据有目的地收集数据是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。策划时应考虑以下几点。（1）将识别的需求转化为具体的要求。（2）明确由谁在何时何处通过何种渠道和方法收集数据。（3）记录表应便于使用。（4）采取有效措施，防止数据丢失和虚假数据对系统的干扰。

数据分析基础01分析数据分析数据是指对收集的数据通过加工、整理和分析，使其转化为信息，通常用到的方法如下：老七种工具，即排列图、因果图、分层法、调查表、散布图、直方图、控制图。新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图。

数据分析基础01评估并改进数据分析的有效性数据分析是质量管理体系的基础。组织的管理者应在适当时，通过对以下问题的分析评估数据分析的有效性。（1）提供决策的信息是否充分、可信，是否存在因信息不足、失准、滞后而导致决策失误的问题。（2）信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致，是否在产品实现过程中有效运用了数据分析。（3）收集数据的目的是否明确，收集的数据是否真实和充分，信息渠道是否畅通。（4）数据分析方法是否合理，是否将风险控制在可接受的范围内。（5）数据分析所需资源是否得到保障。

数据分析基础01数据分析工具数据分析已成为21世纪最受欢迎的技术之一，由于行业对数据分析师的要求很高，因此只有具有所需技能的人员才能精通该领域。他们除具有数学知识外，还需要具有编程专业知识。尽管大多数语言都可以满足软件开发的需求，但数据分析编程的不同之处在于它可以帮助用户对数据进行预处理、分析和生成预测。这些以数据为中心的编程语言能够执行适合于大数据分析特定要求的算法。ExcelMicrosoftExcel是微软办公套装软件的一个重要组成部分，是一种用于现代理财、数据