Python金融数据分析与应用课件 第6章 数据建模：无监督学习.pptxVIP

第6章数据建模:无监督学习Python金融数据分析与应用（微课版）

目录CONTENTS无监督学习概述6.1主成分分析6.2因子分析6.3K均值聚类6.4

6.1无监督学习概述

6.1无监督学习概述无监督学习的特点【案例6-1】上市公司IPO首日表现分析上市公司IPO首日表现可以通过首日开盘价、首日收盘价、首日交易股数、首日交易金额等数据来反映从横向看，希望对7个指标反映的信息进行归纳和概括，挖掘其中具有共性的东西（目标1）从纵向看，希望按照IPO首日表现，对上市公司进行分类（目标2），为后续的投资决策提供参考为达成以上两个目标，有监督学习算法已经不再适用无监督学习不需要人工标注的训练数据来指导模型进行学习在无监督学习中，模型需要从数据中习得隐藏的模式、结构或规律

6.1无监督学习概述常用算法降维分析用于将数据点划分为不同的组或簇，通常要求组内或簇内差异尽可能小而组间或簇间差异尽可能大常用的聚类算法包括K均值聚类、层次聚类和密度聚类等不同于分类问题，聚类问题没有现成的类别标签，通常需要探索数据的潜在结构聚类算法在图像压缩、市场细分上有广泛的应用用于减少数据的维度，保留数据中重要的信息常用的降维分析包括主成分分析（PrincipalComponentAnalysis，PCA）和t分布随机邻域嵌入（t-DistributedStochasticNeighborEmbedding，t-SNE）等数据降维一方面有利于实现高维数据的可视化，另一方面也能提取数据的重要特征，减少冗余信息降维后的数据用于机器学习模型构建时，也有利于提升模型训练效率。用于识别数据集中的异常值或离群点常用的异常检测算法包括孤立森林和LOF（LocalOutlierFactor，局部离群因子）等可以用于检测网络攻击、信用卡欺诈等异常行为聚类分析异常检测关联规则用于从大规模数据集中发现行为之间（如购买商品A与购买商品B）的相关性通过分析数据集中的交易记录或者事件序列，关联规则挖掘可以揭示行为的频繁出现模式，为决策提供支持

6.2主成分分析

6.2.1主成分分析算法思想6.2主成分分析?主成分分析算法的思想是构造如下线性变换：推广到多维??

6.2.1主成分分析算法思想6.2主成分分析主成分个数的确定??当累计贡献率达到70%时，主成分已经可以覆盖大部分数据的信息；当累计贡献率达到80%时，主成分已经可以保留较多的关键信息；当累计贡献率达到90%时，主成分已经可以较为完整地保留数据的信息实践中可以结合具体情况，依据累计贡献率来确定需要保留的主成分数量?

6.2.2主成分分析案例实践6.2主成分分析基于主成分回归的IPO首日成交量预测实践目标对上市公司IPO相关数据进行主成分分析，提取合适数量的主成分以提取的主成分为输入变量建立IPO首日成交量的线性回归模型（即主成分回归模型）评价模型的性能并与线性回归模型进行对比fromsklearn.decompositionimportPCA#主成分分析pca=PCA()pca_result=pca.fit_transform(X_train)vr=pca.explained_variance_ratio_#获取主成分贡献率print(主成分贡献率:)print(np.around(vr,decimals=3))#输出贡献率cvr=np.cumsum(vr)#计算累计贡献率print(主成分累计贡献率:)print(np.around(cvr,decimals=3))#输出累计贡献率必要的库主成分分析#绘制散点图plt.scatter(pca_result[:,0],pca_result[:,1],edgecolor=black,facecolor=grey)plt.xlabel(第一主成分)plt.ylabel(第二主成分)plt.show()绘制散点图#主成分回归pca=PCA(n_components=2)#提取两个主成分X_pca=pca.fit_transform(X_train)reg=LinearRegression()reg.fit(X_pca,y_train)#以主成分为输入变量建立线性回归模型coef_pca=reg.coef_coef_original=np.dot(ponents_.T,coef_pca)#还原回归系数feature_names=data_cleaned.iloc[:,1:].columnsfori,(coef,name)inenumerate(zip(coef_original,feature_names)):print(f{name}:{coef:.3f})#