数据与处理研究报告.ppt

基于Excel的数据处理与分析 一般的数据计算、数据作图 VBA程序设计(示例:Collatz_VBA_eg,二分法) 加载数据分析工具库/加载宏/分析工具库与分析工具库-VBA函数 计算趋势线的公式 线性 多项式 对数 指数 乘幂 R平方值 数据分析与处理 主讲: 数理与信息工程学院 何国龙 数据导入与导出 从外部文本文件导入数据到MatLab的工作区; 1) File/Import data (按照向导对话框操作，注意版本的兼容性) 2) 利用内置函数 高级IO函数 低级IO函数 load fopen Importdata fclose dlmread fgets textread* fgetl strread* textscan* … … MatLab程序区数据 数据文本 Excel文件 数据交换示意图 数据重用与内部交换 2. 将MatLab的工作区数据写出到外部磁盘文件; 1) save (e.g. save 123.txt test -ascii save ‘123’ test 存为123.mat) 用 load 函数再次提取 2) dlmwrite 参考 pdf 帮助文件 3) fprintf 参考 out_data.m源程序 3. 从Excel文件导入数据到MatLab工作区 1) import data, 工作区变量 data, textdata 2) 用xlsread调入数据(注意多页面) 4. 从MatLab写出数据到Excel文件 xlswrite函数 e.g. [s,t]=xlswrite(filename,var,sheet,range) 从MatLab操作Excel文件（*） Excel = actxserver(Excel.Application); Excel.Visible = 1; 将Excel作为ACtiveX服务器打开,与MatLab交互, ref VBA e.g. test_Excel.m 6. 低级IO,功能强大，技术要求高 技术性太强，不适合数模中采纳应用 缺失数据处理 成因：测量不到，录入差错，损坏，不合理 处理：剔除，获得可行数据子集 填补：插值法，热卡填充法，多重填补法 不处理 非数值型数据 日期时间、分类代码、逻辑量等 数据预处理 1. 数据的平滑处理 smooth函数的使用 smooth_1.m 参考: smooth.pdf 移动平均滤波器对列向量进行预处理，默认窗宽为5 示意图 移动平均不变序列例子(1:n) 对于多元数据,当各变量的量纲和数量级不一致时,往往需要对数据进行预处理,以消除量纲和数量级的限制,便于分析. 2. 数据的标准化变换 3. 数据的极差归一化变换 移动平均滤波器示意图 ………● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●……… 时间序列数据 以当前数据序号k为中心，前后推(span-1)/2，共span个数据的平均值 图示中span=7的样子 返回 Max{k-span/2,1} - min{k+span/2,L} 数据的标准化变换 具体变换意义见下页分析 设p维向量X=(X1,X2,…,Xp)的观测值矩阵为： 标准化变换后的观测值矩阵为： 经过标准变换，X’的各列均值为0，标准差为1. mu = mean(x,dim); sigma = std(x,flag,dim); sigma0 = sigma; sigma0(sigma0==0) = 1; z = bsxfun(@minus,x, mu); z = bsxfun(@rdivide, z, sigma0); %Matlab自带的zscore核心代码 极差归一化变换 经过极差变换,每个元素位于[0,1],列的最大最小元分别变换为1与0 数据拟合 0. 观察数据的散点图,辅助判别数据拟合应采纳的模型 plot_1.m 数据文件:cliamate_data.xls plot_2.m 数据文件:data2009.xls 一元线性回归分析函数regress regress函数可用于多重线性或广义线性回归分析,特别地也适合作一元线性回归分析 Ref: ed