数学建模的数据挖掘方法.pptVIP

对于Humidity属性和Windy属性，统计如下：HumidityPlay=yesPlay=noNormal34high61total95WindyPlay=yesPlay=noTrue33False62total95试计算其“条件概率”。第63页，共93页，星期日，2025年，2月5日对于待分类样本:分别计算以下两个概率：=0.333*0.22*0.33*0.3*0.643=0.0053=0.4*0.4*0.8*0.6*0.357=0.0274，因此为第二类，即不适合比赛。第64页，共93页，星期日，2025年，2月5日情形2.第j个属性Aj为连续型的情况tid有房婚姻状况年收入拖欠贷款1是单身125否2否已婚100否3否但是70否4是已婚120否5否离婚95是6否已婚60否7是离婚220否8否单身85是9否已婚75否10否单身90是考虑如下的训练样本集，如何判别样本的类别？第65页，共93页，星期日，2025年，2月5日属性“年收入”为连续型数据类型，此时如果再用公式来估计条件概率已不合适，例如，若新样本的“年收入”为110K，则类似的新样本将无法判别。有两种策略可以用了估计连续型属性的条件概率：1.把连续属性离散化；2.用概率分布来估计条件概率第66页，共93页，星期日，2025年，2月5日对于Humidity属性，简单统计如下：显然HumidityPlay=yesPlay=nototalNormal(T1)101high(T2)033WindyPlay=yesPlay=nototalF(T1)123T(T2)011第31页，共93页，星期日，2025年，2月5日因此Sunny分支下的分裂属性可选Temperature或Humidity，若取Humidity，则其属性H和N下的记录都为相同的类，该分支算法结束。OutlookTempHumiWindyPlaySHHFNSHHTNSMHFNSCNFY其分支结构如下：HumiditySunnyHighNormalPlay=NoPlay=Yes第32页，共93页，星期日，2025年，2月5日若取Temperature，则重新确定记录集如下：OutlookTempHumiWindyPlaySHHFNSHHTNSMHFNSCNFYTempSunnyHighMPlay=NoPlay=No可以看出其三个分支H，C和M下的所有记录也属于相同的类，此分支算法结束。其分支结构如右：CPlay=Yes第33页，共93页，星期日，2025年，2月5日2）同理，对于Rain分支，统计数据如下：WindyRainFalseTruePlay=YesPlay=NoOutlook=RTempHumiWindyPlayMHFYCNFYCNTNMNFYMHTN因此选Windy其分支结构如右：第34页，共93页，星期日，2025年，2月5日3）同理，对于Overcast分支，统计数据如下：Play=Yes该分支下所有记录均为同一类，因此该分支算法结束，其结构如下右。Outlook=OvercastTempHumiWindyPlayHHFYCNTYMNTYMHTYHNFYOvercast第35页，共93页，星期日，2025年，2月5日综合以上结果，最后得到决策树如下：OutlookTempSunnyHighMPlay=NoPlay=NoCPlay=YesWindyFalsePlay=YesPlay=NoTrueRainPlay=YesOvercast第36页，共93页，星期日，2025年，2月5日决策树构造好后，给出新的对象便可判别其类别，例如，新的天气对象为：1)“Overcast,cool,high,False”2)“Rain,Mild,Normal,True”，其类别分别为：第37页，共93页，星期日，2025年，2月5日五、基于数据分布的特征选择策略除了基于信息增益的特征选择策略外，还可以根据结点的数据类别的分布来选择最优分裂结点，称之为GiniIndex方法。定义：假设训练集T包含n个样本，这些样本分别属于m个类，其中第i