回帰分析.pptVIP

第5回　回帰モデル 回帰モデル 単回帰モデル、重回帰モデル 非線形式の回帰分析 最小二乗法（記述統計） 回帰式の適合度のチェック（分散分析） 最小二乗推定量の性質（推測統計） パラメータ推定量の不偏性 パラメータ推定量の確率分布とｔ検定 回帰モデル いくつかの変数間に相関関係が存在 ある変数の値を、別の変数を用いて説明 記述統計学と推測統計学 目的変数を[記述]する 最小二乗法（単回帰モデル） 線形モデル 残差平方和 未知数で微分すると 正規方程式　上式を整理して それらを解いて 最小二乗法（重回帰モデル） 線形モデル 残差平方和 　未知数で微分すると 正規方程式　上式を整理して 単回帰モデルと同様の連立一次方程式が出来る 最小二乗法（重回帰モデル）行列表示 線形モデル 残差 残差平方和 　未知数で微分すると 正規方程式　 　　　　　　　　　　　　より、 行列を用いた重回帰式の計算例 Rによる計算例 #データフレームを作成する concrete - data.frame( + 強度 =c(40.0,45.8,53.0,42.3,46.7,54.1,44.2,47.1,58.0), + 混和A =c(0,1,2,0,1,2,0,1,2), + 混和B =c(0,0,0,1,1,1,2,2,2) ) #データフレームから変数に代入(付置)する 強さ -concrete$強度 薬剤A - concrete$混和A 薬剤B - concrete$混和B #単回帰分析の結果をkekka1に入れ，その概要を出力 kekka1 - lm(強さ~薬剤A) summary(kekka1) #重回帰分析の結果をkekka2に入れ，その概要を出力 kekka2 - lm(強さ~薬剤A+薬剤B) summary(kekka2) 重共線性の問題 多数の説明変数の間に相関がある場合 目的変数への効果を一意に分離できない 係数の推計値が安定しない（直感に反する符号を取るなど） 目的変数をどの程度[記述]出来たか？ 決定係数 回帰による記述（説明）力の検定 回帰平方和が統計的に大きな意味を持っているか？ 分散分析表を作り、F検定を行って判断する。 回帰による記述（説明）力の検定例 推測統計学の導入 最尤推定法としての最小二乗法 AIC　赤池の情報量基準 AIC =－２（最大対数尤度)＋２パラメータ数 パラメータ数＝ｋ＋1(回帰係数と残差の分散) 最大対数尤度＝ であるから， パラメータ推定量の確率分布 サンプルの観測値は、真の回帰式から誤差の分だけ、上下にずれている。 誤差を含む観測値から計算したパラメータの推定値も、真の値からずれている。 最小二乗推定量の確率分布 最小二乗推定量の行列表示 観測値の誤差構造 これらより、 ここで、　　　　　　　　は確率変数ではない定数。 不偏性 誤差は正と負を同程度にとるから、E[ε]=0 多数のサンプルを取りながら繰り返して推定すると、その平均値は真の値に一致 最小二乗推定量の確率分布（２） 最小二乗推定量の確率分布 観測値の誤差が、分散　　　の正規分布に従うなら、 それに定数項をかけて足したものは正規分布に従う。 パラメータの分散共分散行列は、 j番目のパラメータの分散： 誤差の母分散　　はわからないから、残差平方和から求めた分散で代用 最小二乗推定量の確率分布（２） 正規分布に従う変数の「ずれ」の評価 母分散がわからないので、 　サンプル（残差平方和）からの 　推定値を用いる→t分布 t統計量の作成 自由度n-kのt分布に従う 通常、帰無仮説として 　（ｊ番目の要因の影響はない)とおけば、 　検定統計量　　　　　　　　　　　　　　を用いて検定できる。 回帰式のチェック plot(強さ,薬剤A) plot(kekka2$fitted.values,強さ,asp=1) あるいは， plot(kekka2)によって,4種類の結果診断グラフが出力される． AICに基づくステップワイズ法による変数選択 すべての変数を含むモデルをlm()で推定 その結果が入ったオブジェクトに，step()関数を適用する 非線形式の回帰分析 非線形の関係式でも、置き換えによって線形化できる場合がある * Y X 従属変数、目的変数 被説明変数 独立変数、説明変数 変数X,実現値xi 変数Y,実現値yi Y X 推計値yi=f(xi) 説明式を作成 Z 母集団の データ 多数データの 数学的要約 ?記述 (仮想的) 母集団 無作為 抽出 標本集団 のデータ 少数データの 数学的要約 ?記述 確率的推測?記述 「標本統計量」 ?母集団の確率分布?母数? ?標本統計量の確率分布」 記述統計学 推測統