![未知データでの予測
? 得られた回帰式を用いて，身長が [185, 167, 215, 177] の人
たちの体重を予測したい
49
予測値](https://image.slidesharecdn.com/course20180612-180614011226/85/DS-Exercise-Course-6-49-320.jpg)
DS Exercise Course 6
- 1. 九州大学 大学院システム情報科学研究院 情報知能工学部門 データサイエンス実践特別講座 備瀬竜馬，Diego Thomas, 末廣 大貴 データサイエンス 概論第二＋演習第一 2018年6月12日
- 3. 相関分析 3
- 4. データの広がり方(=分散)に潜む関係～相関 ?1 ?2 ?1 ?2 ?1 ?2 Case 1 Case 2 Case 3 身長と体重は？ 身長と数学の点数は？ 身長とバレーボール攻撃失敗率は？
- 5. データの広がり方(=分散)に潜む関係～相関 ? Case 1: 無相関 ? ?1 →大，?2 →特段の傾向無し ? 要するに，?1と?2は無関係 ? 身長と数学の点数 ? Case 2: 正の相関 ? ?1 →大，?2 →大 ? 身長と体重 ? Case 3: 負の相関 ? ?1 →大，?2 →小 ? 身長とバレーボール攻撃失敗率 シーソー的 二人三脚的
- 6. 相関係数ρ～相関の定量化 (1/3) ?簡単のために?1も?2も平均ゼロとする ?=分布をずらしただけ ?この時，相関を(なるべく簡単な言葉で)定義する と... ? = ?1 × ?2 の平均値 ?1の分散 ? ?2の分散 分子が大事 分母は正規化の役目 (標準化)
- 7. 相関 ? = ?1 ? ?1 × ?2 ? ?2 の平均値 ?1の分散 ? ?2の分散 ?1 ?2 データの平均 ?1 ?2 ?1の平均 ?2の平均 データの平均が原点に なるように移動 ? = ?1 × ?2 の平均値 ?1の分散 ? ?2の分散 ?1の分散 ?2の分散 共分散
- 8. 相関 ?1 ?2 ?1 ?2 ?1 × ?2 （+）×（＋）＝ （＋） （－）×（ー）＝ （＋） （＋）×（ー）＝ （ー） （－）×（＋）＝ （ー） 分子部分 (+)が多い ? 相関係数：高い ? （＋）のデータ数 ＞（ー）のデータ数 ? 平均は高くなる ? 相関係数：低い ? （＋）のデータ数 と（ー,ー）のデータ数 に差がない ? ランダム（無相関）ほど、どの領域に入るかがばらける ? 平均は０に近づく 似たような数
- 16. アイリスデータ 16 ?アイリスデータ ?3クラス ?Iris-setosa ?Iris-versicolor ?Iris-virginica ?指標 ?sepal length ?sepal width ?petal length ?petal width https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data
- 17. 相関：練習 ?sepal length と petal widthの相関を見よう！ 17 相関係数ｒ p値 p値が0.01より小さくで、99％有意水準で 相関係数は有意である
- 20. 相関：練習 ?sepal length と sepal widthの相関を見よう！ 20 相関係数ｒ p値 p値が約0.2で、95％有意水準内であり、 帰無仮説は棄却できない 複数のクラスが混在しているから？
- 21. アイリスデータ解析 21 Sepal length Sepalwide ? Iris-setosa ? Iris-versicolor ? Iris-virginica
- 22. アイリスデータ解析：クラスごとに分類 ?Class ごとにデータを分類して、sepal length と sepal widthの相関を見よう！ 22
- 23. アイリスデータ解析：相関（１） ?Iris-setosaデータの、sepal length と sepal widthの相関を見よう！ 23 相関係数ｒ p値 p値が0.01より小さくで、99％有意水準で 相関係数は有意である
- 24. アイリスデータ解析：相関（2） ?Iris-virsicolorデータの、sepal length と sepal widthの相関を見よう！ 24 相関係数ｒ p値 p値が0.01より小さくで、99％有意水準で 相関係数は有意である
- 25. アイリスデータ解析：相関（3） ?Iris-virginicaデータの、sepal length と sepal widthの相関を見よう！ 25 相関係数ｒ p値 p値が0.01より小さくで、99％有意水準で 相関係数は有意である
- 26. 練習１：相関 ?Class ごとにデータを分類して、petal length と petal widthの相関を見よう！ 26
- 28. 小売売上高：分布可視化 ?まずは、仮説を考えて、その項目の分布を見てみよう！ ?国民所得と各小売業の販売額は相関がありそう 28 建設業 自動車 家具 雑貨 相関高 そう 他より若干 ばらつきが
- 32. 回帰分析 32
- 33. 回帰分析とは？ ?「入力に対する結果を推定する」手法 ?例 予測器 入力 (原因) 結果 入力(原因) 結果 勉強時間 試験の点数 食事量 糖尿病になる確率 (身長，体重) バスケットボールの得点 画像 その画像がリンゴの写真である確率
- 42. どういう「あてはめ結果」が望ましい？(3/3) 42 結果 ? 入力 ? ?と?をいじって ? ? ?? ? ??? + ? 2 を最小化 ? = ?? + ? ??, ?? ?? ? ??? + ? 2 二乗誤差で「あてはめ誤差」を定義
- 43. これを「最小二乗法」と呼ぶ 43 ?と?をいじって ? ? ?? ? ??? + ? 2 を最小化 二乗誤差を最小にしたいから 最小二乗法 どうやって？？ 習ったかもしれませんが， 難しいことは python のパッケージがやってくれます！
- 45. 単回帰 ?一つの説明変数Xから一つの変数Yを回帰 ?Python なら一発！ ?例：身長から体重を回帰 45 ← 定数項を付けます（後述） ← 「Wt」を説明変数にセット ※ ais.csv は今までの身長体重データの フルバージョン： http://www.statsci.org/data/oz/ais.html
- 46. 単回帰の結果 46 説明変数に効果があるか？のp値 決定係数（後述）: 0~1 で1に近い ほど良い Wt(目的変数) = 1.1171 × Ht(説明変数) ? 126.1890 「あてはめ（予測）」式： < 0.05 で効果あり！ 線形の関係があることがわかる！by 式 ：実データの値 ：予測値 ：平均値
- 48. Ht(説明変数) Wt(目的変数) 線形の関係があることがわかる！by 絵 決定係数 48 ?? ∶ 標本値 ??′: 予測値 ?? : 標本平均値 「線形関数」で の予測がどの程度 うまくいっているか の指標 決定係数: ?? ?? ? ?? ?? ? ??′
- 49. 未知データでの予測 ? 得られた回帰式を用いて，身長が [185, 167, 215, 177] の人 たちの体重を予測したい 49 予測値
- 51. 練習２：単回帰 ?一つの説明変数Xから一つの変数Yを回帰 ?体重から身長を回帰して、分布と回帰直線を可視 化せよ 51 ※ ais.csv は今までの身長体重データの フルバージョン： http://www.statsci.org/data/oz/ais.html
- 53. 重回帰による予測（ステップ2/3）: モデルあてはめ バスケット ボールの得点 A君の データ B君の データ E君 → やはり最小二乗法になります 身長?1 体重?2 ? = ??1 + ??2 + ?? 各データから平面へ伸ばした 誤差の二乗を最小化
- 54. 重回帰による予測（ステップ３/3）: 予測 バスケット ボールの得点 → 身長と体重だけわかるZ君の バスケットボールの点数を 求めた式から予測 身長?1 体重?2 ? = ??1 + ??2 + ?? Z君のデータ 身長：170㎝、 体重：65Kg ? = 170? + 65? + ? 170㎝ 65Kg
- 55. 重回帰 ?複数の説明変数Xから目的変数Yを回帰 ?例1：Ht, Wt からLBM(Lean Body Mass, 脂肪を除いた重量) 55
- 56. 重回帰の結果 56 LBM(目的変数) = 0.2587 × Ht + 0.7325 × Wt ? 36.6586
- 59. 回帰結果 各説明変数に効果があるか？のp値 決定係数:0~1 で1に近い ほど良い quality(目的変数) = 0.0250 × fixed acidity + … < 0.05 で効果あり！ 説明変数が大量に なっても大丈夫！
- 60. 練習３：重回帰 ?複数の説明変数Xから目的変数Yを回帰 ?Ht, LBM (Lean Body Mass, 脂肪を除いた重量)からをWtを予測 する重回帰をせよ 60
- 61. 演習 61
- 62. 演習１：アイリスデータ 62 ?アイリスデータ ?3クラス ?Iris-setosa ?Iris-versicolor ?Iris-virginica ?指標 ?sepal length ?sepal width ?petal length ?petal width https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data
- 63. 相関：練習 ?petal length と sepal lengthの相関を見よう！ ?まずは、散布図で可視化しよう！ ?相関係数及びｐ値を求めよう！ ?ヒント ?散布図： ?import matplotlib.pyplot as plt ?plt.scatter ?相関： ?import scipy.stats ?r,p = scipy.stats.pearsonr(x, y) 63
- 65. 演習１：３つのクラス 65 Sepal length Sepalwide ? Iris-setosa ? Iris-versicolor ? Iris-virginica
- 69. 演習２ー１：散布図 ?「従業員数ー建設」、「従業員数ー自動車」、「従業員 数ー家具」、「従業員数ー雑貨」それぞれで散布図を見て みよう ? ヒント ? 散布図： ? import matplotlib.pyplot as plt ? plt.scatter 69
- 70. 演習２－３：回帰分析 ?「従業員数ー建設」、「従業員数ー自動車」、「従業員 数ー家具」、「従業員数ー雑貨」それぞれで回帰分析して みよう！まずは、それぞれ可視化してみよう！ ?相関係数との違いを考えてみよう！ ?ヒント： ?model = sm.OLS(Y, X) ?result = model.fit() 70
- 71. 演習２ー4：単回帰 ?「従業員数ー建設」、「従業員数ー自動車」、「従業員 数ー家具」、「従業員数ー雑貨」それぞれで単回帰し、散 布図と回帰直線をそれぞれ可視化しよう！ ?その中で、最もfitしているものを見つけよう。 ? ヒント ?model = sm.OLS(Y, X) ?result = model.fit() 71
- 72. 演習２－5：重回帰分析 ?「従業員数ー建設、自動車、家具、雑貨」で重回帰分析 してみよう！ ?ヒント： ?model = sm.OLS(Y, X) ?result = model.fit() 72 WASA 国民所得と給料支出額 (10億$) EMPL 非農業の企業の給料支払簿上の従業員数 (1,000) BLDG 建築資材の販売額 (100万$) AUTO 自動車の販売額 (100万$) FURN 家具と家の装具の販売額 (100万$) GMER 雑貨の販売額 (100万$)
- 73. 演習３ ? boston_house.csv（変数は以下）を用いて， 1. CRIM: per capita crime rate by town 2. ZN: proportion of residential land zoned for lots over 25,000 sq.ft. 3. INDUS: proportion of non-retail business acres per town 4. CHAS: Charles River dummy variable (=1 if tract bounds river; 0 otherwise) 5. NOX: nitric oxides concentration (parts per 10 million) 6. RM: average number of rooms per dwelling 7. AGE: proportion of owner-occupied units built prior to 1940 8. DIS: weighted distances to five Boston employment centres 9. RAD: index of accessibility to radial highways 10. TAX: full-value property-tax rate per $10,000 11. PT: pupil-teacher ratio by town 12. B: 1000(Bk - 0.63)^2 where Bk is the proportion of blacks by town 13. LSTAT: % lower status of the population 14. MV: Median value of owner-occupied homes in $1000‘s （要は家賃） ? 回帰分析を行い，２乗誤差と，家賃に関係性の強い説明変数は何か挙げよ． 73