データ解析1 ベクトルの復习
- 1. データ解析 第1回 2018年4月12日 八谷 大岳 1
- 2. 機械学習（データ解析）とは 2 ? データから知識?ルールを獲得するアルゴリズムの研究 ? 人が知識やルールを明示的に与える方法の限界から生まれた ? 2000年頃から統計的学習技術の研究が盛んに行われてきた ? 2012年頃からビッグデータブームと、Deep learningの登場で、 機械学習の分野を超えて一躍注目を集め始める 人物 非人物 学習データ 機械学習 人物と非人物を識別する 知識?ルール
- 3. データ分析と機械学習の関係 3 ? 統計的アルゴリズムを用いる目的によって、呼ばれ方異なる ? 機械学習：予測、戦略獲得 ? データ分析：分析、調査 【統計的アルゴリズム】 単回帰 判別?分類 クラスタリング 主成分分析 重回帰 ベイズ ニューラルネット 予 測 分 析データ分析 データ 機械学習 強化学習 人工知能の講義にて カバー
- 4. 機械学習の実用例1 ? 画像領域分割 ? 各画素を人、空、木、草、建物カテゴリに分類 ? より綺麗な写真を撮るために、 領域の種類に合わせて適切な画像処理を適用 ? 空の明度を抑えて、人の明度を上げるなど ? 顔認証 ? 登録された顔画像と比較して同一人物か否かを分類する ? NEC?NeoFace：コンサートのチケットレス入場や会社の入退室管理 ? LYKAON：万引き犯の顔画像と一致する人が入店時に店員に通知 顔認証によるコンサートの入場チェック（NEC?TAPIRIS） 顔認証して店員に通知（LYKAON） 空、人の領域を特定 4
- 5. 機械学習の実用例2 ? 手書き文字認識 ? 郵便番号を自動認識し、はがきを自動仕分け（ゆうびん自動化機） ? 1時間に4万通の郵便番号を認識し、地域ごとの仕分けが可能 ? さらに、番地や部屋番号まで認識し、配達しやすい順番に並べ替え可能 5 https://jpn.nec.com/kids/himitsu/04.html
- 6. 機械学習の成功例：コンピュータ将棋 6 ? 2013年の電王戦（現役プロとコンピュータとの対局）にて コンピュータが3勝１敗１分けで勝利 ? 2014年は、コンピュータが4勝1敗で圧倒的勝利 ? 2000年代後半から機械学習の成功＋並列探索の導入で 急速に強くなる
- 7. 機械学習の成功例：画像認識 ? 近年、機械学習のDeep Learningが数多くのタスク（画像認識、 顔認識、行動認識など）で従来の技術を凌駕 ? 大規模画像分類Imagenet で、従来の画像認識技術に 10%の大差で優勝 Team name Error 1 SuperVision 0.153 2 ISI (SHIFT+FV, LBP+FVなど） 0.262 3 OXFORD_VGG 0.270 4 XRCE/INRIA 0.271 5 Univ. of Amsterdam 0.296 【2012年の結果】 10%の差 Team name Error 1 VGG 0.074 2 GoogLeNet 0.148 3 SYSU_Vision 0.319 4 MIL 0.337 5 MSRA Visual Computing 0.355 【2014年の結果】 上位は全部深層学習 分類誤差：7%まで低減！ 黒色：ハンドメード特徴量 赤色：深層学習 8
- 8. 内容 9 ? データ解析（機械学習）の実用例と成功例 ? データ解析（機械学習）とは ? 講義の概要 ? ベクトルの復习 ? ベクトルの和と差 ? 2点間の距離 ? ベクトルの内積 ? ベクトルの外積
- 9. 機械学習が急速に広まった理由１ 10 ? 特徴量表現と分析処理の分離 ? あらゆる分野で大量のデータが生成されている ? 異なる分野?データで同じ機械学習アルゴリズムが適用可能 ? 問題や分野の特徴を捉えた特徴量抽出により、 どの分野にも機械学習を適用できる 学習データ 特徴量表現 機械学習
- 10. 機械学習が急速に広まった理由２ 11 ? 無料のライブラリが拡充 ? scikit-learn, Tensorflow, Caffe, chainer, libsvm, SVMlight,… ? 特徴量の設計さえできれば誰でも一般的な機械学習を適用できる時代 ? しかし、使いこなすためには機械学習の知識が必要 ? 機械学習は数学の異種格闘技 ? 確率統計、線形代数、微積分、情報理論および最適化 5階層のConvolutional neural networkが 数十行のPythonコードで実装できるようになった
- 11. 内容 16 ? データ解析（機械学習）の実用例と成功例 ? データ解析（機械学習）とは ? 講義の概要 ? ベクトルの復习 ? ベクトルの和と差 ? 2点間の距離 ? ベクトルの内積 ? ベクトルの外積
- 12. 授業の目的と進め方 17 ? 目的： ? 授業で必要な基礎数学を復習 ? 線形代数、確率統計、微積分および最適化方法 ? データ解析（機械学習）の基本的手法を学ぶ ? 回帰分析、主成分分析、因子分析、クラスター分析および判別分析 ? 進め方： ? 【講義前】 ? 教員：Moodleにて、事前に次回の講義のスライドを公開 ? 学生：一通り予習、講義にスライドを持参 ? 【講義中】 ? 教員：スライドを説明、演習問題を出題、解答例を説明 ? 学生：説明を聞き、演習問題を各自で解き、最後に演習レポートを提出 ? 【講義後】 ? 教員：課題を出題 ? 学生：課題を各自で解き、次回の授業開始前に課題レポートを提出
- 13. 成績の評価＆レポートの提出方法 18 ? 配点： ? 講義中の演習レポート：10点 ? 講義後の課題レポート：20点 ? 最後の筆記試験：70点 ? 演習レポートの提出方法： ? タイトル「演習レポート」、日付?学生番号?氏名を用紙の一番上に記載 ? 課題レポート の提出方法： ? タイトル「課題レポート」、出題日?学生番号?氏名を用紙の一番上に記載 ? 2ページ以上になる場合は、ホッチキス留め ? A4サイズの用紙を使用 ? 一度に複数の課題レポートを提出する場合出題日ごとに別々に綴じる
- 15. 教科書 20 ? 意味が分かる多変量解析 ? 著者：石井俊全 ? 出版社：ベレ出版 ? 価格：2,052円 ? 特徴： ? 初学者向け ? 意味を理解することを重視
- 16. 講義を受ける上での注意 21 ? 講義中は静粛に ? 私語をしないこと ? 歩き回らないこと ? 携帯電話はマナーモード ? 時間厳守 ? 開始時刻（14時50分）前に課題レポートを提出 ? 質問はいつでも ? 講義中は、挙手で質問 ? 講義後の質問も歓迎 ? 部屋はA607 ? メールアドレス：hhachiya@sys.wakayama-u.ac.jp
- 17. 内容 22 ? データ解析（機械学習）の実用例と成功例 ? データ解析（機械学習）とは ? 講義の概要 ? ベクトルの復习 ? ベクトルの和と差 ? 2点間の距離 ? ベクトルの内積 ? ベクトルの外積
- 18. スカラーとベクトル 23 ? スカラー（Scalar）：１つの実数 ? 大きさだけを表す ? 質量、温度、長さなど ? スカラーは細い小文字で表現, x, y, z ? ベクトル（Vector）：実数の組 ? 大きさに加え方向を表す ? 速度、力など ? ベクトルは、太い小文字で表現する, w ? 成分の数： ? 2次元ベクトルの場合2個： ? 3次元ベクトルの場合3個： ?? = 2 5 ?? = 2 5 4 0 ?? ?? ?? ベクトルは矢印で表示 ??
- 19. ベクトルの和と差 24 ? 和： ? 差： ベクトルは平行移動に対し不変 なので、 ???? = 1 2 ???? = 2 1 ???? + ???? = 1 + 2 2 + 1 = 3 3 ???? ? ???? = 1 ? 2 2 ? 1 = ?1 1 ???? + ???? ???? ???? ???? ???? = ???? ???? ???????? ? ???? ?????
- 20. 多次元ベクトルの応用例 25 ? データ解析（機械学習）では、データをベクトルで表現する ? 例：画像の場合 ? 各要素に、ピクセル値を持つベクトル 高さH 幅W 12 24 64 184 WxH次元ベクトル 12 24 64 184 35 21 72 118 54 13 90 200 86 99 86 42 W行 H列
- 21. 2点間の距離 26 ? 2点間の距離はベクトルの差の大きさ ? ユークリッド距離、L2ノルム、 L2距離とも呼ばれる w1 w2 w1-w2 ???? = ??11 ??12 = 1 2 ???? = ??21 ??22 = 2 1 ???? ? ???? = (??11 ? ??21)2+(??12 ? ??22)2 = (1 ? 2)2+(2 ? 1)2= 2 -w2 ???? ? ???? = ??11 ? ??21 ??12 ? ??22
- 22. 演習1：2点間の距離を求める 27 ? N次元の点aとbの距離を、各自計算してください ? タイトル「演習レポート」、日付、学生番号、氏名を用紙の 一番上に記載 ?? = ??1 ??2 ? ???? ?? = ??1 ??2 ? ????
- 23. ベクトルの内積 29 ? 同じ次元数を持つ2つのベクトルの積 ? 内積の表記方法： ? 内積の結果がスカラーになるため、スカラー積とも言う ? 同じベクトル同士の内積の平方根を、L2ノルムと言う ?? ? ?? ??, ?? ???? ?? ?? ? ?? = ???? ?? = ??1, ??2 ??1 ??2 = ??1 ??1+ ??2 ??2 = ∑??=1 2 ???? ???? ?? ? ?? = ??1 2 +??2 2 = ?? ?? = ??1 ??2 ?? = ??1 ??2
- 24. 内積の便利な使い方：直交条件 30 ? 内積を用いて、2つのベクトルが直交しているか確認 ? 2つのベクトルのなす角θは90度 ? 正規直交基底ベクトル ? ひとつの要素だけ「1」、それ以外は「0」 ? ノルムは「1」 ? 異なる基底ベクトルは直交：内積が「0」 ?? ? ?? = ?? ?? cos ?? = 0 cos 90° = 0 ???? ｘ y ｚ ? ? ? ? ? ? ? ? ? ? = 0 0 1 i ? ? ? ? ? ? ? ? ? ? = 0 1 0 j ? ? ? ? ? ? ? ? ? ? = 1 0 0 k o 1=== kji 0=?=?=? ikkjji θ
- 25. 内積の便利な使い方：直交展開 31 ? 任意のベクトルを、正規直交基底ベクトルを用いて表現 ? ? ? ? ? ? ? ? ? ? == 0 0 1 1?i ? ? ? ? ? ? ? ? ? ? == 1 0 0 3?k ? ? ? ? ? ? ? ? ? ? == 0 1 0 2?j ∑= = n i ii 1 )( φφaa ? ? ? ? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ? ? ? + ? ? ? ? ? ? ? ? ? ? + ? ? ? ? ? ? ? ? ? ? =++= z y x zyxzyx a a a aaaaaa 1 0 0 0 1 0 0 0 1 kjia x y z O a 各次元□□□に射影し分解してから、ベクトルに再構成
- 26. 内積の便利な使い方：座標変換 32 ? 座標変換：任意のベクトルを、異なる座標系で表現 ? 新しい座標系の正規直交基底ベクトルを用いて、直交展開 ? 新しい座標系でのベクトル： ??1 ?? ?? ?? ?? ?????? ?? = ?? ? ?? ??+ ?? ? ?? ?? = ?? ? ??? ???+ ?? ? ??? ??? ??2 ???1 ???2 ??1 ??2 元の座標系への射影 ???1 ???2 新しい座標系への射影 ?? ? ??′ , ?? ? ??? ??
- 27. 外積 33 ? ベクトルaとbの外積ベクトル：aとbの平行四辺形に直交 ? 外積の演算結果はベクトルで、ベクトル積とも呼ぶ ? 外積ベクトルのノルム： aとbが張る平行四辺形の面積 θ c ?? = ?? × ?? ?? = ?? ?? sin ?? ??? = ?? × ?? ??? ?? = ??′b a 右ネジの法則
- 28. 3次元正規直交基底ベクトルの外積 34 ? 右ねじ回転順の2つの基底ベクトルの外積は、 もう一つ基底ベクトルに対応 ? 右ねじ回転の逆順の2つの基底ベクトルの外積は、 もう一つの基底ベクトルの反対向きのベクトルに対応 x y z i jk?? × ?? = ?? ?? × ?? = ?? ?? × ?? = ?? ?? × ?? = ??? ?? × ?? = ??? ?? × ?? = ??? x y z i jk -k -i -j
- 29. 3次元ベクトルの外積 35 ? ベクトルを直交展開 ? 直交展開したベクトルの外積を計算 ?? = ???? ?? + ???? ?? + ???? ?? ?? = ???? ?? + ???? ?? + ???? ?? ?? × ?? = ???? ?? + ???? ?? + ???? ?? × ???? ?? + ???? ?? + ???? ?? = ???? ???? ? ???? ???? ??+ ???? ???? ? ???? ???? ??+ ???? ???? ? ???? ???? ?? = ???? ???? ? ???? ???? ???? ???? ? ???? ???? ???? ???? ? ???? ???? i × i = j × j = k × k = 0 i × j = k, j × k = i, k × i = j j × i = -k, k × j = -i, i × k = -j 各自計算して確認してください。
- 31. 課題 38 1. 、 のとき、以下を求めなさい。 2. 、 のとき、以下の問いに答えなさい。 1. を証明しなさい。 2. 、 かつ の関係が 成り立ち、ゼロではない実数tとkが存在する場合、 その関係を表す関数 を求めなさい。 3. ベクトル を、反時計まわりに45度回転した 座標系に座標変換しなさい。 a = 3i + 2j b = 5i – 3j a + b=? a – b=? 3a + b=? ?? = ??, ??? ?? ?? = ?? ?? , ?? ?? ?? ?? ⊥ ?? ?? = ?? + (?? ?? ? ??)?? ?? = ????? + ?? ?? ?? ⊥ ?? ?? = ??(??) ?? = ??, ?? ?? T: 転置
- 32. レポートの提出方法 39 ? 演習レポート： ? タイトル「演習レポート」、日付?学生番号?氏名を用紙の一番上に記載 ? 課題レポート ： ? タイトル「課題レポート」、出題日?学生番号?氏名を用紙の一番上に記載 ? 2ページ以上になる場合は、ホッチキス留め ? A4サイズの用紙を使用 ? 一度に複数の課題レポートを提出する場合出題日ごとに別々に綴じる
- 33. 補足資料 40
- 34. ImageNet Challengeとは 41 ? 2010年から始まった大規模画像認識のコンペティション ? 1000クラスのカテゴリ分類を行うclassificationタスクと、 200クラスの物体検出を行うdetectionタスクがある ? PASCAL VOC（detectionのコンペティション）が、2012年で 終了したため、ImageNetに注目が集まっている 【detectionの例】【classificationの例】 ?PASCAL VOCとImageNetの比較 ?ImageNetは大規模化している ImageNet
- 35. 42 Car mirror baseball butterfly ?Dalmatian, coach dog ?Newfoundland ?German shepherd ?Eskimo dog, husky ?African hunting dog canoe yawl dog