狠狠撸

狠狠撸Share a Scribd company logo

我流胜手の础颈の歴史

?Download as DOCX, PDF?
?
Kohei Kumazawa
Kohei Kumazawa

History of A.I.

1 of 4
2014 年 4 月 17 日 熊澤公平 我流勝手解釈の A.I.の歴史 ● AI 以前（統計解析の時代）AI 0.0 の時代 ? フィッシャー＆ピアソン ? 大数の法則?中心極限定理 ? 多くの場合、母集団の分布がどんな分布であってもその誤差はサンプル のサイズを大きくした時に近似的に正規分布に従う ? 品種改良を行う際の影響分析や、国勢調査、世論調査などに広く用いら れている。国内での主流派 ? ベイズ ? 中心極限定理は、各事象が独立でない場合には当てはまらない。 ? （サイコロを振った際に出る目は、一回前に振った時にサイコロが床にぶつ かった影響でサイコロの形は変形しており、その影響によって１回前に出た 目がでやすくなっている場合とか） ? 事象間の事前事後確率の関係に注目する。 ? 計算量が大となり、計算機ができるまで計算は難しかった。 ? 直観的には関係ない事前情報でもその後の結果に影響をおよぼしている感じ となり、理解しにくい（モンティ?ホール問題） ● AI 出現（1943-80 年代）AI 1.0 の時代 ? ゲーム理論(1928）（その後 1932、1944 ノイマン) ? サイバネティックス（1940-45 ウィナー 思考機械）?フィードバックループ ? チューリングテスト（1950） ? ニューラルネットワークブーム 60 年代 ? パーセプトロン批判(1958) ? マービン?ミンスキー、シーモア?パパート：「パーセプトロン」 ? パーセプトロンは線形分離が可能でない問題は解けないことを証明以降、 第一の AI 冬の時代（1974-1980）となる。
? AI 第１期 冬の時代(1974-1980） ? AI に突き付けられた課題 ? コンピューティングパワーが不足している ? NP 完全問題の発見（組み合わせ爆発） ? 無意識に関する知識が不足 ? 常識を教えるだけでも大変 ? モラベックのパラドックス ? パターン認識など人にとっては簡単な処理が難しい ? フレーム問題 ? 普通の推論では表現できない問題の発見（自律、戦略立案など） ? AI ブーム(1980-1987) AI 1.5 の時代 ? 正統派 AI（フォーマリズムと統計分析）（演繹的、教師あり） ? エキスパートシステム全盛 ? Lisp や Prolog を活用。述語論理の計算 ? 第５世代コンピュータプロジェクトなどへ ? 事例ベース推論 ? ベイジアン?ネットワーク ? 計算知能（パラメータ調整、コネクショリズム）（機能的、教師無し） ? ニューラルネットワーク ? ラメルハート：バックプロパゲーション(1986）ニューラルネットが 再び注目 過学習の問題にぶつかり停滞 ? ファジィ推論 ? 遺伝的計算 ? 遺伝的アルゴリズム ? 群知能（-> Biology inspiered CI) ? AI 第 2 期 冬の時代（1987-1993) ? エキスパートシステムに対する幻滅 ● データマイニング?機械学習 90 年代（データ中心） AI 2.0 の時代 ? ムーアの法則?コンピューティングパワーの廉価化 ? 知的エージェント（分散知能）に対する期待（派生技術：分散蓄積、分散暗号）
? 様々なデータマイニング手法の出現 ? 決定木学習 ? 相関ルール（バスケット分析、アソシエーション） ? ニューラルネットワーク ? 遺伝的プログラミング ? 機能論理プログラミング ? サポートベクターマシン(1963 年発表?1992 年カーネルトリック、非線形分 類が可能） ? クラスタリング ? ベイジネットワーク ? 強化学習 ● 正統派 AI＋最適化 2000 年代 AI 3.0 の時代 ? サポートベクターマシンを中心とした機械学習が発展 ? 92 年カーネルトリックの発見により機械学習の応用で特に自然言語分野における 分類が進化 ? （HTML からのデータ抽出や、WEB データの分類） ? 不確かな状況でも推論が可能なように、イタレーションによる最適化手法が組み 合わさってくる ? feature selection ? カーネルを最適化するように因子を選別 ? Extention Maximization(EM 法） ? 条件付き期待値を最大化するようにクラスタをわける ? LDA（潜在的ディレクレ配分法）? トピックモデル ? 似た意味を持つ（例：同一文書に出現するとか）単語の頻出確率が最適 になるように意味ラベルを単語に割り当てていく ? ベイジアンネットワーク ? 計算パワー向上により、より因子の多い問題が扱えるようになる ? IBM Watson 2009 年 ? Jeopardy!と対決 ? 正統派 AI の競争選択
? Mining Talk ● 計算知能復古の時代（パラメータ調整、コネクショニズム） 2012 年～ AI 4.0 の時代 ? Deep Learning ? Greedy Layer-wise Training 2006 ? ニューラルネットワークには過学習の問題があった。下記のことにより回避 できる可能性が出現 ? 層ごとに学習をさせるということ。 ? 学 習 さ せ る 際 に 特 徴 を 抽 出 す る 関 数 を 間 に 入 れ て 学 習 さ せ る (Autoencoding) ? さらに層ごとに学習させる際にランダムにデータを間引き過学習させな いというテクニック（Dropout） ? Google とスタンフォード大学による画像認識の研究 ? 「 Building High-level Features Using Large Scale Unsupervised Learning(2012) ICML International Conference on Machine Learning ? ニューラルチップ ? System on Chip の開発 ? IBM Neural chip ? GPU の応用 ? NVIDIA ? fMRI の進化 ? Brain Initiative （オバマ政策） ? 脳神経科学からの知見の流入?ニューロインフォマティックス

More Related Content

我流胜手の础颈の歴史

  • 1. 2014 年 4 月 17 日 熊澤公平 我流勝手解釈の A.I.の歴史 ● AI 以前（統計解析の時代）AI 0.0 の時代 ? フィッシャー＆ピアソン ? 大数の法則?中心極限定理 ? 多くの場合、母集団の分布がどんな分布であってもその誤差はサンプル のサイズを大きくした時に近似的に正規分布に従う ? 品種改良を行う際の影響分析や、国勢調査、世論調査などに広く用いら れている。国内での主流派 ? ベイズ ? 中心極限定理は、各事象が独立でない場合には当てはまらない。 ? （サイコロを振った際に出る目は、一回前に振った時にサイコロが床にぶつ かった影響でサイコロの形は変形しており、その影響によって１回前に出た 目がでやすくなっている場合とか） ? 事象間の事前事後確率の関係に注目する。 ? 計算量が大となり、計算機ができるまで計算は難しかった。 ? 直観的には関係ない事前情報でもその後の結果に影響をおよぼしている感じ となり、理解しにくい（モンティ?ホール問題） ● AI 出現（1943-80 年代）AI 1.0 の時代 ? ゲーム理論(1928）（その後 1932、1944 ノイマン) ? サイバネティックス（1940-45 ウィナー 思考機械）?フィードバックループ ? チューリングテスト（1950） ? ニューラルネットワークブーム 60 年代 ? パーセプトロン批判(1958) ? マービン?ミンスキー、シーモア?パパート：「パーセプトロン」 ? パーセプトロンは線形分離が可能でない問題は解けないことを証明以降、 第一の AI 冬の時代（1974-1980）となる。
  • 2. ? AI 第１期 冬の時代(1974-1980） ? AI に突き付けられた課題 ? コンピューティングパワーが不足している ? NP 完全問題の発見（組み合わせ爆発） ? 無意識に関する知識が不足 ? 常識を教えるだけでも大変 ? モラベックのパラドックス ? パターン認識など人にとっては簡単な処理が難しい ? フレーム問題 ? 普通の推論では表現できない問題の発見（自律、戦略立案など） ? AI ブーム(1980-1987) AI 1.5 の時代 ? 正統派 AI（フォーマリズムと統計分析）（演繹的、教師あり） ? エキスパートシステム全盛 ? Lisp や Prolog を活用。述語論理の計算 ? 第５世代コンピュータプロジェクトなどへ ? 事例ベース推論 ? ベイジアン?ネットワーク ? 計算知能（パラメータ調整、コネクショリズム）（機能的、教師無し） ? ニューラルネットワーク ? ラメルハート：バックプロパゲーション(1986）ニューラルネットが 再び注目 過学習の問題にぶつかり停滞 ? ファジィ推論 ? 遺伝的計算 ? 遺伝的アルゴリズム ? 群知能（-> Biology inspiered CI) ? AI 第 2 期 冬の時代（1987-1993) ? エキスパートシステムに対する幻滅 ● データマイニング?機械学習 90 年代（データ中心） AI 2.0 の時代 ? ムーアの法則?コンピューティングパワーの廉価化 ? 知的エージェント（分散知能）に対する期待（派生技術：分散蓄積、分散暗号）
  • 3. ? 様々なデータマイニング手法の出現 ? 決定木学習 ? 相関ルール（バスケット分析、アソシエーション） ? ニューラルネットワーク ? 遺伝的プログラミング ? 機能論理プログラミング ? サポートベクターマシン(1963 年発表?1992 年カーネルトリック、非線形分 類が可能） ? クラスタリング ? ベイジネットワーク ? 強化学習 ● 正統派 AI＋最適化 2000 年代 AI 3.0 の時代 ? サポートベクターマシンを中心とした機械学習が発展 ? 92 年カーネルトリックの発見により機械学習の応用で特に自然言語分野における 分類が進化 ? （HTML からのデータ抽出や、WEB データの分類） ? 不確かな状況でも推論が可能なように、イタレーションによる最適化手法が組み 合わさってくる ? feature selection ? カーネルを最適化するように因子を選別 ? Extention Maximization(EM 法） ? 条件付き期待値を最大化するようにクラスタをわける ? LDA（潜在的ディレクレ配分法）? トピックモデル ? 似た意味を持つ（例：同一文書に出現するとか）単語の頻出確率が最適 になるように意味ラベルを単語に割り当てていく ? ベイジアンネットワーク ? 計算パワー向上により、より因子の多い問題が扱えるようになる ? IBM Watson 2009 年 ? Jeopardy!と対決 ? 正統派 AI の競争選択
  • 4. ? Mining Talk ● 計算知能復古の時代（パラメータ調整、コネクショニズム） 2012 年～ AI 4.0 の時代 ? Deep Learning ? Greedy Layer-wise Training 2006 ? ニューラルネットワークには過学習の問題があった。下記のことにより回避 できる可能性が出現 ? 層ごとに学習をさせるということ。 ? 学 習 さ せ る 際 に 特 徴 を 抽 出 す る 関 数 を 間 に 入 れ て 学 習 さ せ る (Autoencoding) ? さらに層ごとに学習させる際にランダムにデータを間引き過学習させな いというテクニック（Dropout） ? Google とスタンフォード大学による画像認識の研究 ? 「 Building High-level Features Using Large Scale Unsupervised Learning(2012) ICML International Conference on Machine Learning ? ニューラルチップ ? System on Chip の開発 ? IBM Neural chip ? GPU の応用 ? NVIDIA ? fMRI の進化 ? Brain Initiative （オバマ政策） ? 脳神経科学からの知見の流入?ニューロインフォマティックス