データサイエンス概論第一=1-1 データとは
- 1. 1 九州大学大学院システム情報科学研究院 データサイエンス実践特別講座 データサイエンス概論第一 第1回 データとベクトル表現： 1-1 データとは システム情報科学研究院情報知能工学部門 内田誠一
- 2. 2 データサイエンス概論第一の内容 ? データとは ? データのベクトル表現と集合 ? 平均と分散 ? データ間の距離 ? データ間の類似度 ? データのクラスタリング （グルーピング） ? 線形代数に基づくデータ解析の基礎 ? 主成分分析と因子分析 ? 回帰分析 ? 相関?頻度?ヒストグラム ? 確率と確率分布 ? 信頼区間と統計的検定 ? 時系列データの解析 ? 異常検出
- 4. 44 「データ」とは？ (デジタル大辞泉より) 1. 物事の推論の基礎となる事実。また、参考となる資料? 情報。「―を集める」「確実な―」 2. コンピューターで、プログラムを使った処理の対象となる記 号化?数字化された資料。
- 5. 55 データとは？ ? 測定値 ? 体温，体重，消費カロリー，人流 ? メディアデータ ? 画像(次スライド)，動画像（ビデオ），音声 ? ラベルデータ ? 患者の病名，地点名?駅名，生物種 ? ネットワーク(関係データ) ? 空手クラブメンバーの仲良し関係 シロイヌナズナ by Alberto Salguero@Wikipedia Zachary‘s Karate Club by Cuneytgurcan @Wikipedia 伊都キャンパス内センサで獲得した人流データ
- 6. 66 メディアデータの代表例：画像 ? 監視カメラ画像 ? 文字，文書，記号，標識， ナンバープレート ? 顔，指紋，虹彩，耳，唇，掌の静脈 ? CT?MRI?X線などの医用画像 IAM face dataset CT画像@wikipedia MRI画像@wikipedia X線画像@wikipedia @wikipedia commons@flickr
- 7. 77 データの種類～別の角度から： 前後関係のあるデータ＝「系列データ」 ? 時々刻々と得られる系列データ（時系列データ） ? 動画像 ? 行動，ジェスチャ，歩行，ゲーム操作 ? 音声信号．対話系列 ? 心拍数変化，呼気量変化 ? 環境中のNOx濃度変化，気温変化 ? 10年ごとに測定した世界人口 ? 時間とは関係のない系列データ ? 文字列（文章） ? DNA系列 時間 姿勢（左手高さ） cgcacagtgg atcctaggcg ttactaggtc ttcaattctt gaactaattg ttttcgggtt ...
- 9. 99 データの種類～別の角度から： 少数データとビッグデータ ? 少数データ ? 1研究室の実験などで得られるデータ ? 1回のデータ取得に時間やコストがかかる ? そもそも滅多に表れない現象を扱うためのデータ ? 何らかの事情で大部分が非公開のデータ(privacy sensitiveなデータなど) ? ビッグデータ ? 3つのV： （企業によっては「4つのV」とか「5つのV」とも） ? Volume 容量 ? Variety 種類 ? Velocity 頻度?スピード ? ネット上の様々なデータ（画像やテキスト） ? 全体としてのデータ量は多くても，1試行だけのデータはビッグデータとは言えない
- 10. 10 余談：ビッグデータの「4つのV」 by IBM https://www-01.ibm.com/software/data/bigdata/images/4-Vs-of-big-data.jpg
- 11. 1111 フォーマルなデータの4分類 (1/3) ?量的データ ?比率データ ? 積や除算ができる．和や差もできる．Ex. 体重．年収．長さ ?間隔データ ? 積や除算に意味がない．ただし和や差はできる．Ex. (華氏?摂氏で測る)温度，西暦年 ?質的データ ?順位データ ? 四則演算（加減乗除）すべて意味がない．ただし並べることはできる． ? Ex. アンケート結果（５:非常によい，4:よい，3:ふつう，2:わるい，1:非常に悪い)． 成績順 ?カテゴリデータ ? 形式的に数字になっているだけ． ? Ex. 「1:女性, 2:男性」 ，電話番号，背番号，バスの系統番号 「非常によい-ふつう=わるい」 とはならない 「温度が２倍」「温度70%減」 とは言わない
- 13. 13 フォーマルなデータの4分類 (3/3) 表としてまとめると... 名称 可能な演算 主な代表値 主な事例 量的 データ 比率データ ＋－×÷ 各種平均 質量，長さ，年齢， 時間，金額 間隔データ ＋－ 算術平均 温度（摂氏），知能 指数 質的 データ 順位データ ＞＝ 中央値， 最頻値 満足度， 選好度，硬度 カテゴリ データ 度数カウント 最頻値 電話番号， 性別，血液型 狠狠撸 by H. Hayashi@KU データの種類によって使える手法が 大きく異なってくる
- 14. 1414 参考１：「データ」と「情報」について ? データとは ? 伝達、解釈、処理などに適するように形式化、符号化されたもの、 または再度情報として解釈できるものをいう。(Wikipedia) ? データと情報の違い ? データとは、情報を生みだすための素材のことを呼び、 データのなかの問題解決に役立つ材料のみを 情報とよぶ。(Wikipedia) データ 情報 適切な方法を用いなければ 情報は抽出できない
- 15. 1515 参考2：データ→情報→知識→知恵 (資産工学研究所, 2012) ? データ ? 現象の中から、幾つかの目的をもって客観的に収集された素材のこと。売上数 字などの経営数字や自然現象などの現象を収集?記録したものであり、加工前 の原材料のことである。 ? 情報 ? データを基に、特定の目的をもって検索?加工されたメッセージ性を持ったもので あり、主観的な内容でもよい。 ? 知識 ? 作成された情報を人間が理解し分析し結果を踏まえて洞察を加えたもののこと であって、価値を生み出すための材料となる。 ? 知恵 ? 知識を基に個人が持つ応用力?適応力を実践的に用いることによって、価値を 創造する思考や行動となるもののことである。 人間と 計算機 主に 人間 主に 人間