Casual datascience vol5
- 1. カジュアル勉強会 @仙台 データサイエンスを学ぶ 第5回 株式会社 エクテック 取締役 兼データサイエンティスト
- 4. 始?動: 2019年10? 拠?点: 仙台市内 2拠点 資本?: 2,000,000円 (??資本) 社員数: 3名(＋α) 株式会社 エクテック
- 5. 第5回までの流れ 1部 1. 第1回のおさらい 2. データへの取り組み方 3. 色々なアプローチ 2部 1. アプローチ具体例 2. 分析環境 3. 周辺技術と知識 2Day (5/3) 1部 1. データとは 2. 身近なデータ 3. データと科学 2部 1. データアプローチ 2. データで実現 3. 活用事例 1Day (5/2)
- 6. 第5回までの流れ 1部 1. 第3回のおさらい 2. 機械学習 3. データと機械学習 2部 1. データと分類 2. データと回帰 3. データとクラスタリング 4Day (5/5) 1部 1. 第2回のおさらい 2. データの加工 3. データの前処理 2部 1. データの正規化 2. 予測と分類① 3. 予測と分類② 3Day (5/4)
- 7. 第5回までの流れ 1部 1. 第4回のおさらい 2. データの在り方 3. データと可視化① 2部 1. データと可視化② 2. データと可視化③ 3. データと個人情報 5Day (5/6)
- 8. 今回のアジェンダ 第4回のおさらい (Go over) データの在り方 (How Data should be) データの可視化① (Data & Visualization 1) データの可視化② (Data & Visualization 2) データの可視化③ (Data & Visualization 3) データと個人情報 (Data & Personal Information) 2部1部
- 10. 机械学习とは？
- 13. たとえば、 ルールベース
- 14. IF ~ THEN
- 15. IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN IF ~ THEN
- 17. では、机械学习は？
- 22. 学習?データ 検証?データ
- 26. 学習した モデル 学習?データ
- 30. 機械学習のための データセット
- 31. 関连性のないデータ
- 32. 旅客机の数と、饮酒量
- 33. 学習?データの 特徴の違い
- 38. 妥当性のチェックを ?かさない
- 39. サッカー上での ?認識?検出
- 42. 機械学習における データへの意識
- 49. サイクルは 常に回り続ける
- 50. 分类の主な?的
- 52. X かどうか XXか？ XX X YYか？ YY Y yes yes no no no yes
- 54. 買う or 買わない?
- 56. 学?の点数や講義の出?率、 受講態度で、 成績(S, A, B, C, D, ...)
- 57. 成績(S, A, B, C, D, ...)? 多値分類?
- 58. 予测の主な?的
- 63. クラスタリングの主な?的
- 68. データの在り? (How Data should be)
- 78. 「ビジネスにおける?の出会いを リアルタイムで可視化した、世界初の データビジュアライゼーション」 https://sansan-dsoc.com/research/ datadiscovery/
- 81. Distribution (分布) Composition (構成) Relationship (関係) Comparison (?較)
- 87. Composition (構成)
- 89. Composition (構成)
- 101. Relationship (関係)
- 102. Comparison (?較)
- 104. Comparison (?較)
- 105. 線グラフ(折れ線グラフ) 「データに基づいてプロットされた点と、それ を隣同?で結ぶ直線とで描かれる。その際、つ なぐ点は特定の順番でつなぐものであり、それ は往々にして時間経過の順である。」
- 106. 休憩 (10分間)
- 107. データの可視化② (Data & Visualization 2)
- 108. データの可視化③ (Data & Visualization 3)
- 109. Python Graph Gallery
- 111. PMSという ?葉をご存知ですか？
- 112. 個?情報保護 マネジメントシステム
- 115. 个?情报保护法とは
- 117. 個?データ 特定個?情報 匿名加?情報
- 121. 個?情報 (?存する個?に関する情報)
- 134. 匿名化 办-匿名性 位置に関する情报
- 135. 匿名化
- 136. 架空の個?データ 名前 年齢 性別 居住地 宗教 病気 佐藤 abc 42 男 仙台市泉区xxx 真言宗 大腸ガン 伊藤 abc 59 女 仙台市泉区yyy 天台宗 胃ガン 田中 abc 34 女 仙台市若林区xxx 天台宗 ウィルス感染症 山田 abc 61 男 仙台市青葉区xxx 日蓮宗 ウィルス感染症 守谷 abc 77 男 仙台市青葉区yyy 浄土宗 心疾患 大森 abc 46 女 仙台市青葉区zzz 浄土真宗 胃ガン 加藤 abc 52 男 仙台市若林区zzz 真言宗 糖尿病1型 大谷 abc 71 男 仙台市宮城野区xxx 日蓮宗 喉頭ガン 松田 abc 66 男 仙台市太白区xxx 浄土真宗 心疾患 堀井 abc 54 女 仙台市太白区yyy 真言宗 胃ガン 国見 abc 41 男 仙台市若林区yyy 天台宗 糖尿病2型
- 137. 架空の個?データ 名前 年齢 性別 居住地 宗教 病気 佐藤 abc 42 男 仙台市泉区xxx 真言宗 大腸ガン 伊藤 abc 59 女 仙台市泉区yyy 天台宗 胃ガン 田中 abc 34 女 仙台市若林区xxx 天台宗 ウィルス感染症 山田 abc 61 男 仙台市青葉区xxx 日蓮宗 ウィルス感染症 守谷 abc 77 男 仙台市青葉区yyy 浄土宗 心疾患 大森 abc 46 女 仙台市青葉区zzz 浄土真宗 胃ガン 加藤 abc 52 男 仙台市若林区zzz 真言宗 糖尿病1型 大谷 abc 71 男 仙台市宮城野区xxx 日蓮宗 喉頭ガン 松田 abc 66 男 仙台市太白区xxx 浄土真宗 心疾患 堀井 abc 54 女 仙台市太白区yyy 真言宗 胃ガン 国見 abc 41 男 仙台市若林区yyy 天台宗 糖尿病2型 このままでは、ダメ。
- 138. 架空の個?データ 名前 年齢 性別 居住地 宗教 病気 佐藤 abc 42 男 仙台市泉区xxx 真言宗 大腸ガン 伊藤 abc 59 女 仙台市泉区yyy 天台宗 胃ガン 田中 abc 34 女 仙台市若林区xxx 天台宗 ウィルス感染症 山田 abc 61 男 仙台市青葉区xxx 日蓮宗 ウィルス感染症 守谷 abc 77 男 仙台市青葉区yyy 浄土宗 心疾患 大森 abc 46 女 仙台市青葉区zzz 浄土真宗 胃ガン 加藤 abc 52 男 仙台市若林区zzz 真言宗 糖尿病1型 大谷 abc 71 男 仙台市宮城野区xxx 日蓮宗 喉頭ガン 松田 abc 66 男 仙台市太白区xxx 浄土真宗 心疾患 堀井 abc 54 女 仙台市太白区yyy 真言宗 胃ガン 国見 abc 41 男 仙台市若林区yyy 天台宗 糖尿病2型
- 139. 架空の個?データ 名前 年齢 性別 居住地 宗教 病気 佐藤 abc 42 男 仙台市泉区 真言宗 ガン 伊藤 abc 59 女 仙台市泉区 天台宗 ガン 田中 abc 34 女 仙台市若林区 天台宗 ウィルス感染症 山田 abc 61 男 仙台市青葉区 日蓮宗 ウィルス感染症 守谷 abc 77 男 仙台市青葉区 浄土宗 心疾患 大森 abc 46 女 仙台市青葉区 浄土真宗 ガン 加藤 abc 52 男 仙台市若林区 真言宗 糖尿病 大谷 abc 71 男 仙台市宮城野区 日蓮宗 ガン 松田 abc 66 男 仙台市太白区 浄土真宗 心疾患 堀井 abc 54 女 仙台市太白区 真言宗 ガン 国見 abc 41 男 仙台市若林区 天台宗 糖尿病
- 140. 架空の個?データ 名前 年齢 性別 居住地 宗教 病気 佐藤 abc 42 男 仙台市泉区 真言宗 ガン 伊藤 abc 59 女 仙台市泉区 天台宗 ガン 田中 abc 34 女 仙台市若林区 天台宗 ウィルス感染症 山田 abc 61 男 仙台市青葉区 日蓮宗 ウィルス感染症 守谷 abc 77 男 仙台市青葉区 浄土宗 心疾患 大森 abc 46 女 仙台市青葉区 浄土真宗 ガン 加藤 abc 52 男 仙台市若林区 真言宗 糖尿病 大谷 abc 71 男 仙台市宮城野区 日蓮宗 ガン 松田 abc 66 男 仙台市太白区 浄土真宗 心疾患 堀井 abc 54 女 仙台市太白区 真言宗 ガン 国見 abc 41 男 仙台市若林区 天台宗 糖尿病 可能な限り、?般化。
- 141. 下記のような架空の個?データ 仮番号 名前 年齢 性別 居住地 病気 000-1 佐藤 abc 42 男 仙台市泉区 ガン 000-2 伊藤 abc 59 女 仙台市泉区 ガン 000-3 田中 abc 34 女 仙台市若林区 ウィルス感染症 000-4 山田 abc 61 男 仙台市青葉区 ウィルス感染症 000-5 守谷 abc 77 男 仙台市青葉区 心疾患 000-6 大森 abc 46 女 仙台市青葉区 ガン 000-7 加藤 abc 52 男 仙台市若林区 糖尿病 000-8 大谷 abc 71 男 仙台市宮城野区 ガン 000-9 松田 abc 66 男 仙台市太白区 心疾患 000-10 堀井 abc 54 女 仙台市太白区 ガン 000-11 国見 abc 41 男 仙台市若林区 糖尿病
- 142. 下記のような架空の個?データ 仮番号 名前 年齢 性別 居住地 病気 000-1 佐藤 abc 42 男 仙台市泉区 ガン 000-2 伊藤 abc 59 女 仙台市泉区 ガン 000-3 田中 abc 34 女 仙台市若林区 ウィルス感染症 000-4 山田 abc 61 男 仙台市青葉区 ウィルス感染症 000-5 守谷 abc 77 男 仙台市青葉区 心疾患 000-6 大森 abc 46 女 仙台市青葉区 ガン 000-7 加藤 abc 52 男 仙台市若林区 糖尿病 000-8 大谷 abc 71 男 仙台市宮城野区 ガン 000-9 松田 abc 66 男 仙台市太白区 心疾患 000-10 堀井 abc 54 女 仙台市太白区 ガン 000-11 国見 abc 41 男 仙台市若林区 糖尿病
- 143. 下記のような架空の個?データ 仮番号 名前 年齢 性別 居住地 病気 000-1 佐藤 abc 42 男 仙台市泉区 ガン 000-2 伊藤 abc 59 女 仙台市泉区 ガン 000-3 田中 abc 34 女 仙台市若林区 ウィルス感染症 000-4 山田 abc 61 男 仙台市青葉区 ウィルス感染症 000-5 守谷 abc 77 男 仙台市青葉区 心疾患 000-6 大森 abc 46 女 仙台市青葉区 ガン 000-7 加藤 abc 52 男 仙台市若林区 糖尿病 000-8 大谷 abc 71 男 仙台市宮城野区 ガン 000-9 松田 abc 66 男 仙台市太白区 心疾患 000-10 堀井 abc 54 女 仙台市太白区 ガン 000-11 国見 abc 41 男 仙台市若林区 糖尿病 ユニークなIDで、統?。
- 144. 办-匿名性
- 146. 下記のような架空の個?データ 名前 年齢 性別 居住地 宗教 病気 佐藤 abc 42 男 仙台市泉区xxx 真言宗 大腸ガン 伊藤 abc 59 女 仙台市泉区yyy 天台宗 胃ガン 田中 abc 34 女 仙台市若林区xxx カトリック ウィルス感染症 山田 abc 61 男 仙台市青葉区xxx 日蓮宗 ウィルス感染症 守谷 abc 77 男 仙台市青葉区yyy 浄土宗 心疾患 大森 abc 46 女 仙台市青葉区zzz 浄土真宗 胃ガン 加藤 abc 52 男 仙台市若林区zzz 真言宗 糖尿病1型 大谷 abc 71 男 仙台市宮城野区xxx カトリック 喉頭ガン 松田 abc 66 男 仙台市太白区xxx 浄土真宗 心疾患 堀井 abc 54 女 仙台市太白区yyy カトリック 胃ガン 国見 abc 41 男 仙台市若林区yyy カトリック 糖尿病2型
- 147. 個?を特定できないように情報を削る 名前 年齢 性別 居住地 宗教 病気 佐藤 abc 40代 男 仙台市泉区 仏教 ガン 伊藤 abc 50代 女 仙台市泉区 仏教 ガン 田中 abc 30代 女 仙台市若林区 キリスト 感染症 山田 abc 60代 男 仙台市青葉区 仏教 感染症 守谷 abc 70代 男 仙台市青葉区 仏教 心疾患 大森 abc 40代 女 仙台市青葉区 仏教 ガン 加藤 abc 50代 男 仙台市若林区 仏教 糖尿病 大谷 abc 70代 男 仙台市宮城野区 キリスト ガン 松田 abc 60代 男 仙台市太白区 仏教 心疾患 堀井 abc 50代 女 仙台市太白区 キリスト ガン 国見 abc 40代 男 仙台市若林区 キリスト 糖尿病
- 148. 位置に関する情报
- 149. 位置情報とユニークなIDを含むデータ (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y) (x, y)
- 150. 明确な位置情报を削除しつつ、
- 152. 例えば、個?の?動履歴ならば？ (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t) (x, y, t)
- 153. 当然、详细な情报は覗きつつ
- 154. 个?を特定できてしまう情报も削除する
- 156. これでも、 安全とは?い切れない。
- 157. 適切な匿名化は、 厳しい。。。
- 158. 個?情報を特定する 個?データは存在する
- 159. なるべく、分散化。
- 161. 株式会社 エクテック 第１営業本部 法?営業部 第2チーム 担当課? エクテック 太郎 宮城県仙台市若林区清??路6-1 Mobile: 080-6623-xxxx Mail: extech.taro@ex-tech.xx.xx
- 162. 株式会社 エクテック 第１営業本部 法?営業部 第2チーム 担当課? エクテック 太郎 宮城県仙台市若林区清??路6-1 Mobile: 080-6623-xxxx Mail: extech.taro@ex-tech.xx.xx
- 163. 株式会社 エクテック 第１営業本部 法?営業部 第2チーム 担当課? エクテック 太郎 宮城県仙台市若林区清??路6-1 Mobile: 080-6623-xxxx Mail: extech.taro@ex-tech.xx.xx UUID:xxx
- 166. 中セキュリティレベル Mobile/ Mail 苗字 名前 低セキュリティレベル 部署 ※１例 役職会社名 UUID:xxx ?セキュリティレベル リソースを集中でき セキュリティ管理も省?ができうる
- 167. EOF