データ分析概略
Download as PPTX, PDF0 likes325 views
表計算とデータの分析は何が違うのか? データの分析の概略からそれを考えます。データの可視化の例。そのためのデータ加工のポイントなどを取り上げています。
More Related Content
What's hot (20)
Similar to データ分析概略 (20)
![[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例 by 株式会社日立製作所 ...](https://cdn.slidesharecdn.com/ss_thumbnails/dbtstokyo2014b33-141127184852-conversion-gate01-thumbnail.jpg?width=560&fit=bounds)
![[de:code 2019 振り返り Night!] Data Platform](https://cdn.slidesharecdn.com/ss_thumbnails/20190610decode2019dataplatformrecap-190610113039-thumbnail.jpg?width=560&fit=bounds)
![[db tech showcase Tokyo 2014] C25: Facebookが採用した世界最大級の分析基盤とは？ by 日本ヒューレット?パッ...](https://cdn.slidesharecdn.com/ss_thumbnails/dbtstokyo2014c25hpfacebook-141120232027-conversion-gate02-thumbnail.jpg?width=560&fit=bounds)
![[D33] そのデータベース 5年後大丈夫ですか by Hiromu Goto](https://cdn.slidesharecdn.com/ss_thumbnails/d33hp-140623211550-phpapp01-thumbnail.jpg?width=560&fit=bounds)
More from Daiyu Hatakeyama (20)
データ分析概略
- 1. Data 分析 - 表計算 と データ分析 の違いを知る - 畠山 大有 | Daiyu Hatakeyama Architect && Software Engineer && Applied Data Scientist Microsoft Japan /dahatake @dahatake /in/dahatake /dahatake /dahatake
- 3. “1つ の正確な測定は 1,000名 の専門家の意見に 匹敵する” グレース?ホッパー - Wikipedia
- 4. Data に関する 私の 2つ の ”お気に入り” 主要な指標を追跡するには、 ダッシュボードアプリケーションが 必要 そうすれば、意思決定を行う際に 無視できる Data 項目が増える Data を持つ != Data を活用 する Data > あなたの視点。常に そうではありません。 このようなデータを無視す るつもりはありませんが、 私の豊富なマーケティング 経験も考慮しなければなり ません。
- 5. ※1 Life of Thomas Alva Edison | Biography | Articles and Essays | Inventing Entertainment: The Early Motion Pictures and Sound Recordings of the Edison Companies | Digital Collections | Library of Congress (loc.gov) Case Files: Thomas A. Edison | The Franklin Institute ※2 "I think there is a world market for maybe five computers." – Lexology No. 1059: Inventing the Computer (uh.edu) ※3 Ken Olsen – Wikipedia
- 6. データ分析 最初の一歩
- 10. ? 各店舗のパフォーマンスは? ? 売れ筋トップ製品は何です か? ? 売上最悪の店舗は何が原因? ? 次の四半期の売上に対して 何を期待すればよい? ? 利益を上げるためにはどのよ うな ステップを踏めば良い? 何が起こっているのか? 现状把握 なぜそれが発生したのか? 何の相関関係があるのか? 次に何をすればいい? そのための予測は?
- 12. ? 各店舗のパフォーマンスは? ? 売れ筋トップ製品は何です か? ? 売上最悪の店舗は何が原因? ? 次の四半期の売上に対して 何を期待すればよい? ? 利益を上げるためにはどのよ うな ステップを踏めば良い? 何が起こっているのか? 现状把握 サキさんの知っている機能 ? Pivot Chart ? Pivot Table ? VLOOKUP ? Calc Column ? Query Tables ? 日付を正しく処理する方 法 サキさんの勤務時間の 80%以上は、この作業
- 13. 折れ線グラフ 折れ線積上棒グラ フ データの時系列推移を見たい データのシェア推移を見たい リボングラフ データの構成比を見たい データを一覧で見たい テーブル?マト リックス(条件付き 書式） データの地理的分布を見たい 特性や評価データを見たい データの相関関係を見たい ツリーマップ ドーナツグラ フ 円グラフ 100％積上棒グラフ テーブル マトリックス マップ Azure Map レーダー チャート 散布図 主要なインフルエン サー フォーターフォー ル図 相関プロット サンキー チャート データの流量や組合せを見たい パイチャート ツリー
- 14. 訪日外客数データ 现状把握
- 15. 月別棒グラフは通常月の昇順に並 ぶが、ここでは人数の多い月を見 たいので 軸の並べ替え > 人数の降順 にし て、知りたいことをズバリ確認で きる表現にすることがポイント 现状把握
- 16. 现状把握
- 18. 现状把握
- 19. 现状把握
- 20. 现状把握
- 21. 现状把握
- 22. 现状把握
- 23. 现状把握
- 24. 新卒評価縦持ちデータ 现状把握
- 25. 现状把握
- 26. ? 各店舗のパフォーマンスは? ? 売れ筋トップ製品は何です か? ? 売上最悪の店舗は何が原因? ? 次の四半期の売上に対して 何を期待すればよい? ? 利益を上げるためにはどのよ うな ステップを踏めば良い? なぜそれが発生したのか? 何の相関関係があるのか? 必要な事: ? 仮説の作成 ? 仮説を分析「レシピ」に変 える ? 50,000 品目の製品カテゴ リを手動で入力 ? 計算されるメンバを作成す る サキさんは常に仮説を持って いる わけではなく、ほとんどの場 合、 正しい「レシピ」を知らない 個別の分析をするのが手作業 だし、時間もかかるし
- 27. 相関関係
- 28. 相関関係
- 29. 相関関係
- 32. 相関関係
- 33. ? キャンペーン?広告に反応する優 良顧客の属性分析 ? 品質不良に影響を与える 製造工程データの分析 ユースケース 機械学習を用いた KPI 要因探索を行うビジュアル 内部では統計解析のアルゴリズムが 複雑なデータの特徴を自動分析 ? 主要なインフルエンサ ? L-BFGS回帰、SDCA回帰 ? 上位セグメント ? FAST Tree 相関関係
- 35. ? 各店舗のパフォーマンスは? ? 売れ筋トップ製品は何です か? ? 売上最悪の店舗は何が原因? ? 次の四半期の売上に対して 何を期待すればよい? ? 利益を上げるためにはどのよ うな ステップを踏めば良い? 次に何をすればいい? そのための予測は? 結果の共有 殆どの場合で ここまで到達しない 彼女のチームを巻き込む時間が 殆どない
- 42. カテゴリ外れ値 (上/下) 時系列の変更点 相関関係 低差異 マジョリティ (主要因子) 時系列の全体的な傾向 時系列の周期性 安定した共有 時系列外れ値 ユーザーの特別な操作を必要とせず Power BI がデータから洞察を提 供
- 43. 欲しいデータは増える
- 44. 仮説 ? 各店舗のパフォーマンスは? ? 売れ筋トップ製品は何です か? ? 売上最悪の店舗は何が原因? ? 次の四半期の売上に対して 何を期待すればよい? ? 利益を上げるためにはどのよ うな ステップを踏めば良い?
- 45. Digital Feedback Loop = Data Source を考える良い分類 Data AI 顧客 とのエンゲージ 従業員 が最大限に力を発揮できる 製品 の変革 業務プロセス の最適化
- 47. 限界 天気 気象庁から? 店舗マスタ 商品マスタ 地域 都道府県 市町村 売り上げデー タ それぞれのデータソースから、 全件ダウンロードして BI ツール内(PCの場合もある!) で结合処理
- 48. 限界 天気 店舗マスタ 商品マスタ 地域 都道府県 市町村 売り上げデー タ 気象庁から? Excelから? データソースからは、予めETLで Data Warehouse にダウンロード Data Warehouse 内で结合処理 クエリ結果だけが、BIツールにダウンロード
- 49. ? 何を意味しているのか? ? いつ、どこで、取得したの か? ? 入手漏れが無いのか? ? 項目同士に関連があるの か? ? 欠損や例外がどれだけ 「ゴミデータからは、 ゴミの結果しか生まれな い」
- 50. DeviceID OEM Name SSD (GB) CPU Clock (GHz) Region OS Install Date 1 Hewlett Packard 500 3.2 US 12/12/2016 2 HP 1000 1233 US 05/02/2017 3 Hewlett-Packard 250 -7.8 USA 05/32/2017 4 hp 217 4.2 MEA 04/10/2016 5 Hewlet Packard NA 4.1 Latam 05/15/2087 6 DELL 250 0 Japan 03/13/2017 7 dell NULL 9.2 Japan 04-17-2016 8 “” 500 3.5 China 2015.02.141 9 Hewlett pakerd 500 2.8 China 3/2 答え: No… なぜなのか見ていきましょう
- 51. DeviceID OEM Name DeviceID OEM Name SSD (GB) … 1 Hewlett Packard 500 … 2 HP 1000 … 3 Hewlett-Packard 250 … 4 hp 217 … 5 Hewlet Packard NA … 6 DELL 250 … 7 dell NULL … 8 “” 500 … 9 Hewlett pakerd 500 … 目的: 不足値や一貫性の無い値 の是正
- 52. OS Install Date OS Install Date CPU Clock OS Install Date * Region … CPU Clock (GHz) Region OS Install Date … 3.2 US 12/12/2016 … 1233 US 05/02/2017 … -7.8 USA 05/32/2017 … 4.2 MEA 04/10/2016 … 4.1 Latam 05/15/2087 … 0 Japan 03/13/2016 … 9.2 Japan 04-17-2016 … 3.5 China 2015.02.141 … 2.8 China 3/2 *注意: 範囲選択を注意して行わないと、モデルの安定性に影響がある
- 53. 取得 保存 加工 可視化
- 54. 取得 保存 加工 可視化
- 55. 取得 保存 加工 可視化
- 56. Excel Power BI Database (SQL Serverなど) Big Data (Spark など) Python / R 取組み データ接続先 豊富 (Power Query経由) 豊富 (Power Query経由) 制限なし 制限なし 制限なし 保存 扱えるデータ 量 PC の容量に依存 (Cloud 版も) Cloud も 使える Server / Cloud の 容量制限 ほぼ無制限 インフラに依存 加工 画面操作での データ加工 豊富 豊富 ほぼ無い ある場合が 増えた 無い 加工 ?可視化 複数テーブル 連携 可能ではあるが、 Inner JOIN のみ 制限なく可能 制限なく可能 制限なく可能 制限なく可能 可視化 グラフの種類 豊富 豊富 ほぼ無い ほぼ無い 豊富 共有 ファイル共有 Web アプリ経由 アプリ経由 アプリ経由 利用者 PC/Mac の相当 のユーザー数 BI ユーザー データエンジニア データエンジニ ア データサイエン ティスト データサイエン ティスト 習得難易度 容易 容易 専門性は必要 高度な専門性が プログラミング
- 59. Excelがナレッジワークを変えてきた Low-Code?No-Code 技術 現場のエキスパートが 現場でオートメーションを実現 Microsoft Livestream @ HMI2021 What’s Next for Manufacturingより Satya Nadella : Microsoft & Alex Gorsky : Johnson & Johnson Low-Code, No-Code / RPA (End User Computing) コードを書かずとも出来るコトは多々ある!
- 61. それは PC で処理できない Big Data なんでしたっけ?
- 62. Microsoft Store
- 63. さいごに
- 64. ■参考ブログ記事 訪日外客数データで Power BI レポート作成（データクレンジング編） - Qiita 訪日外客数データで Power BI レポート作成（データ可視化 基本編） - Qiita 訪日外客数データで Power BI レポート作成（データ可視化 中級編） - Qiita 訪日外客数データで Power BI レポート作成（データ可視化 上級編） - Qiita データ分析におけるデータ可視化の極意 - Qiita ■利用データ ?訪日外客数データ（出典：日本政府観光局） 訪日外客数?出国日本人数データ｜統計?データ｜日本政府観光局（JNTO） ?世界人口データ（出典：UNFPA 世界人口白書 2022 年版の統計より） 世界人口ランキング?国別順位（2022年版） (memorva.jp) ?外国為替公示相場ヒストリカルデータ（出展：みずほ銀行） 為替相場情報 | みずほ銀行 (mizuhobank.co.jp) ?訪日外国人の国内流動データ（出展：国土交通省） 総合的な交通体系を目指して：集計データファイル - 国土交通省 (mlit.go.jp) テーブルリレーションイメージ
- 66. Step-by-Step Achievements スムーズな学習環境 ? 無料 ? 日本語対応 ? ブラウザーのみでOK ハンズオン環境も含めて ? ダウンロード可能なサンプ ルコード ? Product/Service, 技術レベル, job role, などに応じたガイダ ンス ? Video, チュートリアル, ハンズ オン ? スキルアップを促す ? ユーザー プロファイ ル毎に カスタマイズ www.microsoft.com/learn