狠狠撸

狠狠撸Share a Scribd company logo
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
1
ビッグデータ?アナリティクスへの取り組みをモダナイズする
~今、Hadoopを始めるためのチェックリスト8項目~
SAS Institute Japan Ltd.
Analytical Platform Practice
Izumi Kobayashi
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
MODERNIZE モダナイズ
mod?ern?ize
Verb
Adapt (something) to modern needs or habits,
typically by installing modern equipment or
adopting modern ideas or methods
【動詞】
新しい技術を導入したり、 あるいは、新しいアイデアや方
法を適用して、 新しいニーズや習慣に適応すること
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
3
アナリティクス環境のモダナイゼーションが求められている
顧客?市場?サービスの多様化
顧客?市場?競合の変化の加速
技術進化による利用可能データの増加
従来の技術ではコスト高
従来の技術では間に合わない
Hadoopの採用が加速している理由
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
4
1 Hadoopについて理解する
2 インメモリ?アナリティクスの活用を検討する
3 分析のためのデータ準備プロセスを見直す
4 データを探索し新しい洞察を得る
5 アドバンスト?アナリティクスについて理解する
6 テキスト?アナリティクスの本当の活用方法
7 アナリティクスでビジネス価値を生み出すために
8 スキルの評価
Hadoopを始めるために知っておくべきこと-チェックリスト8項目-
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
5
1. Hadoopについて理解する
Hadoopとは、安価なH/Wを並べることにより、非常に大量のデータ
を蓄積し、そのデータを並列に処理する技術?方法である
HDFS
分散ストレージ
YARN
リソース管理
Map
Reduce
データ処理
Pig,Hiveなど
データ処理
その他
データ処理
アナリティクス
Hadoopプラットフォーム
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
6
2.インメモリ?アナリティクスの活用を検討する
Map Reduceは、大規模バッチ処理を目的としており、I/O依存で、
決して“高速”ではない。対話的な分析やアドバンスト?アナリティクス
には向いておらず、インメモリ?アナリティクス技術が不可欠である
HDFS
分散ストレージ
インメモリ?アナリティクス基盤
インメモリ?アナリ
ティクス基盤
SMPアーキテクチャ分散並列アーキテクチャ
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
7
3.分析のためのデータ準備プロセスを見直す
EDWでは、あらかじめ整備されたデータを目的に沿って準備するのに
対しHadoopでは、とりえあえず格納し、使用する際に整備?加工?ク
レンジングする。分析者がHadoop上でデータ加工できることが重要
従来のアプローチ
整備された?繰り返し分析
ビッグデータに対するアプローチ
反復的&探索的分析
ビジネス?ユーザー
が「問い」を決める
IT部門が問いに
応えるためのデー
タを整備する
IT部門が、創造
的な発見のため
の基盤を提供す
る
ビジネスユーザー
はどのような「問
い」をすべきかを
探索する
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
8
4.データを探索し新しい洞察を得る
Hadoop上のビッグデータやAllデータに対して、データの品質、傾向
や関連性、重要性を即座に理解することが必要。IT部門の作業を
待つことなく、分析者自身で実施できる環境が求められる。
ビジュアライゼーション
インメモリ?アナリティクス
対話型
記述統計
セルフサービス
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
9
5.アドバンスト?アナリティクスについて理解する
ビッグデータをビジネス価値に変えるためには、単なる集計や記述統
計では不十分である。データマイニング、テキストマイニングや機械学
習といったアドバンスト?アナリティクスが必要となる。
アドバンスト?アナリティクスの例
? パターン検知
? 分類
? 予測
? レコメンデーション
? 最適化
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
10
6.テキスト?アナリティクスの本当の活用方法
Hadoopを採用する理由の一つとして、テキストデータを格納すること
が多い。これはHDFSの特徴から理にかなっている。多くの場合テキ
ストデータは予測モデリングのインプットにして初めて価値をもたらす
予測
モデリング
アクション レビュー構造化
データ
データ
準備
データ
探索
テキスト
データ
形態素
解析
タグ付
分類
顧客ID 属性 行動 行動
1
2
3
4
単なる前準備
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
11
7.アナリティクスでビジネス価値を生み出すために
ビッグデータアナリティクスからビジネス価値を生み出すためには、予測
モデルを用いてよりよい意思決定に繋がるアクションを実施する必要
がある。Hadoop内あるいは業務システムにスコアリング機能が必要
予測
モデル
予測
モデリング
最新の
データ
スコアリン
グ結果
アクション
スコアリング処理
例
? 解約予兆
? レコメンデーション
? 債権回収
? 故障予兆
? 営業活動最適化
? 与信管理
? 不正予兆
将来をより良い方向へ導くためのアクションのためのモデル
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
12
8.スキルの評価
ビッグデータ?アナリティクスによってビジネス価値を創出するためには、
プログラミング、コンピューター?サイエンス、モデリング、創造的な思考
やコミュニケーション能力など、多岐にわたるスキルが求められる。
そのすべてを一人で備えるケース(データ?サイエンティスト)はあまり多
くない。したがって、アナリティクス?チーム全体でこれらのスキルをカ
バーできていればよい。その場合に重要となるのは、「アナリティクス」
そのものの価値を良く理解しているリーダーである。
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
13
さいごに: ビッグデータ?アナリティクスを成功に導くマインドセット
従来の考え方
SCARCITY MINDSET
? 技術に縛られる
? 作業中心
? コスト削減に集中
? 許可が下りなければ
実行できない
新しいトレンド
ABUNDANT MINDSET
? 技術を活力にする
? 発見中心
? バリュー創出に集中
? 禁止されない限り実
行してよい
Copyr ight ? 2012, SAS Institute Inc. All rights reser ved.
14
お問い合わせ先
SAS Institute Japan マーケティング本部
JPNSASInfo@sas.com
Ad

Recommended

Rainbow
Rainbow
harmonylab
?
SASによるインメモリ分散並列処理 レコメンドプロシジャ入門
SASによるインメモリ分散並列処理 レコメンドプロシジャ入門
SAS Institute Japan
?
厂础厂による机械学习入门
厂础厂による机械学习入门
SAS Institute Japan
?
SAS Enterprise Minerを使用した機械学習
SAS Enterprise Minerを使用した機械学習
SAS Institute Japan
?
SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法
SAS Institute Japan
?
厂础厂と贬补诲辞辞辫との连携 2015
厂础厂と贬补诲辞辞辫との连携 2015
SAS Institute Japan
?
厂础厂によるテキスト?アナリティクス入门
厂础厂によるテキスト?アナリティクス入门
SAS Institute Japan
?
SAS High-Performance Analyticsによるビッグデータ解析
SAS High-Performance Analyticsによるビッグデータ解析
SAS Institute Japan
?
トレンドを探る AI と HPC の関係性
トレンドを探る AI と HPC の関係性
NVIDIA Japan
?
無料統計?予測分析ツールを提供:SAS Analytics U
無料統計?予測分析ツールを提供:SAS Analytics U
SAS Institute Japan
?
厂础厂と贬补诲辞辞辫との连携
厂础厂と贬补诲辞辞辫との连携
SAS Institute Japan
?
The Marketer's Guide To Customer Interviews
The Marketer's Guide To Customer Interviews
Good Funnel
?
Moneyball: Contra el olfato, la selección objetiva del talento.
Alejandro Roca
?
Stories About Spark, HPC and Barcelona by Jordi Torres
Stories About Spark, HPC and Barcelona by Jordi Torres
Spark Summit
?
Preservice Teachers' Writing Presentation at TESOL 2017
Preservice Teachers' Writing Presentation at TESOL 2017
Dr. Kate Mastruserio Reynolds
?
「こども保険」提言资料<概要>
「こども保険」提言资料<概要>
众议院议员
?
??????? ??????? ?????? ??????? ?? ?????? Work progress program step by step-b...
??????? ??????? ?????? ??????? ?? ?????? Work progress program step by step-b...
Juma Yousef J. Saleh ???? ???? ???? ????
?
Great optical illusions
Great optical illusions
Paul Sloane
?
Tobe a superstar programmer
Tobe a superstar programmer
Arif Huda
?
Postiglione meridionalismo all'olio d'oliva
Postiglione meridionalismo all'olio d'oliva
Alessio Postiglione
?
Basic Study for Erlang #1
Masahito Ikuta
?
Zica profile presentation
Zica profile presentation
ZICA ODISHA
?
现场の”今”を知る、これからのビッグデータ分析?活用のすすめ
现场の”今”を知る、これからのビッグデータ分析?活用のすすめ
yuji suzuki
?
【讲演资料】ビッグデータ时代の経営を支えるビジネスアナリティクスソリューション
【讲演资料】ビッグデータ时代の経営を支えるビジネスアナリティクスソリューション
Dell TechCenter Japan
?
避けては通れないビッグデータ周辺の重要课题
避けては通れないビッグデータ周辺の重要课题
kurikiyo
?
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
?
基调讲演:「多様化する情报を支える技术」/西川彻
基调讲演:「多様化する情报を支える技术」/西川彻
Preferred Networks
?
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤
Recruit Technologies
?
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
?

More Related Content

Viewers also liked (14)

トレンドを探る AI と HPC の関係性
トレンドを探る AI と HPC の関係性
NVIDIA Japan
?
無料統計?予測分析ツールを提供:SAS Analytics U
無料統計?予測分析ツールを提供:SAS Analytics U
SAS Institute Japan
?
厂础厂と贬补诲辞辞辫との连携
厂础厂と贬补诲辞辞辫との连携
SAS Institute Japan
?
The Marketer's Guide To Customer Interviews
The Marketer's Guide To Customer Interviews
Good Funnel
?
Moneyball: Contra el olfato, la selección objetiva del talento.
Alejandro Roca
?
Stories About Spark, HPC and Barcelona by Jordi Torres
Stories About Spark, HPC and Barcelona by Jordi Torres
Spark Summit
?
Preservice Teachers' Writing Presentation at TESOL 2017
Preservice Teachers' Writing Presentation at TESOL 2017
Dr. Kate Mastruserio Reynolds
?
「こども保険」提言资料<概要>
「こども保険」提言资料<概要>
众议院议员
?
??????? ??????? ?????? ??????? ?? ?????? Work progress program step by step-b...
??????? ??????? ?????? ??????? ?? ?????? Work progress program step by step-b...
Juma Yousef J. Saleh ???? ???? ???? ????
?
Great optical illusions
Great optical illusions
Paul Sloane
?
Tobe a superstar programmer
Tobe a superstar programmer
Arif Huda
?
Postiglione meridionalismo all'olio d'oliva
Postiglione meridionalismo all'olio d'oliva
Alessio Postiglione
?
Basic Study for Erlang #1
Masahito Ikuta
?
Zica profile presentation
Zica profile presentation
ZICA ODISHA
?
トレンドを探る AI と HPC の関係性
トレンドを探る AI と HPC の関係性
NVIDIA Japan
?
無料統計?予測分析ツールを提供:SAS Analytics U
無料統計?予測分析ツールを提供:SAS Analytics U
SAS Institute Japan
?
厂础厂と贬补诲辞辞辫との连携
厂础厂と贬补诲辞辞辫との连携
SAS Institute Japan
?
The Marketer's Guide To Customer Interviews
The Marketer's Guide To Customer Interviews
Good Funnel
?
Moneyball: Contra el olfato, la selección objetiva del talento.
Alejandro Roca
?
Stories About Spark, HPC and Barcelona by Jordi Torres
Stories About Spark, HPC and Barcelona by Jordi Torres
Spark Summit
?
Preservice Teachers' Writing Presentation at TESOL 2017
Preservice Teachers' Writing Presentation at TESOL 2017
Dr. Kate Mastruserio Reynolds
?
「こども保険」提言资料<概要>
「こども保険」提言资料<概要>
众议院议员
?
??????? ??????? ?????? ??????? ?? ?????? Work progress program step by step-b...
??????? ??????? ?????? ??????? ?? ?????? Work progress program step by step-b...
Juma Yousef J. Saleh ???? ???? ???? ????
?
Great optical illusions
Great optical illusions
Paul Sloane
?
Tobe a superstar programmer
Tobe a superstar programmer
Arif Huda
?
Postiglione meridionalismo all'olio d'oliva
Postiglione meridionalismo all'olio d'oliva
Alessio Postiglione
?
Basic Study for Erlang #1
Masahito Ikuta
?
Zica profile presentation
Zica profile presentation
ZICA ODISHA
?

Similar to 贬补诲辞辞辫でアナリティクス8チェックリスト (20)

现场の”今”を知る、これからのビッグデータ分析?活用のすすめ
现场の”今”を知る、これからのビッグデータ分析?活用のすすめ
yuji suzuki
?
【讲演资料】ビッグデータ时代の経営を支えるビジネスアナリティクスソリューション
【讲演资料】ビッグデータ时代の経営を支えるビジネスアナリティクスソリューション
Dell TechCenter Japan
?
避けては通れないビッグデータ周辺の重要课题
避けては通れないビッグデータ周辺の重要课题
kurikiyo
?
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
?
基调讲演:「多様化する情报を支える技术」/西川彻
基调讲演:「多様化する情报を支える技术」/西川彻
Preferred Networks
?
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤
Recruit Technologies
?
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
?
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
?
Converting big data into big value
Converting big data into big value
Yoshiyuki Ueda
?
Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112
Dennis Sugahara
?
Ki sales solutions 1
Ki sales solutions 1
koichi ikeda
?
tut_pfi_2012
tut_pfi_2012
Preferred Networks
?
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」/比戸将平
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」/比戸将平
Preferred Networks
?
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
Takumi Kurosawa
?
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
DataWorks Summit/Hadoop Summit
?
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Preferred Networks
?
リオ五轮でも活跃!「ハードワーク」から「スマートワーク」へ変革を支援する滨叠惭クラウド
リオ五轮でも活跃!「ハードワーク」から「スマートワーク」へ変革を支援する滨叠惭クラウド
Atsumori Sasaki
?
ビッグデータはバズワードか? (Cloudian Summit 2012)
ビッグデータはバズワードか? (Cloudian Summit 2012)
CLOUDIAN KK
?
ビッグデータ革命 クラウドがコモデティ化する「奇跡」
ビッグデータ革命 クラウドがコモデティ化する「奇跡」
Atsushi Nakada
?
现场の”今”を知る、これからのビッグデータ分析?活用のすすめ
现场の”今”を知る、これからのビッグデータ分析?活用のすすめ
yuji suzuki
?
【讲演资料】ビッグデータ时代の経営を支えるビジネスアナリティクスソリューション
【讲演资料】ビッグデータ时代の経営を支えるビジネスアナリティクスソリューション
Dell TechCenter Japan
?
避けては通れないビッグデータ周辺の重要课题
避けては通れないビッグデータ周辺の重要课题
kurikiyo
?
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
?
基调讲演:「多様化する情报を支える技术」/西川彻
基调讲演:「多様化する情报を支える技术」/西川彻
Preferred Networks
?
変わる!? リクルートグループのデータ解析基盤
変わる!? リクルートグループのデータ解析基盤
Recruit Technologies
?
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
?
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
?
Converting big data into big value
Converting big data into big value
Yoshiyuki Ueda
?
Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112
Dennis Sugahara
?
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」/比戸将平
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」/比戸将平
Preferred Networks
?
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
Takumi Kurosawa
?
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
DataWorks Summit/Hadoop Summit
?
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Preferred Networks
?
リオ五轮でも活跃!「ハードワーク」から「スマートワーク」へ変革を支援する滨叠惭クラウド
リオ五轮でも活跃!「ハードワーク」から「スマートワーク」へ変革を支援する滨叠惭クラウド
Atsumori Sasaki
?
ビッグデータはバズワードか? (Cloudian Summit 2012)
ビッグデータはバズワードか? (Cloudian Summit 2012)
CLOUDIAN KK
?
ビッグデータ革命 クラウドがコモデティ化する「奇跡」
ビッグデータ革命 クラウドがコモデティ化する「奇跡」
Atsushi Nakada
?
Ad

More from SAS Institute Japan (16)

SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料
SAS Institute Japan
?
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料
SAS Institute Japan
?
SAS Learning Subscription 登録手順
SAS Learning Subscription 登録手順
SAS Institute Japan
?
ディープラーニングは、时系列予测でも最强なのか?
ディープラーニングは、时系列予测でも最强なのか?
SAS Institute Japan
?
SAS Viyaのディープラーニングを用いた物体検出
SAS Viyaのディープラーニングを用いた物体検出
SAS Institute Japan
?
SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法
SAS Institute Japan
?
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化
SAS Institute Japan
?
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~
SAS Institute Japan
?
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~
SAS Institute Japan
?
SAS Viya Deep Dive: 予測モデリング
SAS Viya Deep Dive: 予測モデリング
SAS Institute Japan
?
SAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AI
SAS Institute Japan
?
SAS University Editionにおける日本語を含むファイルの取り扱い
SAS University Editionにおける日本語を含むファイルの取り扱い
SAS Institute Japan
?
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!
SAS Institute Japan
?
SAS Viya で異常検知してみよう!
SAS Viya で異常検知してみよう!
SAS Institute Japan
?
Pythonで操るSAS Viyaの画像処理技術入門編
Pythonで操るSAS Viyaの画像処理技術入門編
SAS Institute Japan
?
Python / R で使うSAS Viya
Python / R で使うSAS Viya
SAS Institute Japan
?
SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(2)」補足資料
SAS Institute Japan
?
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料
SAS Japan Blog 記事「統計的因果推論コラム(1)」補足資料
SAS Institute Japan
?
SAS Learning Subscription 登録手順
SAS Learning Subscription 登録手順
SAS Institute Japan
?
ディープラーニングは、时系列予测でも最强なのか?
ディープラーニングは、时系列予测でも最强なのか?
SAS Institute Japan
?
SAS Viyaのディープラーニングを用いた物体検出
SAS Viyaのディープラーニングを用いた物体検出
SAS Institute Japan
?
SAS OnDemand for Academics 登録方法
SAS OnDemand for Academics 登録方法
SAS Institute Japan
?
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化
SAS Visual Analytics 8.3 におけるクロス集計表の作成と可視化
SAS Institute Japan
?
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~
SAS Viyaによる意識改革からみえたData Scientistの生き方 ~僕たちはどう生きるか~
SAS Institute Japan
?
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~
SAS ViyaのCNNを活用したProcess Innovation ~機械は解析図表をどう見ているのか~
SAS Institute Japan
?
SAS Viya Deep Dive: 予測モデリング
SAS Viya Deep Dive: 予測モデリング
SAS Institute Japan
?
SAS Viya Deep Dive: 自然言語処理&AI
SAS Viya Deep Dive: 自然言語処理&AI
SAS Institute Japan
?
SAS University Editionにおける日本語を含むファイルの取り扱い
SAS University Editionにおける日本語を含むファイルの取り扱い
SAS Institute Japan
?
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!
SAS言語派集まれ!SAS StudioからSAS Viyaを使ってみよう!
SAS Institute Japan
?
SAS Viya で異常検知してみよう!
SAS Viya で異常検知してみよう!
SAS Institute Japan
?
Pythonで操るSAS Viyaの画像処理技術入門編
Pythonで操るSAS Viyaの画像処理技術入門編
SAS Institute Japan
?
Ad

贬补诲辞辞辫でアナリティクス8チェックリスト

  • 1. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 1 ビッグデータ?アナリティクスへの取り組みをモダナイズする ~今、Hadoopを始めるためのチェックリスト8項目~ SAS Institute Japan Ltd. Analytical Platform Practice Izumi Kobayashi
  • 2. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. MODERNIZE モダナイズ mod?ern?ize Verb Adapt (something) to modern needs or habits, typically by installing modern equipment or adopting modern ideas or methods 【動詞】 新しい技術を導入したり、 あるいは、新しいアイデアや方 法を適用して、 新しいニーズや習慣に適応すること
  • 3. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 3 アナリティクス環境のモダナイゼーションが求められている 顧客?市場?サービスの多様化 顧客?市場?競合の変化の加速 技術進化による利用可能データの増加 従来の技術ではコスト高 従来の技術では間に合わない Hadoopの採用が加速している理由
  • 4. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 4 1 Hadoopについて理解する 2 インメモリ?アナリティクスの活用を検討する 3 分析のためのデータ準備プロセスを見直す 4 データを探索し新しい洞察を得る 5 アドバンスト?アナリティクスについて理解する 6 テキスト?アナリティクスの本当の活用方法 7 アナリティクスでビジネス価値を生み出すために 8 スキルの評価 Hadoopを始めるために知っておくべきこと-チェックリスト8項目-
  • 5. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 5 1. Hadoopについて理解する Hadoopとは、安価なH/Wを並べることにより、非常に大量のデータ を蓄積し、そのデータを並列に処理する技術?方法である HDFS 分散ストレージ YARN リソース管理 Map Reduce データ処理 Pig,Hiveなど データ処理 その他 データ処理 アナリティクス Hadoopプラットフォーム
  • 6. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 6 2.インメモリ?アナリティクスの活用を検討する Map Reduceは、大規模バッチ処理を目的としており、I/O依存で、 決して“高速”ではない。対話的な分析やアドバンスト?アナリティクス には向いておらず、インメモリ?アナリティクス技術が不可欠である HDFS 分散ストレージ インメモリ?アナリティクス基盤 インメモリ?アナリ ティクス基盤 SMPアーキテクチャ分散並列アーキテクチャ
  • 7. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 7 3.分析のためのデータ準備プロセスを見直す EDWでは、あらかじめ整備されたデータを目的に沿って準備するのに 対しHadoopでは、とりえあえず格納し、使用する際に整備?加工?ク レンジングする。分析者がHadoop上でデータ加工できることが重要 従来のアプローチ 整備された?繰り返し分析 ビッグデータに対するアプローチ 反復的&探索的分析 ビジネス?ユーザー が「問い」を決める IT部門が問いに 応えるためのデー タを整備する IT部門が、創造 的な発見のため の基盤を提供す る ビジネスユーザー はどのような「問 い」をすべきかを 探索する
  • 8. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 8 4.データを探索し新しい洞察を得る Hadoop上のビッグデータやAllデータに対して、データの品質、傾向 や関連性、重要性を即座に理解することが必要。IT部門の作業を 待つことなく、分析者自身で実施できる環境が求められる。 ビジュアライゼーション インメモリ?アナリティクス 対話型 記述統計 セルフサービス
  • 9. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 9 5.アドバンスト?アナリティクスについて理解する ビッグデータをビジネス価値に変えるためには、単なる集計や記述統 計では不十分である。データマイニング、テキストマイニングや機械学 習といったアドバンスト?アナリティクスが必要となる。 アドバンスト?アナリティクスの例 ? パターン検知 ? 分類 ? 予測 ? レコメンデーション ? 最適化
  • 10. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 10 6.テキスト?アナリティクスの本当の活用方法 Hadoopを採用する理由の一つとして、テキストデータを格納すること が多い。これはHDFSの特徴から理にかなっている。多くの場合テキ ストデータは予測モデリングのインプットにして初めて価値をもたらす 予測 モデリング アクション レビュー構造化 データ データ 準備 データ 探索 テキスト データ 形態素 解析 タグ付 分類 顧客ID 属性 行動 行動 1 2 3 4 単なる前準備
  • 11. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 11 7.アナリティクスでビジネス価値を生み出すために ビッグデータアナリティクスからビジネス価値を生み出すためには、予測 モデルを用いてよりよい意思決定に繋がるアクションを実施する必要 がある。Hadoop内あるいは業務システムにスコアリング機能が必要 予測 モデル 予測 モデリング 最新の データ スコアリン グ結果 アクション スコアリング処理 例 ? 解約予兆 ? レコメンデーション ? 債権回収 ? 故障予兆 ? 営業活動最適化 ? 与信管理 ? 不正予兆 将来をより良い方向へ導くためのアクションのためのモデル
  • 12. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 12 8.スキルの評価 ビッグデータ?アナリティクスによってビジネス価値を創出するためには、 プログラミング、コンピューター?サイエンス、モデリング、創造的な思考 やコミュニケーション能力など、多岐にわたるスキルが求められる。 そのすべてを一人で備えるケース(データ?サイエンティスト)はあまり多 くない。したがって、アナリティクス?チーム全体でこれらのスキルをカ バーできていればよい。その場合に重要となるのは、「アナリティクス」 そのものの価値を良く理解しているリーダーである。
  • 13. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 13 さいごに: ビッグデータ?アナリティクスを成功に導くマインドセット 従来の考え方 SCARCITY MINDSET ? 技術に縛られる ? 作業中心 ? コスト削減に集中 ? 許可が下りなければ 実行できない 新しいトレンド ABUNDANT MINDSET ? 技術を活力にする ? 発見中心 ? バリュー創出に集中 ? 禁止されない限り実 行してよい
  • 14. Copyr ight ? 2012, SAS Institute Inc. All rights reser ved. 14 お問い合わせ先 SAS Institute Japan マーケティング本部 JPNSASInfo@sas.com