狠狠撸

狠狠撸Share a Scribd company logo
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
IBM Watson Developer Cloudのアプリケーションログを可視化する
2017.4.27
クリエーションライン株式会社 シニアコンサルタント
木内 満歳
Bluemix User Group ミートアップ in Watson Summit 2017
1
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
自己紹介 木内 満歳(きうち みつとし)
クリエーションライン株式会社 シニアコンサルタント
狠狠撸share: http://www.slideshare.net/mkiuchi4
各種寄稿
a. gihyo.jp: “Mesosphere DCOSでつくるクラウドアプリケーション”
b. 日経クラウドファースト2016年6月 “Azure IoT Suiteの評価”
c. Codezine: “機械学習をクラウドで手軽に体験! BluemixのApache Sparkで異常
なセンサーデータを洗い出す”
各種講演
a. Developer Summit 2016 Summer
b. 日経BP社 “パブリッククラウド導入の企画提案力養成講座”
c. Cloudweek Hokkaido 2015/2016
d. 政策研究大学院大学 科学技術イノベーション政策研究センター
「科学技術イノベーション政策のための科学オープンフォーラム」
専門分野:Apache Mesos, Apache Spark, 分散コンピューティング, クラウドコンピューテ
ィング, NoSQL DB, グラフDB
O’reilley Certified Developer on Apache Spark
Docker Certified Technical Trainer
2
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
クリエーションライン株式会社
3
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
主な取り扱い製品
クラウド基盤?アジャイル開発支援
データ分析基盤
4
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
人材募集中です
? クリエーションラインでは「われこそは!」という人材を募集しています
– クラウド?Docker
– IoT
– データ分析
– DevOps/構成自動化(Chefなど)
https://www.creationline.com/recruit
5
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
本題:
IBM Watson Developer Cloudのアプリケーションログを可視化する
6
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
本題:
IBM Watson Developer Cloudのアプリケーションログを可視化する
???って要するにどういうこと?
7
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
Watson Developer Cloud
8
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
Elastic{ON} 2016キーノートにて
9
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
本題:
IBM Watson Developer Cloudのアプリケーションログを可視化する
つまりWatsonのログはElasticsearch
で管理されている???が
10
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
Watsonのコンポーネント
11
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
Watsonのコンポーネント
ユーザから見えるログはない
12
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
本題:
IBM Watson Developer Cloudのアプリケーションログを可視化する
終了
???だとあまりに悲しいので
13
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
Elastic{ON} 2016キーノートにて
14
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
Elastic{ON} 2016キーノートにて
この人
15
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
Elastic{ON} 2016キーノートにて
Jason McGee
IBM Fellow, VP and CTO,
IBM Cloud Platform
IBM CloudにおけるElasticsearchの活用事例は3つある。
① Watson Developer Cloudでの活用
② IBM Twitter Insights for Bluemixでの利用
③ IBM Bluemix multi-tenancyでの利用
16
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
IBM Twitter Insights for Bluemix
17
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
IBM Bluemix multi-tenancy
18
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
本題:
IBM Watson Developer Cloudのアプリケーションログを可視化する
IBM Bluemix multi-tenancyでコンテナのログを可視化する
19
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
改めて IBM Bluemix multi-tenancy
20
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
改めて IBM Bluemix multi-tenancy
つまりBluemixコンテナのログ出力が
勝手にElasticsearchに蓄積され
Kibanaで可視化できる仕組み
?ここはユーザが作る ?ここはBluemixがいい感じに勝手に作ってくれる
21
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
これの何がいいのか?
[kiuchi@x1carbon ~]$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
2689449a3b60 mkiuchicl/frontend-centos7 "/start.sh" 9 seconds ago Up 7 seconds 0.0.0.0:32768->22/tcp tiny_allen
[kiuchi@x1carbon ~]$ docker logs 2689449a3b60
ADD user account
Changing password for user root.
passwd: all authentication tokens updated successfully.
start sshd
--------------------
SSH PASSWORD - please change immediately
username: root , password: e988ce764e3bad34ddac957e6e64e83e5424af97
--------------------
[kiuchi@x1carbon ~]$
通常Dockerコンテナのログは
“docker logs” コマンドで見る。
見るためにはコンテナIDを指定する必要
がある
22
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
これの何がいいのか?
[kiuchi@x1carbon ~]$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
2689449a3b60 mkiuchicl/frontend-centos7 "/start.sh" 9 seconds ago Up 7 seconds 0.0.0.0:32768->22/tcp tiny_allen
[kiuchi@x1carbon ~]$ docker logs 2689449a3b60
ADD user account
Changing password for user root.
passwd: all authentication tokens updated successfully.
start sshd
--------------------
SSH PASSWORD - please change immediately
username: root , password: e988ce764e3bad34ddac957e6e64e83e5424af97
--------------------
[kiuchi@x1carbon ~]$
通常Dockerコンテナのログは
“docker logs” コマンドで見る。
見るためにはコンテナIDを指定する必要
がある
数個ならまだ手作業で
なんとかなる
数10個でもスクリプト
などを組んだりrsyslog
で集約すれば???
検索は気合のgrep
で???
数100個になったら???
大量のログの中からキーワー
ド検索するには???
ログ集約?スケーラブルな検索の必要性
23
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
実際にやってみましょう
24
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
実際にやってみましょう
25
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
実際にやってみましょう
26
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
ログとして記録されるもの
? time(ログのタイムスタンプ)
? timestamp(elasticsearchに記録された日時)
? ALCH_TENANT_ID
? group_id
? host(コンテナのホスト, コンテナ名ではない)
? instance
? log(ログ本体)
? message(JSON化されたパースされる前のデータ)
? path
? stream(stdout, stderr)
27
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
syslogっぽく出すことも可能
28
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved
まとめ
? BluemixではElasticsearchを活用したサービスが提供されています
– Twitterのツイート検索ができる “IBM Twitter Insights for Bluemix”
– Bluemixコンテナのログ管理ができる “IBM Bluemix multi-tenancy”
?“IBM Bluemix multi-tenancy”はコンテナを作成すると勝手にelasticsearch,
kibanaのセットが作成され、ログを集約し、検索することができるように
なります
29
Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 30
Ad

Recommended

(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
Mitsutoshi Kiuchi
?
(2017.6.9) Neo4jの可視化ライブラリまとめ
(2017.6.9) Neo4jの可視化ライブラリまとめ
Mitsutoshi Kiuchi
?
Spark summit 2016 recap
Spark summit 2016 recap
Mitsutoshi Kiuchi
?
狈别辞4箩谤产における翱骋惭
狈别辞4箩谤产における翱骋惭
takabes00
?
[db tech showcase Tokyo 2017] D25: データの分析や解析の前に必要となる「データ準備」とは。データ?プレパレーション?プラ...
[db tech showcase Tokyo 2017] D25: データの分析や解析の前に必要となる「データ準備」とは。データ?プレパレーション?プラ...
Insight Technology, Inc.
?
Bluemixとapache sparkでできる io tデータの収集と分析
Bluemixとapache sparkでできる io tデータの収集と分析
Mitsutoshi Kiuchi
?
(2017.9.7) Neo4jご紹介
(2017.9.7) Neo4jご紹介
Mitsutoshi Kiuchi
?
(2017.8.27) Elasticsearchと科学技術ビッグデータが切り拓く日本の知の俯瞰と発見
(2017.8.27) Elasticsearchと科学技術ビッグデータが切り拓く日本の知の俯瞰と発見
Mitsutoshi Kiuchi
?
异次元のグラフデータベース狈别辞4箩
异次元のグラフデータベース狈别辞4箩
昌桓 李
?
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
Naoki Yonezu
?
滨辞罢におけるクラウドインフラからサーバサイドまでの概要的な话
滨辞罢におけるクラウドインフラからサーバサイドまでの概要的な话
Terui Masashi
?
[ML15]Class Cat佐々木さん「いち早く人工知能テクノロジーを取り入れた製品?サービスを市場に展開するには?」
[ML15]Class Cat佐々木さん「いち早く人工知能テクノロジーを取り入れた製品?サービスを市場に展開するには?」
AINOW
?
IBM cloud 冬の勉強会 google の視点も織り交ぜ理解するkubernetes , istio , grafeas とibm cloud pr...
IBM cloud 冬の勉強会 google の視点も織り交ぜ理解するkubernetes , istio , grafeas とibm cloud pr...
Tsuyoshi Hirayama
?
Atlassian Summit Europe 2017の参加報告(Aug Tokyo #22)
Atlassian Summit Europe 2017の参加報告(Aug Tokyo #22)
Hiroshi Ohnuki
?
[Japan Tech summit 2017] CLD 005
[Japan Tech summit 2017] CLD 005
Microsoft Tech Summit 2017
?
20150704 MS Azure最新 - innovation egg 第4回
20150704 MS Azure最新 - innovation egg 第4回
Keiji Kamebuchi
?
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
Daichi Ogawa
?
[Japan Tech summit 2017] SEC 005
[Japan Tech summit 2017] SEC 005
Microsoft Tech Summit 2017
?
叠濒耻别尘颈虫(狈辞诲别-搁贰顿)を使った空间の付加価値提案
叠濒耻别尘颈虫(狈辞诲别-搁贰顿)を使った空间の付加価値提案
BMXUG
?
HashiCorp Terraform Enterprise 紹介
HashiCorp Terraform Enterprise 紹介
hashicorpjp
?
[DevSumi2019]Cloud Native アプリケーションに最適!Oracle Cloud Infrastructureの魅力!
[DevSumi2019]Cloud Native アプリケーションに最適!Oracle Cloud Infrastructureの魅力!
オラクルエンジニア通信
?
[Japan Tech summit 2017] PRD 009
[Japan Tech summit 2017] PRD 009
Microsoft Tech Summit 2017
?
[Livesence Tech Night] グリーにおけるHiveの運用
[Livesence Tech Night] グリーにおけるHiveの運用
gree_tech
?
[Japan Tech summit 2017] CLD 021
[Japan Tech summit 2017] CLD 021
Microsoft Tech Summit 2017
?
Siderご紹介スライド@第2回 GitHub Enterprise ユーサ?会
Siderご紹介スライド@第2回 GitHub Enterprise ユーサ?会
Koichiro Sumi
?
クラウドネイティブトランスフォーメーションのススメ
クラウドネイティブトランスフォーメーションのススメ
Hiromasa Oka
?
[Japan Tech summit 2017] CLD 001
[Japan Tech summit 2017] CLD 001
Microsoft Tech Summit 2017
?
IBM Cloud Private の全貌 (Kubernetesベース)
IBM Cloud Private の全貌 (Kubernetesベース)
capsmalt
?
ハイブリッドクラウドを构成するマイクロソフトテクノロジーへの取组み
ハイブリッドクラウドを构成するマイクロソフトテクノロジーへの取组み
エクイニクス?ジャパン
?
翱辫别苍厂迟补肠办ベースのハイブリッド?クラウドで変わる滨罢の姿
翱辫别苍厂迟补肠办ベースのハイブリッド?クラウドで変わる滨罢の姿
Shinichiro Arai
?

More Related Content

What's hot (19)

异次元のグラフデータベース狈别辞4箩
异次元のグラフデータベース狈别辞4箩
昌桓 李
?
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
Naoki Yonezu
?
滨辞罢におけるクラウドインフラからサーバサイドまでの概要的な话
滨辞罢におけるクラウドインフラからサーバサイドまでの概要的な话
Terui Masashi
?
[ML15]Class Cat佐々木さん「いち早く人工知能テクノロジーを取り入れた製品?サービスを市場に展開するには?」
[ML15]Class Cat佐々木さん「いち早く人工知能テクノロジーを取り入れた製品?サービスを市場に展開するには?」
AINOW
?
IBM cloud 冬の勉強会 google の視点も織り交ぜ理解するkubernetes , istio , grafeas とibm cloud pr...
IBM cloud 冬の勉強会 google の視点も織り交ぜ理解するkubernetes , istio , grafeas とibm cloud pr...
Tsuyoshi Hirayama
?
Atlassian Summit Europe 2017の参加報告(Aug Tokyo #22)
Atlassian Summit Europe 2017の参加報告(Aug Tokyo #22)
Hiroshi Ohnuki
?
[Japan Tech summit 2017] CLD 005
[Japan Tech summit 2017] CLD 005
Microsoft Tech Summit 2017
?
20150704 MS Azure最新 - innovation egg 第4回
20150704 MS Azure最新 - innovation egg 第4回
Keiji Kamebuchi
?
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
Daichi Ogawa
?
[Japan Tech summit 2017] SEC 005
[Japan Tech summit 2017] SEC 005
Microsoft Tech Summit 2017
?
叠濒耻别尘颈虫(狈辞诲别-搁贰顿)を使った空间の付加価値提案
叠濒耻别尘颈虫(狈辞诲别-搁贰顿)を使った空间の付加価値提案
BMXUG
?
HashiCorp Terraform Enterprise 紹介
HashiCorp Terraform Enterprise 紹介
hashicorpjp
?
[DevSumi2019]Cloud Native アプリケーションに最適!Oracle Cloud Infrastructureの魅力!
[DevSumi2019]Cloud Native アプリケーションに最適!Oracle Cloud Infrastructureの魅力!
オラクルエンジニア通信
?
[Japan Tech summit 2017] PRD 009
[Japan Tech summit 2017] PRD 009
Microsoft Tech Summit 2017
?
[Livesence Tech Night] グリーにおけるHiveの運用
[Livesence Tech Night] グリーにおけるHiveの運用
gree_tech
?
[Japan Tech summit 2017] CLD 021
[Japan Tech summit 2017] CLD 021
Microsoft Tech Summit 2017
?
Siderご紹介スライド@第2回 GitHub Enterprise ユーサ?会
Siderご紹介スライド@第2回 GitHub Enterprise ユーサ?会
Koichiro Sumi
?
クラウドネイティブトランスフォーメーションのススメ
クラウドネイティブトランスフォーメーションのススメ
Hiromasa Oka
?
[Japan Tech summit 2017] CLD 001
[Japan Tech summit 2017] CLD 001
Microsoft Tech Summit 2017
?
异次元のグラフデータベース狈别辞4箩
异次元のグラフデータベース狈别辞4箩
昌桓 李
?
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
Naoki Yonezu
?
滨辞罢におけるクラウドインフラからサーバサイドまでの概要的な话
滨辞罢におけるクラウドインフラからサーバサイドまでの概要的な话
Terui Masashi
?
[ML15]Class Cat佐々木さん「いち早く人工知能テクノロジーを取り入れた製品?サービスを市場に展開するには?」
[ML15]Class Cat佐々木さん「いち早く人工知能テクノロジーを取り入れた製品?サービスを市場に展開するには?」
AINOW
?
IBM cloud 冬の勉強会 google の視点も織り交ぜ理解するkubernetes , istio , grafeas とibm cloud pr...
IBM cloud 冬の勉強会 google の視点も織り交ぜ理解するkubernetes , istio , grafeas とibm cloud pr...
Tsuyoshi Hirayama
?
Atlassian Summit Europe 2017の参加報告(Aug Tokyo #22)
Atlassian Summit Europe 2017の参加報告(Aug Tokyo #22)
Hiroshi Ohnuki
?
20150704 MS Azure最新 - innovation egg 第4回
20150704 MS Azure最新 - innovation egg 第4回
Keiji Kamebuchi
?
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
[hccjp#2] 忖度なし!自社にあったハイブリッドクラウドの選び方
Daichi Ogawa
?
叠濒耻别尘颈虫(狈辞诲别-搁贰顿)を使った空间の付加価値提案
叠濒耻别尘颈虫(狈辞诲别-搁贰顿)を使った空间の付加価値提案
BMXUG
?
HashiCorp Terraform Enterprise 紹介
HashiCorp Terraform Enterprise 紹介
hashicorpjp
?
[DevSumi2019]Cloud Native アプリケーションに最適!Oracle Cloud Infrastructureの魅力!
[DevSumi2019]Cloud Native アプリケーションに最適!Oracle Cloud Infrastructureの魅力!
オラクルエンジニア通信
?
[Livesence Tech Night] グリーにおけるHiveの運用
[Livesence Tech Night] グリーにおけるHiveの運用
gree_tech
?
Siderご紹介スライド@第2回 GitHub Enterprise ユーサ?会
Siderご紹介スライド@第2回 GitHub Enterprise ユーサ?会
Koichiro Sumi
?
クラウドネイティブトランスフォーメーションのススメ
クラウドネイティブトランスフォーメーションのススメ
Hiromasa Oka
?

Similar to (2017.4.27) IBM watson developer cloudのアプリケーションログを可視化する (20)

IBM Cloud Private の全貌 (Kubernetesベース)
IBM Cloud Private の全貌 (Kubernetesベース)
capsmalt
?
ハイブリッドクラウドを构成するマイクロソフトテクノロジーへの取组み
ハイブリッドクラウドを构成するマイクロソフトテクノロジーへの取组み
エクイニクス?ジャパン
?
翱辫别苍厂迟补肠办ベースのハイブリッド?クラウドで変わる滨罢の姿
翱辫别苍厂迟补肠办ベースのハイブリッド?クラウドで変わる滨罢の姿
Shinichiro Arai
?
Cloud Satelliteで実現する分散クラウド時代のIBM Blockchain Platform Anywhereとエコシステム | 日本アイ?ビ...
Cloud Satelliteで実現する分散クラウド時代のIBM Blockchain Platform Anywhereとエコシステム | 日本アイ?ビ...
blockchainexe
?
BlockchainEXE_IBM特集 Cloud Satelliteて?実現する分散クラウト?時代のIBM Blockchain Platform An...
BlockchainEXE_IBM特集 Cloud Satelliteて?実現する分散クラウト?時代のIBM Blockchain Platform An...
Tsuyoshi Hirayama
?
2016/4/16 Softlayer Bluemix Community Festa 2016講演資料
2016/4/16 Softlayer Bluemix Community Festa 2016講演資料
Mitsutoshi Kiuchi
?
IBM bluemix api connect によるAPIエコノミーの実現 20170426
IBM bluemix api connect によるAPIエコノミーの実現 20170426
Tsuyoshi Hirayama
?
2017秋「クラウドファースト時代における基幹業務システム開発革新セミナー」 超高速開発を実現するIBMクラウドの最新情報ご紹介2017
2017秋「クラウドファースト時代における基幹業務システム開発革新セミナー」 超高速開発を実現するIBMクラウドの最新情報ご紹介2017
Tsuyoshi Hirayama
?
叠濒耻别尘颈虫の概要とアフ?リの作り方
叠濒耻别尘颈虫の概要とアフ?リの作り方
BMXUG
?
Amazon kinesisて?広か?るリアルタイムテ?ータフ?ロセッシンク?とその未来
Amazon kinesisて?広か?るリアルタイムテ?ータフ?ロセッシンク?とその未来
Shinpei Ohtani
?
Bluemix Top10 サービス解体新書
Bluemix Top10 サービス解体新書
softlayerjp
?
Logic of blockchain and quantum computing on ibm cloud platform
Logic of blockchain and quantum computing on ibm cloud platform
Tsuyoshi Hirayama
?
Blockchain EXE #1ブロックチェーン技術の可能性について解説|IBMコンサルティング?アーキテクト 平山毅
Blockchain EXE #1ブロックチェーン技術の可能性について解説|IBMコンサルティング?アーキテクト 平山毅
blockchainexe
?
Microsoft open tech night 2020 feb18
Microsoft open tech night 2020 feb18
Masatomo Ito
?
[AWS Developers Meetup 2017] Developerのための ライブAWSウォークスルー ? AWS SDKの使い方 ?
[AWS Developers Meetup 2017] Developerのための ライブAWSウォークスルー ? AWS SDKの使い方 ?
Atsushi Fukui
?
K8s-icp-capsmalt-jjugccc2018spring
K8s-icp-capsmalt-jjugccc2018spring
capsmalt
?
[AWS Summit 2012] 事例セッション #2 Bascule Meets AWS! クラウドが加速させる デジタルクリエイションの世界
[AWS Summit 2012] 事例セッション #2 Bascule Meets AWS! クラウドが加速させる デジタルクリエイションの世界
Amazon Web Services Japan
?
AWS SUMMIT TOKYO 2012 - BASCULE SESSION
AWS SUMMIT TOKYO 2012 - BASCULE SESSION
Mariko Nishimura
?
Kube con + cloudnativecon 2017 社内報告会(外部公開用)
Kube con + cloudnativecon 2017 社内報告会(外部公開用)
Masaya Aoyama
?
叠耻颈濒诲碍颈迟の概要と最近の机能
叠耻颈濒诲碍颈迟の概要と最近の机能
Kohei Tokunaga
?
IBM Cloud Private の全貌 (Kubernetesベース)
IBM Cloud Private の全貌 (Kubernetesベース)
capsmalt
?
ハイブリッドクラウドを构成するマイクロソフトテクノロジーへの取组み
ハイブリッドクラウドを构成するマイクロソフトテクノロジーへの取组み
エクイニクス?ジャパン
?
翱辫别苍厂迟补肠办ベースのハイブリッド?クラウドで変わる滨罢の姿
翱辫别苍厂迟补肠办ベースのハイブリッド?クラウドで変わる滨罢の姿
Shinichiro Arai
?
Cloud Satelliteで実現する分散クラウド時代のIBM Blockchain Platform Anywhereとエコシステム | 日本アイ?ビ...
Cloud Satelliteで実現する分散クラウド時代のIBM Blockchain Platform Anywhereとエコシステム | 日本アイ?ビ...
blockchainexe
?
BlockchainEXE_IBM特集 Cloud Satelliteて?実現する分散クラウト?時代のIBM Blockchain Platform An...
BlockchainEXE_IBM特集 Cloud Satelliteて?実現する分散クラウト?時代のIBM Blockchain Platform An...
Tsuyoshi Hirayama
?
2016/4/16 Softlayer Bluemix Community Festa 2016講演資料
2016/4/16 Softlayer Bluemix Community Festa 2016講演資料
Mitsutoshi Kiuchi
?
IBM bluemix api connect によるAPIエコノミーの実現 20170426
IBM bluemix api connect によるAPIエコノミーの実現 20170426
Tsuyoshi Hirayama
?
2017秋「クラウドファースト時代における基幹業務システム開発革新セミナー」 超高速開発を実現するIBMクラウドの最新情報ご紹介2017
2017秋「クラウドファースト時代における基幹業務システム開発革新セミナー」 超高速開発を実現するIBMクラウドの最新情報ご紹介2017
Tsuyoshi Hirayama
?
叠濒耻别尘颈虫の概要とアフ?リの作り方
叠濒耻别尘颈虫の概要とアフ?リの作り方
BMXUG
?
Amazon kinesisて?広か?るリアルタイムテ?ータフ?ロセッシンク?とその未来
Amazon kinesisて?広か?るリアルタイムテ?ータフ?ロセッシンク?とその未来
Shinpei Ohtani
?
Bluemix Top10 サービス解体新書
Bluemix Top10 サービス解体新書
softlayerjp
?
Logic of blockchain and quantum computing on ibm cloud platform
Logic of blockchain and quantum computing on ibm cloud platform
Tsuyoshi Hirayama
?
Blockchain EXE #1ブロックチェーン技術の可能性について解説|IBMコンサルティング?アーキテクト 平山毅
Blockchain EXE #1ブロックチェーン技術の可能性について解説|IBMコンサルティング?アーキテクト 平山毅
blockchainexe
?
Microsoft open tech night 2020 feb18
Microsoft open tech night 2020 feb18
Masatomo Ito
?
[AWS Developers Meetup 2017] Developerのための ライブAWSウォークスルー ? AWS SDKの使い方 ?
[AWS Developers Meetup 2017] Developerのための ライブAWSウォークスルー ? AWS SDKの使い方 ?
Atsushi Fukui
?
K8s-icp-capsmalt-jjugccc2018spring
K8s-icp-capsmalt-jjugccc2018spring
capsmalt
?
[AWS Summit 2012] 事例セッション #2 Bascule Meets AWS! クラウドが加速させる デジタルクリエイションの世界
[AWS Summit 2012] 事例セッション #2 Bascule Meets AWS! クラウドが加速させる デジタルクリエイションの世界
Amazon Web Services Japan
?
AWS SUMMIT TOKYO 2012 - BASCULE SESSION
AWS SUMMIT TOKYO 2012 - BASCULE SESSION
Mariko Nishimura
?
Kube con + cloudnativecon 2017 社内報告会(外部公開用)
Kube con + cloudnativecon 2017 社内報告会(外部公開用)
Masaya Aoyama
?
叠耻颈濒诲碍颈迟の概要と最近の机能
叠耻颈濒诲碍颈迟の概要と最近の机能
Kohei Tokunaga
?
Ad

(2017.4.27) IBM watson developer cloudのアプリケーションログを可視化する

  • 1. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved IBM Watson Developer Cloudのアプリケーションログを可視化する 2017.4.27 クリエーションライン株式会社 シニアコンサルタント 木内 満歳 Bluemix User Group ミートアップ in Watson Summit 2017 1
  • 2. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 自己紹介 木内 満歳(きうち みつとし) クリエーションライン株式会社 シニアコンサルタント 狠狠撸share: http://www.slideshare.net/mkiuchi4 各種寄稿 a. gihyo.jp: “Mesosphere DCOSでつくるクラウドアプリケーション” b. 日経クラウドファースト2016年6月 “Azure IoT Suiteの評価” c. Codezine: “機械学習をクラウドで手軽に体験! BluemixのApache Sparkで異常 なセンサーデータを洗い出す” 各種講演 a. Developer Summit 2016 Summer b. 日経BP社 “パブリッククラウド導入の企画提案力養成講座” c. Cloudweek Hokkaido 2015/2016 d. 政策研究大学院大学 科学技術イノベーション政策研究センター 「科学技術イノベーション政策のための科学オープンフォーラム」 専門分野:Apache Mesos, Apache Spark, 分散コンピューティング, クラウドコンピューテ ィング, NoSQL DB, グラフDB O’reilley Certified Developer on Apache Spark Docker Certified Technical Trainer 2
  • 3. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved クリエーションライン株式会社 3
  • 4. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 主な取り扱い製品 クラウド基盤?アジャイル開発支援 データ分析基盤 4
  • 5. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 人材募集中です ? クリエーションラインでは「われこそは!」という人材を募集しています – クラウド?Docker – IoT – データ分析 – DevOps/構成自動化(Chefなど) https://www.creationline.com/recruit 5
  • 6. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 本題: IBM Watson Developer Cloudのアプリケーションログを可視化する 6
  • 7. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 本題: IBM Watson Developer Cloudのアプリケーションログを可視化する ???って要するにどういうこと? 7
  • 8. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved Watson Developer Cloud 8
  • 9. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved Elastic{ON} 2016キーノートにて 9
  • 10. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 本題: IBM Watson Developer Cloudのアプリケーションログを可視化する つまりWatsonのログはElasticsearch で管理されている???が 10
  • 11. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved Watsonのコンポーネント 11
  • 12. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved Watsonのコンポーネント ユーザから見えるログはない 12
  • 13. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 本題: IBM Watson Developer Cloudのアプリケーションログを可視化する 終了 ???だとあまりに悲しいので 13
  • 14. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved Elastic{ON} 2016キーノートにて 14
  • 15. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved Elastic{ON} 2016キーノートにて この人 15
  • 16. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved Elastic{ON} 2016キーノートにて Jason McGee IBM Fellow, VP and CTO, IBM Cloud Platform IBM CloudにおけるElasticsearchの活用事例は3つある。 ① Watson Developer Cloudでの活用 ② IBM Twitter Insights for Bluemixでの利用 ③ IBM Bluemix multi-tenancyでの利用 16
  • 17. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved IBM Twitter Insights for Bluemix 17
  • 18. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved IBM Bluemix multi-tenancy 18
  • 19. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 本題: IBM Watson Developer Cloudのアプリケーションログを可視化する IBM Bluemix multi-tenancyでコンテナのログを可視化する 19
  • 20. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 改めて IBM Bluemix multi-tenancy 20
  • 21. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 改めて IBM Bluemix multi-tenancy つまりBluemixコンテナのログ出力が 勝手にElasticsearchに蓄積され Kibanaで可視化できる仕組み ?ここはユーザが作る ?ここはBluemixがいい感じに勝手に作ってくれる 21
  • 22. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved これの何がいいのか? [kiuchi@x1carbon ~]$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 2689449a3b60 mkiuchicl/frontend-centos7 "/start.sh" 9 seconds ago Up 7 seconds 0.0.0.0:32768->22/tcp tiny_allen [kiuchi@x1carbon ~]$ docker logs 2689449a3b60 ADD user account Changing password for user root. passwd: all authentication tokens updated successfully. start sshd -------------------- SSH PASSWORD - please change immediately username: root , password: e988ce764e3bad34ddac957e6e64e83e5424af97 -------------------- [kiuchi@x1carbon ~]$ 通常Dockerコンテナのログは “docker logs” コマンドで見る。 見るためにはコンテナIDを指定する必要 がある 22
  • 23. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved これの何がいいのか? [kiuchi@x1carbon ~]$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 2689449a3b60 mkiuchicl/frontend-centos7 "/start.sh" 9 seconds ago Up 7 seconds 0.0.0.0:32768->22/tcp tiny_allen [kiuchi@x1carbon ~]$ docker logs 2689449a3b60 ADD user account Changing password for user root. passwd: all authentication tokens updated successfully. start sshd -------------------- SSH PASSWORD - please change immediately username: root , password: e988ce764e3bad34ddac957e6e64e83e5424af97 -------------------- [kiuchi@x1carbon ~]$ 通常Dockerコンテナのログは “docker logs” コマンドで見る。 見るためにはコンテナIDを指定する必要 がある 数個ならまだ手作業で なんとかなる 数10個でもスクリプト などを組んだりrsyslog で集約すれば??? 検索は気合のgrep で??? 数100個になったら??? 大量のログの中からキーワー ド検索するには??? ログ集約?スケーラブルな検索の必要性 23
  • 24. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 実際にやってみましょう 24
  • 25. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 実際にやってみましょう 25
  • 26. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 実際にやってみましょう 26
  • 27. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved ログとして記録されるもの ? time(ログのタイムスタンプ) ? timestamp(elasticsearchに記録された日時) ? ALCH_TENANT_ID ? group_id ? host(コンテナのホスト, コンテナ名ではない) ? instance ? log(ログ本体) ? message(JSON化されたパースされる前のデータ) ? path ? stream(stdout, stderr) 27
  • 28. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved syslogっぽく出すことも可能 28
  • 29. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved まとめ ? BluemixではElasticsearchを活用したサービスが提供されています – Twitterのツイート検索ができる “IBM Twitter Insights for Bluemix” – Bluemixコンテナのログ管理ができる “IBM Bluemix multi-tenancy” ?“IBM Bluemix multi-tenancy”はコンテナを作成すると勝手にelasticsearch, kibanaのセットが作成され、ログを集約し、検索することができるように なります 29
  • 30. Copyright ?2017 CREATIONLINE, INC. All Rights Reserved 30