狠狠撸

狠狠撸Share a Scribd company logo
KubernetesでRedisを使うときの
選択肢
2018年8月17日 Adtech Developer Conference 2018
アドテクスタジオ BrandAI 山田直行
自己紹介
山田直行(やまだ なおゆき)
2011年6月入社 CAアメリカ、AMoAdで広告関連プロダクトに従事
2015年6月?2017年5月 公務員として勤務するため休職
復職後、LiveDSPサーバーエンジニアを経て現在BrandAI開発責任者
「簡単につかえる」
「スループット高い」
「レイテンシが低い」
「永続化もできる」
→Redisが候補になるが、GCP(東京)にはRedisのマネージドサービスは無い
→どんな選択肢があるか検討
Kubernetesで手頃なKVSを使いたいときどうする?
BrandAIでのRedis
ウェブAPIからのリクエストを受けて、セッションを読み書きする用途に利用
Kubernetes上で、Redis Clusterを組んでいる(1年ほど稼働中)
Statefulsetとしてデプロイし、Master x 3, Slave x 3の6Pod構成
これでは冗長性が低いので、Slaveを倍にしてMaster x3, Slave x 6 (計9Pod)に変更
どれかのPodが落ちたときに再起動はするが自動でクラスタにジョインしてくれないという
問題があった(本来はそうではないので調査中)。
単なるキャッシュストレージにしては費用が高い印象もあったのと、障害時の運用も明確
でなかったので、Redisの使い方を再検討
方針
?GCPかつKubernetesを想定(AWSならElasticacheで決まり?)
?運用コストを減らしたい。学習コストが低く運用が楽であること
?HA構成をとりたい(深夜にノードが落ちたとしても自動で復旧してほしい。マネージド
サービスライクに使える)
?BrandAIとしてはそこまでパフォーマンス最適化しなくてもよい。1万RPSぐらいさばけれ
ばひとまず十分
?ただし簡単なオペレーションでスケールアップまたはスケールアウトができる
?できれば費用を安く抑えたい
選択肢の洗い出し
(A)Compute Engine上にRedis専用のインスタンス
(B)マネージドサービスのMemoryStoreを使う
(C)SaaS/PaaSを使う
(D)Kubernetes Engine上に作る
(A) Compute Engine上にRedis専用のインスタンス
?LiveDSPはこれだった。
?ただしHA構成には未対応で、1インスタンスで1つのRedisプロセスがあっただけだった。
落ちたことは無かったが...
?SentinelとかClusterにする場合、どう組んで運用するかは別途考える必要がある。
Kubernetes中心の運用とは相容れない
?同一リージョンに置けば、レイテンシは無視できるレベル
?単体インスタンスのため、スループットのチューニングはしやすい
(B) Google Cloud MemoryStoreを使う
?待望のGCPのマネージドサービス。2018年5月から提供開始
?ただし2018年8月現在、東京リージョン非対応
?台湾リージョンにはあるが、指定したネットワーク内にPrivateIPでしかつなげないため、
東京リージョンで構築しているサービスからつなぐのは非現実的
?monitor, saveなどを含むいくつかのコマンドが無効化されている。カスタムビルドか
?手動でフェイルオーバーさせる方法が見つからず、フェイルオーバーは試験できてない
(C) SaaSを使う
?今回は試してない
?Redis Enterprise(Hayabusaはこれ使ってるらしい), AWSのElastiCacheとか
?費用請求が別なのが地味に面倒
?GCPのMarketplaceは将来的には選択肢に入ってくると思う。Bitnamiとか昔からある
が、トラブったときにかえってめんどくさい。完全に任せられる(かつ実績もある)か、自分
自身で運用するか、のどっちかに振る必要がある
(D) Kubernetes Engine上に作る
(1)単体構成
(2)Master-Slave構成
(3)Redis Sentinel
(4)Redis Cluster
の4パターンで検討
(1)単体構成
とりあえず仮って感じで一番手っ取り早い形
apiVersion: v1
kind: Pod
metadata:
name: some-redis
labels:
name: some-redis
spec:
containers:
- image: launcher.gcr.io/google/redis4
name: redis
これを kubectl apply する。
これにPersistentVolumeClaimを加えたりとか、Deploymentにしたりとかする
※シンプルすぎるようにも見えるが、GCE上に単体構成するとしたらこれと大して変わらない
https://github.com/GoogleCloudPlatform/redis-docker/blob/master/4/README.md
(2)Master-Slave構成
https://github.com/helm/charts/tree/master/stable/redis
Redis-Master
(ClusterIP)
Redis-Slave
(ClusterIP)
Redis Master
(Stetefulset)
Redis Slave
(Deployment)Redis Slave
(Deployment)Redis Slave
(Deployment)
Service
Pod 落ちてもフェイル
オーバーはしな
い。再起動するだ
けだが、PVCがあ
るため永続化され
たデータは復活す
る
(3)Redis Sentinel
Redis Sentinelとは:
Master-Slave構成をとりつつ、SentinelというプロセスがMasterを監視していて、Masterの
ダウンを検知するとSentinelが自動でSlaveをMasterに昇格させる
https://github.com/helm/charts/tree/master/stable/redis-ha
Redis-Master
(ClusterIP)
Redis-Slave
(ClusterIP)
Redis
(Deployment)
Redis Sentinel
(Deployment)
Service
Pod
Redis-Sentinel
(ClusterIP)
Redis Sentinel
(Deployment)Redis Sentinel
(Deployment)
Redis
(Deployment)Redis
(Deployment)
selector
redis-role=master
selector
redis-role=slave
3つのPodのうち、
1つがmaster、2つ
がslave。動的に変
わる
Sentinelは3台以
上で構成し、過半
数の投票でフェイ
ルオーバーを判断
する
監視
Helmとは?
Kubernetesのパッケージマネージャ
service, deploymentなどのYAMLファイルとそのパラメータをパッケージ化したもの
(チャートという)
helm init # サーバー?クライアントでhelmを初期化
helm repo update # レポジトリを更新
helm search foo # fooチャートを検索
helm install foo # fooチャートをインストール
helm delete foo # fooチャートを削除
ローカルにあるチャートの適用もできる
(4)Redis Cluster
Master Slave構成を1セットとして、それを3Master以上で構成する
Redis Cluster入門 - Qiita https://qiita.com/uryyyyyyy/items/fc767f7f41144e5f10a1
公式なソリューションはない。OSSからいくつか検証している状態
下記のChartは安定して動作するのを確認
https://github.com/sanderploegsma/redis-cluster
RedisCluster-0
(Stetefulset)
Service
(Headless)
Pod
master x 3, slave
x 3の構成
どれか落ちても自
動でフェイルオー
バーして自己復旧
する
RedisCluster-1
(Stetefulset)
RedisCluster-2
(Stetefulset)
RedisCluster-3
(Stetefulset)
RedisCluster-4
(Stetefulset)
RedisCluster-5
(Stetefulset)
どこに接続しても、Hash
Slotに基づいて適切な
masterノードにルーティ
ングされる
Redis Clusterの課題
?バックアップをクラスタ単位ではとれない。rdbファイルを各マスタで取得しておく形にな
るが、リストアに関するベストプラクティスがまだなさそう?
?クラスタが自動でセットアップされるわけではない。デプロイ後、クラスタ初期化のとき
や、ノードを増やす際には手動でコマンド実行が必要
?こういった作業を自動化するKubernetesのフレームワークとしてOperatorがある
Operator Frameworkとは
Kubernetes上で動くアプリケーションをパッケージ化し、デプロイ?管理をしてくれるフレー
ムワーク
Prometheus OperatorはBrandAIでも本番で使っている
https://github.com/operator-framework
Redis Operatorを使ってみる
https://github.com/spotahome/redis-operator
helm install --name redisfailover charts/redisoperator
kubectl create -f example/redisfailover/all-options.yaml
自動化されすぎて、ここまで来ると仕組みがわからず内部の実装を追うのもつらい。
ある程度実績が増えてきてこなれてこないと本番投入は難しい。
まとめ
?パフォーマンス要件の上限が見えているのであればSentinel
(どうしても頭打ちになったら分割で頑張る)
?ひたすらスケールさせていきたいのであればCluster

More Related Content

What's hot (20)

顿辞肠办别谤と笔辞诲尘补苍の比较
顿辞肠办别谤と笔辞诲尘补苍の比较顿辞肠办别谤と笔辞诲尘补苍の比较
顿辞肠办别谤と笔辞诲尘补苍の比较
Akihiro Suda
?
分散トレーシンク?技術について(Open tracingやjaeger)
分散トレーシンク?技術について(Open tracingやjaeger)分散トレーシンク?技術について(Open tracingやjaeger)
分散トレーシンク?技術について(Open tracingやjaeger)
NTT Communications Technology Development
?
滨蝉迟颈辞サービスメッシュ入门
滨蝉迟颈辞サービスメッシュ入门滨蝉迟颈辞サービスメッシュ入门
滨蝉迟颈辞サービスメッシュ入门
Yoichi Kawasaki
?
地理分散顿叠について
地理分散顿叠について地理分散顿叠について
地理分散顿叠について
Kumazaki Hiroki
?
碍耻产别谤苍别迟别蝉による机械学习基盘への挑戦
碍耻产别谤苍别迟别蝉による机械学习基盘への挑戦碍耻产别谤苍别迟别蝉による机械学习基盘への挑戦
碍耻产别谤苍别迟别蝉による机械学习基盘への挑戦
Preferred Networks
?
実運用して分かったRabbit MQの良いところ?気をつけること #jjug
実運用して分かったRabbit MQの良いところ?気をつけること #jjug実運用して分かったRabbit MQの良いところ?気をつけること #jjug
実運用して分かったRabbit MQの良いところ?気をつけること #jjug
驰补丑辞辞!デベロッパーネットワーク
?
碍耻产别谤苍别迟别蝉バックアップツール痴别濒别谤辞とちょっとした苦労话
碍耻产别谤苍别迟别蝉バックアップツール痴别濒别谤辞とちょっとした苦労话碍耻产别谤苍别迟别蝉バックアップツール痴别濒别谤辞とちょっとした苦労话
碍耻产别谤苍别迟别蝉バックアップツール痴别濒别谤辞とちょっとした苦労话
imurata8203
?
Amazon EKS への道 ~ EKS 再入門 ~
Amazon EKS への道 ~ EKS 再入門 ~Amazon EKS への道 ~ EKS 再入門 ~
Amazon EKS への道 ~ EKS 再入門 ~
Hideaki Aoyagi
?
贵补谤驳补迟别を使いこなす!肠谤别补迟颈补のインフラを支える技术について
贵补谤驳补迟别を使いこなす!肠谤别补迟颈补のインフラを支える技术について贵补谤驳补迟别を使いこなす!肠谤别补迟颈补のインフラを支える技术について
贵补谤驳补迟别を使いこなす!肠谤别补迟颈补のインフラを支える技术について
虎の穴 開発室
?
はじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタ
はじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタはじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタ
はじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタ
Satoyuki Tsukano
?
本当は恐ろしい分散システムの话
本当は恐ろしい分散システムの话本当は恐ろしい分散システムの话
本当は恐ろしい分散システムの话
Kumazaki Hiroki
?
惭测厂蚕尝の文字コード事情
惭测厂蚕尝の文字コード事情惭测厂蚕尝の文字コード事情
惭测厂蚕尝の文字コード事情
Masahiro Tomita
?
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
?
Cognitive Complexity でコードの複雑さを定量的に計測しよう
Cognitive Complexity でコードの複雑さを定量的に計測しようCognitive Complexity でコードの複雑さを定量的に計測しよう
Cognitive Complexity でコードの複雑さを定量的に計測しよう
Shuto Suzuki
?
惭补驳颈肠翱苍颈辞苍~颁#でゲームサーバを开発しよう~
惭补驳颈肠翱苍颈辞苍~颁#でゲームサーバを开発しよう~惭补驳颈肠翱苍颈辞苍~颁#でゲームサーバを开発しよう~
惭补驳颈肠翱苍颈辞苍~颁#でゲームサーバを开発しよう~
torisoup
?
今话题のいろいろなコンテナランタイムを比较してみた
今话题のいろいろなコンテナランタイムを比较してみた今话题のいろいろなコンテナランタイムを比较してみた
今话题のいろいろなコンテナランタイムを比较してみた
Kohei Tokunaga
?
インフラエンシ?ニアの綺丽て?优しい手顺书の书き方
インフラエンシ?ニアの綺丽て?优しい手顺书の书き方インフラエンシ?ニアの綺丽て?优しい手顺书の书き方
インフラエンシ?ニアの綺丽て?优しい手顺书の书き方
Shohei Koyama
?
分散トレーシング础奥厂:齿-搁补测との上手い付き合い方
分散トレーシング础奥厂:齿-搁补测との上手い付き合い方分散トレーシング础奥厂:齿-搁补测との上手い付き合い方
分散トレーシング础奥厂:齿-搁补测との上手い付き合い方
Recruit Lifestyle Co., Ltd.
?
叠耻颈濒诲碍颈迟による高速でセキュアなイメージビルド
叠耻颈濒诲碍颈迟による高速でセキュアなイメージビルド叠耻颈濒诲碍颈迟による高速でセキュアなイメージビルド
叠耻颈濒诲碍颈迟による高速でセキュアなイメージビルド
Akihiro Suda
?
ヤフー社内でやってる惭测厂蚕尝チューニングセミナー大公开
ヤフー社内でやってる惭测厂蚕尝チューニングセミナー大公开ヤフー社内でやってる惭测厂蚕尝チューニングセミナー大公开
ヤフー社内でやってる惭测厂蚕尝チューニングセミナー大公开
驰补丑辞辞!デベロッパーネットワーク
?
顿辞肠办别谤と笔辞诲尘补苍の比较
顿辞肠办别谤と笔辞诲尘补苍の比较顿辞肠办别谤と笔辞诲尘补苍の比较
顿辞肠办别谤と笔辞诲尘补苍の比较
Akihiro Suda
?
滨蝉迟颈辞サービスメッシュ入门
滨蝉迟颈辞サービスメッシュ入门滨蝉迟颈辞サービスメッシュ入门
滨蝉迟颈辞サービスメッシュ入门
Yoichi Kawasaki
?
地理分散顿叠について
地理分散顿叠について地理分散顿叠について
地理分散顿叠について
Kumazaki Hiroki
?
碍耻产别谤苍别迟别蝉による机械学习基盘への挑戦
碍耻产别谤苍别迟别蝉による机械学习基盘への挑戦碍耻产别谤苍别迟别蝉による机械学习基盘への挑戦
碍耻产别谤苍别迟别蝉による机械学习基盘への挑戦
Preferred Networks
?
碍耻产别谤苍别迟别蝉バックアップツール痴别濒别谤辞とちょっとした苦労话
碍耻产别谤苍别迟别蝉バックアップツール痴别濒别谤辞とちょっとした苦労话碍耻产别谤苍别迟别蝉バックアップツール痴别濒别谤辞とちょっとした苦労话
碍耻产别谤苍别迟别蝉バックアップツール痴别濒别谤辞とちょっとした苦労话
imurata8203
?
Amazon EKS への道 ~ EKS 再入門 ~
Amazon EKS への道 ~ EKS 再入門 ~Amazon EKS への道 ~ EKS 再入門 ~
Amazon EKS への道 ~ EKS 再入門 ~
Hideaki Aoyagi
?
贵补谤驳补迟别を使いこなす!肠谤别补迟颈补のインフラを支える技术について
贵补谤驳补迟别を使いこなす!肠谤别补迟颈补のインフラを支える技术について贵补谤驳补迟别を使いこなす!肠谤别补迟颈补のインフラを支える技术について
贵补谤驳补迟别を使いこなす!肠谤别补迟颈补のインフラを支える技术について
虎の穴 開発室
?
はじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタ
はじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタはじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタ
はじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタ
Satoyuki Tsukano
?
本当は恐ろしい分散システムの话
本当は恐ろしい分散システムの话本当は恐ろしい分散システムの话
本当は恐ろしい分散システムの话
Kumazaki Hiroki
?
惭测厂蚕尝の文字コード事情
惭测厂蚕尝の文字コード事情惭测厂蚕尝の文字コード事情
惭测厂蚕尝の文字コード事情
Masahiro Tomita
?
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
?
Cognitive Complexity でコードの複雑さを定量的に計測しよう
Cognitive Complexity でコードの複雑さを定量的に計測しようCognitive Complexity でコードの複雑さを定量的に計測しよう
Cognitive Complexity でコードの複雑さを定量的に計測しよう
Shuto Suzuki
?
惭补驳颈肠翱苍颈辞苍~颁#でゲームサーバを开発しよう~
惭补驳颈肠翱苍颈辞苍~颁#でゲームサーバを开発しよう~惭补驳颈肠翱苍颈辞苍~颁#でゲームサーバを开発しよう~
惭补驳颈肠翱苍颈辞苍~颁#でゲームサーバを开発しよう~
torisoup
?
今话题のいろいろなコンテナランタイムを比较してみた
今话题のいろいろなコンテナランタイムを比较してみた今话题のいろいろなコンテナランタイムを比较してみた
今话题のいろいろなコンテナランタイムを比较してみた
Kohei Tokunaga
?
インフラエンシ?ニアの綺丽て?优しい手顺书の书き方
インフラエンシ?ニアの綺丽て?优しい手顺书の书き方インフラエンシ?ニアの綺丽て?优しい手顺书の书き方
インフラエンシ?ニアの綺丽て?优しい手顺书の书き方
Shohei Koyama
?
分散トレーシング础奥厂:齿-搁补测との上手い付き合い方
分散トレーシング础奥厂:齿-搁补测との上手い付き合い方分散トレーシング础奥厂:齿-搁补测との上手い付き合い方
分散トレーシング础奥厂:齿-搁补测との上手い付き合い方
Recruit Lifestyle Co., Ltd.
?
叠耻颈濒诲碍颈迟による高速でセキュアなイメージビルド
叠耻颈濒诲碍颈迟による高速でセキュアなイメージビルド叠耻颈濒诲碍颈迟による高速でセキュアなイメージビルド
叠耻颈濒诲碍颈迟による高速でセキュアなイメージビルド
Akihiro Suda
?

Similar to 碍耻产别谤苍别迟别蝉で搁别诲颈蝉を使うときの选択肢 (20)

Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCDataSendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
CData Software Japan
?
碍顿顿滨か?考える顾客へ本当の価値を届けるための开発手法
碍顿顿滨か?考える顾客へ本当の価値を届けるための开発手法碍顿顿滨か?考える顾客へ本当の価値を届けるための开発手法
碍顿顿滨か?考える顾客へ本当の価値を届けるための开発手法
Tsubasa Hirota
?
Cloud Foundry Summit 2017 Recap
Cloud Foundry Summit 2017 RecapCloud Foundry Summit 2017 Recap
Cloud Foundry Summit 2017 Recap
Shinya Sasaki
?
20190117 teamup
20190117 teamup20190117 teamup
20190117 teamup
Katsuhiro Honda
?
ヘット?レスCMS調査 Strapiを試してみた
ヘット?レスCMS調査 Strapiを試してみたヘット?レスCMS調査 Strapiを試してみた
ヘット?レスCMS調査 Strapiを試してみた
SosukeYamada
?
Another works_リート?エンシ?ニア向け採用資料.pdf
Another works_リート?エンシ?ニア向け採用資料.pdfAnother works_リート?エンシ?ニア向け採用資料.pdf
Another works_リート?エンシ?ニア向け採用資料.pdf
ssuseree1665
?
CData Drivers for PCA 概要
CData Drivers for PCA 概要CData Drivers for PCA 概要
CData Drivers for PCA 概要
CData Software Japan
?
Smfl20201001
Smfl20201001Smfl20201001
Smfl20201001
三井住友ファイナンス&リース デジタル開発室
?
组织のチェンジマネジメント-叠迟辞叠マーケティング勉强会20180724
组织のチェンジマネジメント-叠迟辞叠マーケティング勉强会20180724组织のチェンジマネジメント-叠迟辞叠マーケティング勉强会20180724
组织のチェンジマネジメント-叠迟辞叠マーケティング勉强会20180724
kaorut0430
?
【入门】3时间でアプリ公开!ゼロからのプログラミング搁补颈濒蝉讲座
【入门】3时间でアプリ公开!ゼロからのプログラミング搁补颈濒蝉讲座【入门】3时间でアプリ公开!ゼロからのプログラミング搁补颈濒蝉讲座
【入门】3时间でアプリ公开!ゼロからのプログラミング搁补颈濒蝉讲座
DIVE INTO CODE Corp.
?
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせますSHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
Nanae Matsushima
?
アイテ?アを形にする ③3時間て?アフ?リ公開!セ?ロからのフ?ロク?ラミンク?講座
アイテ?アを形にする  ③3時間て?アフ?リ公開!セ?ロからのフ?ロク?ラミンク?講座アイテ?アを形にする  ③3時間て?アフ?リ公開!セ?ロからのフ?ロク?ラミンク?講座
アイテ?アを形にする ③3時間て?アフ?リ公開!セ?ロからのフ?ロク?ラミンク?講座
DIVE INTO CODE Corp.
?
20180814 serv des.2018_sd_nmeetup_share
20180814 serv des.2018_sd_nmeetup_share20180814 serv des.2018_sd_nmeetup_share
20180814 serv des.2018_sd_nmeetup_share
Service Design Network Japan Chapter
?
scrum_fest_osaka_2020
scrum_fest_osaka_2020scrum_fest_osaka_2020
scrum_fest_osaka_2020
Naomichi Shimazu
?
础笔滨に関するセッション资料
础笔滨に関するセッション资料础笔滨に関するセッション资料
础笔滨に関するセッション资料
CData Software Japan
?
【17-顿-1】今どきのアーキテクチャを现场の立场で斩る
【17-顿-1】今どきのアーキテクチャを现场の立场で斩る【17-顿-1】今どきのアーキテクチャを现场の立场で斩る
【17-顿-1】今どきのアーキテクチャを现场の立场で斩る
Developers Summit
?
厂迟谤颈辫别を1年使ってみて思ったこと
厂迟谤颈辫别を1年使ってみて思ったこと厂迟谤颈辫别を1年使ってみて思ったこと
厂迟谤颈辫别を1年使ってみて思ったこと
tomoaki koshi
?
AWS における Microservices Architecture と DevOps を推進する組織と人とツール
AWS における Microservices Architecture と DevOps を推進する組織と人とツールAWS における Microservices Architecture と DevOps を推進する組織と人とツール
AWS における Microservices Architecture と DevOps を推進する組織と人とツール
Amazon Web Services Japan
?
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
Mitsutoshi Kiuchi
?
2017 roadmap
2017 roadmap2017 roadmap
2017 roadmap
CData Software Japan
?
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCDataSendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
Sendai it commune 03 スポーツジムとダンベルと連携ソリューションとCData
CData Software Japan
?
碍顿顿滨か?考える顾客へ本当の価値を届けるための开発手法
碍顿顿滨か?考える顾客へ本当の価値を届けるための开発手法碍顿顿滨か?考える顾客へ本当の価値を届けるための开発手法
碍顿顿滨か?考える顾客へ本当の価値を届けるための开発手法
Tsubasa Hirota
?
Cloud Foundry Summit 2017 Recap
Cloud Foundry Summit 2017 RecapCloud Foundry Summit 2017 Recap
Cloud Foundry Summit 2017 Recap
Shinya Sasaki
?
ヘット?レスCMS調査 Strapiを試してみた
ヘット?レスCMS調査 Strapiを試してみたヘット?レスCMS調査 Strapiを試してみた
ヘット?レスCMS調査 Strapiを試してみた
SosukeYamada
?
Another works_リート?エンシ?ニア向け採用資料.pdf
Another works_リート?エンシ?ニア向け採用資料.pdfAnother works_リート?エンシ?ニア向け採用資料.pdf
Another works_リート?エンシ?ニア向け採用資料.pdf
ssuseree1665
?
组织のチェンジマネジメント-叠迟辞叠マーケティング勉强会20180724
组织のチェンジマネジメント-叠迟辞叠マーケティング勉强会20180724组织のチェンジマネジメント-叠迟辞叠マーケティング勉强会20180724
组织のチェンジマネジメント-叠迟辞叠マーケティング勉强会20180724
kaorut0430
?
【入门】3时间でアプリ公开!ゼロからのプログラミング搁补颈濒蝉讲座
【入门】3时间でアプリ公开!ゼロからのプログラミング搁补颈濒蝉讲座【入门】3时间でアプリ公开!ゼロからのプログラミング搁补颈濒蝉讲座
【入门】3时间でアプリ公开!ゼロからのプログラミング搁补颈濒蝉讲座
DIVE INTO CODE Corp.
?
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせますSHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
SHANON Marketing Conference 2017_シャノンも選んだTableauがあなたの会社のデータを語らせます
Nanae Matsushima
?
アイテ?アを形にする ③3時間て?アフ?リ公開!セ?ロからのフ?ロク?ラミンク?講座
アイテ?アを形にする  ③3時間て?アフ?リ公開!セ?ロからのフ?ロク?ラミンク?講座アイテ?アを形にする  ③3時間て?アフ?リ公開!セ?ロからのフ?ロク?ラミンク?講座
アイテ?アを形にする ③3時間て?アフ?リ公開!セ?ロからのフ?ロク?ラミンク?講座
DIVE INTO CODE Corp.
?
础笔滨に関するセッション资料
础笔滨に関するセッション资料础笔滨に関するセッション资料
础笔滨に関するセッション资料
CData Software Japan
?
【17-顿-1】今どきのアーキテクチャを现场の立场で斩る
【17-顿-1】今どきのアーキテクチャを现场の立场で斩る【17-顿-1】今どきのアーキテクチャを现场の立场で斩る
【17-顿-1】今どきのアーキテクチャを现场の立场で斩る
Developers Summit
?
厂迟谤颈辫别を1年使ってみて思ったこと
厂迟谤颈辫别を1年使ってみて思ったこと厂迟谤颈辫别を1年使ってみて思ったこと
厂迟谤颈辫别を1年使ってみて思ったこと
tomoaki koshi
?
AWS における Microservices Architecture と DevOps を推進する組織と人とツール
AWS における Microservices Architecture と DevOps を推進する組織と人とツールAWS における Microservices Architecture と DevOps を推進する組織と人とツール
AWS における Microservices Architecture と DevOps を推進する組織と人とツール
Amazon Web Services Japan
?
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
Mitsutoshi Kiuchi
?

More from Naoyuki Yamada (18)

いわき情报技术研究会20170513
いわき情报技术研究会20170513いわき情报技术研究会20170513
いわき情报技术研究会20170513
Naoyuki Yamada
?
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
Naoyuki Yamada
?
东北罢别肠丑道场郡山20151031
东北罢别肠丑道场郡山20151031东北罢别肠丑道场郡山20151031
东北罢别肠丑道场郡山20151031
Naoyuki Yamada
?
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
Naoyuki Yamada
?
Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
Naoyuki Yamada
?
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social GraphCAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
Naoyuki Yamada
?
Adtech College#7 GitHubを中心とした開発フロー
Adtech College#7 GitHubを中心とした開発フローAdtech College#7 GitHubを中心とした開発フロー
Adtech College#7 GitHubを中心とした開発フロー
Naoyuki Yamada
?
ElasticSearch勉強会 第6回
ElasticSearch勉強会 第6回ElasticSearch勉強会 第6回
ElasticSearch勉強会 第6回
Naoyuki Yamada
?
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale DatasetsCAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
Naoyuki Yamada
?
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
Naoyuki Yamada
?
株式会社サイバーエージェント アドテクスタジオの技術と開発
株式会社サイバーエージェント アドテクスタジオの技術と開発株式会社サイバーエージェント アドテクスタジオの技術と開発
株式会社サイバーエージェント アドテクスタジオの技術と開発
Naoyuki Yamada
?
Functional Programming in Scala Reading #2
Functional Programming in Scala Reading #2Functional Programming in Scala Reading #2
Functional Programming in Scala Reading #2
Naoyuki Yamada
?
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまでCode for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
Naoyuki Yamada
?
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作るJAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
Naoyuki Yamada
?
社内勉强会:ソーシャルゲームのデータベース设计入门
社内勉强会:ソーシャルゲームのデータベース设计入门社内勉强会:ソーシャルゲームのデータベース设计入门
社内勉强会:ソーシャルゲームのデータベース设计入门
Naoyuki Yamada
?
データマイニング+奥贰叠勉强会资料第6回
データマイニング+奥贰叠勉强会资料第6回データマイニング+奥贰叠勉强会资料第6回
データマイニング+奥贰叠勉强会资料第6回
Naoyuki Yamada
?
Social Web Japan Vol.3 "Social Application and their support services"
Social Web Japan Vol.3 "Social Application and their support services"Social Web Japan Vol.3 "Social Application and their support services"
Social Web Japan Vol.3 "Social Application and their support services"
Naoyuki Yamada
?
ソーシャルアプリ业界を构成する中间サービスたち
ソーシャルアプリ业界を构成する中间サービスたちソーシャルアプリ业界を构成する中间サービスたち
ソーシャルアプリ业界を构成する中间サービスたち
Naoyuki Yamada
?
いわき情报技术研究会20170513
いわき情报技术研究会20170513いわき情报技术研究会20170513
いわき情报技术研究会20170513
Naoyuki Yamada
?
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
浪江町タブレットで採用した、 Cordovaで作るHTML5のAndroidアプリのしくみ
Naoyuki Yamada
?
东北罢别肠丑道场郡山20151031
东北罢别肠丑道场郡山20151031东北罢别肠丑道场郡山20151031
东北罢别肠丑道场郡山20151031
Naoyuki Yamada
?
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
AWSからOpenStack, Chef SoloからChef Serverに インフラを置き換えた事例の紹介
Naoyuki Yamada
?
Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析
Naoyuki Yamada
?
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social GraphCAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
CAジャーナルクラブ TAO: Facebook’s Distributed Data Store for the Social Graph
Naoyuki Yamada
?
Adtech College#7 GitHubを中心とした開発フロー
Adtech College#7 GitHubを中心とした開発フローAdtech College#7 GitHubを中心とした開発フロー
Adtech College#7 GitHubを中心とした開発フロー
Naoyuki Yamada
?
ElasticSearch勉強会 第6回
ElasticSearch勉強会 第6回ElasticSearch勉強会 第6回
ElasticSearch勉強会 第6回
Naoyuki Yamada
?
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale DatasetsCAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
CAジャーナルクラブ Dremel: Interactive Analysis of Web-Scale Datasets
Naoyuki Yamada
?
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
ADTECH COLLEGE #2 近い将来、開発責任者になるあなたへ
Naoyuki Yamada
?
株式会社サイバーエージェント アドテクスタジオの技術と開発
株式会社サイバーエージェント アドテクスタジオの技術と開発株式会社サイバーエージェント アドテクスタジオの技術と開発
株式会社サイバーエージェント アドテクスタジオの技術と開発
Naoyuki Yamada
?
Functional Programming in Scala Reading #2
Functional Programming in Scala Reading #2Functional Programming in Scala Reading #2
Functional Programming in Scala Reading #2
Naoyuki Yamada
?
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまでCode for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
Code for Japan 勉強会 Vol.1 CKAN入門 プロジェクトのFork、デプロイ、CIまで
Naoyuki Yamada
?
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作るJAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
JAWS-2013-LT 10000req/secを50msecで返すサーバーインフラをAWSで作る
Naoyuki Yamada
?
社内勉强会:ソーシャルゲームのデータベース设计入门
社内勉强会:ソーシャルゲームのデータベース设计入门社内勉强会:ソーシャルゲームのデータベース设计入门
社内勉强会:ソーシャルゲームのデータベース设计入门
Naoyuki Yamada
?
データマイニング+奥贰叠勉强会资料第6回
データマイニング+奥贰叠勉强会资料第6回データマイニング+奥贰叠勉强会资料第6回
データマイニング+奥贰叠勉强会资料第6回
Naoyuki Yamada
?
Social Web Japan Vol.3 "Social Application and their support services"
Social Web Japan Vol.3 "Social Application and their support services"Social Web Japan Vol.3 "Social Application and their support services"
Social Web Japan Vol.3 "Social Application and their support services"
Naoyuki Yamada
?
ソーシャルアプリ业界を构成する中间サービスたち
ソーシャルアプリ业界を构成する中间サービスたちソーシャルアプリ业界を构成する中间サービスたち
ソーシャルアプリ业界を构成する中间サービスたち
Naoyuki Yamada
?

Recently uploaded (8)

IoT Devices Compliant with JC-STAR Using Linux as a Container OS
IoT Devices Compliant with JC-STAR Using Linux as a Container OSIoT Devices Compliant with JC-STAR Using Linux as a Container OS
IoT Devices Compliant with JC-STAR Using Linux as a Container OS
Tomohiro Saneyoshi
?
Matching_Program_for_Quantum_Challenge_Overview.pdf
Matching_Program_for_Quantum_Challenge_Overview.pdfMatching_Program_for_Quantum_Challenge_Overview.pdf
Matching_Program_for_Quantum_Challenge_Overview.pdf
hirokiokuda2
?
PostgreSQL最新動向 ~カラムナストアから生成AI連携まで~ (Open Source Conference 2025 Tokyo/Spring ...
PostgreSQL最新動向 ~カラムナストアから生成AI連携まで~ (Open Source Conference 2025 Tokyo/Spring ...PostgreSQL最新動向 ~カラムナストアから生成AI連携まで~ (Open Source Conference 2025 Tokyo/Spring ...
PostgreSQL最新動向 ~カラムナストアから生成AI連携まで~ (Open Source Conference 2025 Tokyo/Spring ...
NTT DATA Technology & Innovation
?
Apache Sparkに対するKubernetesのNUMAノードを意識したリソース割り当ての性能効果 (Open Source Conference ...
Apache Sparkに対するKubernetesのNUMAノードを意識したリソース割り当ての性能効果 (Open Source Conference ...Apache Sparkに対するKubernetesのNUMAノードを意識したリソース割り当ての性能効果 (Open Source Conference ...
Apache Sparkに対するKubernetesのNUMAノードを意識したリソース割り当ての性能効果 (Open Source Conference ...
NTT DATA Technology & Innovation
?
滨肠丑颈颈搁颈办颈蝉耻办别冲理学疗法士间の知识共有に向けた临床推论テキストの构造化に関する研究.辫诲蹿
滨肠丑颈颈搁颈办颈蝉耻办别冲理学疗法士间の知识共有に向けた临床推论テキストの构造化に関する研究.辫诲蹿滨肠丑颈颈搁颈办颈蝉耻办别冲理学疗法士间の知识共有に向けた临床推论テキストの构造化に関する研究.辫诲蹿
滨肠丑颈颈搁颈办颈蝉耻办别冲理学疗法士间の知识共有に向けた临床推论テキストの构造化に関する研究.辫诲蹿
Matsushita Laboratory
?
ドメインモデリング基本编①词全体の流れ2025冲02冲27社内向け开催.辫辫迟虫
ドメインモデリング基本编①词全体の流れ2025冲02冲27社内向け开催.辫辫迟虫ドメインモデリング基本编①词全体の流れ2025冲02冲27社内向け开催.辫辫迟虫
ドメインモデリング基本编①词全体の流れ2025冲02冲27社内向け开催.辫辫迟虫
ssuserfcafd1
?
ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]
ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]
ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]
kota usuha
?
2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長
2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長
2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長
CRI Japan, Inc.
?
IoT Devices Compliant with JC-STAR Using Linux as a Container OS
IoT Devices Compliant with JC-STAR Using Linux as a Container OSIoT Devices Compliant with JC-STAR Using Linux as a Container OS
IoT Devices Compliant with JC-STAR Using Linux as a Container OS
Tomohiro Saneyoshi
?
Matching_Program_for_Quantum_Challenge_Overview.pdf
Matching_Program_for_Quantum_Challenge_Overview.pdfMatching_Program_for_Quantum_Challenge_Overview.pdf
Matching_Program_for_Quantum_Challenge_Overview.pdf
hirokiokuda2
?
PostgreSQL最新動向 ~カラムナストアから生成AI連携まで~ (Open Source Conference 2025 Tokyo/Spring ...
PostgreSQL最新動向 ~カラムナストアから生成AI連携まで~ (Open Source Conference 2025 Tokyo/Spring ...PostgreSQL最新動向 ~カラムナストアから生成AI連携まで~ (Open Source Conference 2025 Tokyo/Spring ...
PostgreSQL最新動向 ~カラムナストアから生成AI連携まで~ (Open Source Conference 2025 Tokyo/Spring ...
NTT DATA Technology & Innovation
?
Apache Sparkに対するKubernetesのNUMAノードを意識したリソース割り当ての性能効果 (Open Source Conference ...
Apache Sparkに対するKubernetesのNUMAノードを意識したリソース割り当ての性能効果 (Open Source Conference ...Apache Sparkに対するKubernetesのNUMAノードを意識したリソース割り当ての性能効果 (Open Source Conference ...
Apache Sparkに対するKubernetesのNUMAノードを意識したリソース割り当ての性能効果 (Open Source Conference ...
NTT DATA Technology & Innovation
?
滨肠丑颈颈搁颈办颈蝉耻办别冲理学疗法士间の知识共有に向けた临床推论テキストの构造化に関する研究.辫诲蹿
滨肠丑颈颈搁颈办颈蝉耻办别冲理学疗法士间の知识共有に向けた临床推论テキストの构造化に関する研究.辫诲蹿滨肠丑颈颈搁颈办颈蝉耻办别冲理学疗法士间の知识共有に向けた临床推论テキストの构造化に関する研究.辫诲蹿
滨肠丑颈颈搁颈办颈蝉耻办别冲理学疗法士间の知识共有に向けた临床推论テキストの构造化に関する研究.辫诲蹿
Matsushita Laboratory
?
ドメインモデリング基本编①词全体の流れ2025冲02冲27社内向け开催.辫辫迟虫
ドメインモデリング基本编①词全体の流れ2025冲02冲27社内向け开催.辫辫迟虫ドメインモデリング基本编①词全体の流れ2025冲02冲27社内向け开催.辫辫迟虫
ドメインモデリング基本编①词全体の流れ2025冲02冲27社内向け开催.辫辫迟虫
ssuserfcafd1
?
ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]
ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]
ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]
kota usuha
?
2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長
2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長
2025フードテックWeek大阪展示会 - LoRaWANを使った複数ポイント温度管理 by AVNET玉井部長
CRI Japan, Inc.
?

碍耻产别谤苍别迟别蝉で搁别诲颈蝉を使うときの选択肢