Aws athenaを使ってみた

?Download as PPTX, PDF?

1 like?672 views

Sunggyu Rhie

BigData-JAWS 勉強会#5 発表資料

自己紹介
RettyでWeb, InfraのEngineerやってます
AWS、Elasticsearchが好き
最近Apache Drill触り始めました
李晟圭（イ?ソンギュ）
35歳
韓国出身、日本９年目
rhie@retty.me

前置き
今回の発表内容は
ログ解析レベルで止まっており、
DMとしてS3を利用して分析を行うなどの
使い方はやってない段階での内容になります。
ご容赦ください。

Before Athena
ELB S3 TreasureData
CloudFront S3 Elasticsearch

Before Athena
ELB S3 TreasureData
CloudFront S3 Elasticsearch
こう見ると簡単ですが

Before Athena - リアルな話
ELB S3 TreasureData
CloudFront S3
Elasticsearch
Fluentd
Lambda
Kinesis
Logstash
API Gateway
ものは増え

Before Athena - リアルな話
? 権限どうなってんの？
? 自前？マネージド？
? コスト見積れるの？
? 監視は？
? いつまで保持するの？
? 誰が面倒見るの？
? Elasticsearchのクエリはエンジニアでも一部しか投げれないよ？
? TreasureDataのプランってどんなんだっけ？まだ入れていいの？
? アクセスログたまーにしかみないんだけどここまでやる？
? もう面倒だからAPIGatewayでキックしたら見れるようにしたから使って？
? 誰にも使ってもらえなかった（悲しい）
? これやる？！

After Athena
ELB S3
CloudFront S3
Athena

After Athena - リアルな話
? 権限？IAMってのがありまして。
? マネージドって楽だよね。
? 見積もり？コスト予測は明確ではないけど安心感はある。
? 監視？要らない。
? 保持？安いし気にしない。
? 面倒？S3面倒みたことある？
? クエリ？パーティションだけ気をつければ非エンジニアでも投げれる。
? あんまり使わない？Adhocでの確認がめっちゃ簡単。
? redashからjdbc使って見れるようにしたからAPIなんか作らなくていい。
? みんな見てくれる（ビジュアライズ?慣れ大事）
? これいいね！

簡単な使い方の説明
本当に簡単なので説明は省きます
一応下記のような記事公開してるのでよろしければ。。。
Athenaを早速試してみた

S3にあるログ分析が非常に簡単に
? ELB, Cloudfront, その他溜め込んでるログなど
? 分析するデータソースの準備は非常に簡単
? AWSのサービスからのデータならなおさら簡単
? gzでも見れる
? 4テラのログを141個のパーティション付けが13分で完了

? カラム設定には骨が折れる
? パーティション設定はもっと骨が折れる
? パーティションの付け方
? 予想スキャンサイズがわからない
? クエリタイムアウトがある？
? ユーザ?アカウントごとのスキャン上限などは？
その他のデータ分析まで使うか？

CREATE EXTERNAL TABLE table_name (
...
)
PARTITIONED BY (year string, month string, day
string)
...
でテーブル作成後にパーティション付けを行うのですが
パーティションの付け方

ALTER TABLE database_name.table_name
ADD PARTITION (year='2016',month='08',day='28')
location 's3://elb-access-
log/AWSLogs/00000000000000/elasticloadbalancing/ap-
northeast-1/2016/08/28/';
これで１日分。数年分やりたい場合は？
パーティションの付け方

ALTER文は１個ずつしか実行できない（多分Hive0.7互換）
パーティションの付け方（酷な現実）

なので、公式JDBCを入手してJavaで久しぶりに
Class.forName("com.amazonaws.athena.jdbc.AthenaDriver");
とか書いたり（規則あるならこっちをおすすめ）
パーティションの付け方（残酷な現実）

SQLWorkbench（公式推奨）とか入れでJDBC設定後
パーティションの付け方（残酷な現実）

大量に流すとか（4TB/141partition/13min）
パーティションの付け方（残酷な現実）

Rettyでは
S3に貯めたログをアドホックで確認するときのみ
今の所、その他の分析はTD、BigQuery派が多い
だけど、やっぱデータの移管なしで分析できるのは
強烈な魅力なので、社内での熱も上昇中

今後に期待
? AWSを使ってる以上、S3にログは溜まる
? もっと効率よく?簡単にS3と連携できるたら
? クエリのスキャンサイズ?タイムリミット制限周り
? パーティショニングなんとかしてもらいたい
? もっと安く。。。

Athenaの話がもっとしたい
まだまだ知らないのが多い?本格運用してないので
みなさんからも話が聞きたいのでぜひ色々話しましょう！
懇親会でも個別に連絡でも！
美味いもん食べに行こうぜ的なノリでも！

Aws athenaを使ってみた

1. Sunggyu Rhie(rhie@retty.me) Retty Inc. AWS 础迟丑别苍补を使ってみた

2. 自己紹介 RettyでWeb, InfraのEngineerやってます AWS、Elasticsearchが好き最近Apache Drill触り始めました李晟圭（イ?ソンギュ） 35歳韓国出身、日本９年目 rhie@retty.me

3. 前置き今回の発表内容はログ解析レベルで止まっており、 DMとしてS3を利用して分析を行うなどの使い方はやってない段階での内容になります。ご容赦ください。

4. Before Athena ELB S3 TreasureData CloudFront S3 Elasticsearch

5. Before Athena ELB S3 TreasureData CloudFront S3 Elasticsearch こう見ると簡単ですが

6. Before Athena - リアルな話 ELB S3 TreasureData CloudFront S3 Elasticsearch Fluentd Lambda Kinesis Logstash API Gateway ものは増え

7. Before Athena - リアルな話 ? 権限どうなってんの？ ? 自前？マネージド？ ? コスト見積れるの？ ? 監視は？ ? いつまで保持するの？ ? 誰が面倒見るの？ ? Elasticsearchのクエリはエンジニアでも一部しか投げれないよ？ ? TreasureDataのプランってどんなんだっけ？まだ入れていいの？ ? アクセスログたまーにしかみないんだけどここまでやる？ ? もう面倒だからAPIGatewayでキックしたら見れるようにしたから使って？ ? 誰にも使ってもらえなかった（悲しい） ? これやる？！

8. After Athena ELB S3 CloudFront S3 Athena

9. After Athena - リアルな話 ? 権限？IAMってのがありまして。 ? マネージドって楽だよね。 ? 見積もり？コスト予測は明確ではないけど安心感はある。 ? 監視？要らない。 ? 保持？安いし気にしない。 ? 面倒？S3面倒みたことある？ ? クエリ？パーティションだけ気をつければ非エンジニアでも投げれる。 ? あんまり使わない？Adhocでの確認がめっちゃ簡単。 ? redashからjdbc使って見れるようにしたからAPIなんか作らなくていい。 ? みんな見てくれる（ビジュアライズ?慣れ大事） ? これいいね！

10. 簡単な使い方の説明本当に簡単なので説明は省きます一応下記のような記事公開してるのでよろしければ。。。 Athenaを早速試してみた

11. S3にあるログ分析が非常に簡単に ? ELB, Cloudfront, その他溜め込んでるログなど ? 分析するデータソースの準備は非常に簡単 ? AWSのサービスからのデータならなおさら簡単 ? gzでも見れる ? 4テラのログを141個のパーティション付けが13分で完了

12. ? カラム設定には骨が折れる ? パーティション設定はもっと骨が折れる ? パーティションの付け方 ? 予想スキャンサイズがわからない ? クエリタイムアウトがある？ ? ユーザ?アカウントごとのスキャン上限などは？その他のデータ分析まで使うか？

13. CREATE EXTERNAL TABLE table_name ( ... ) PARTITIONED BY (year string, month string, day string) ... でテーブル作成後にパーティション付けを行うのですがパーティションの付け方

14. ALTER TABLE database_name.table_name ADD PARTITION (year='2016',month='08',day='28') location 's3://elb-access- log/AWSLogs/00000000000000/elasticloadbalancing/ap- northeast-1/2016/08/28/'; これで１日分。数年分やりたい場合は？パーティションの付け方

15. ALTER TABLE database_name.table_name ADD PARTITION (year='2016',month='08',day='28') location 's3://elb-access-log/AWSLogs/00000000000000/elasticloadbalancing/ap- northeast-1/2016/08/28/' PARTITION (year='2016',month='08',day='29') location 's3://elb-access-log/AWSLogs/00000000000000/elasticloadbalancing/ap- northeast-1/2016/08/29/' PARTITION (year='2016',month='08',day='30') location 's3://elb-access-log/AWSLogs/00000000000000/elasticloadbalancing/ap- northeast-1/2016/08/30/' … パーティションの付け方（期待）

16. ALTER TABLE database_name.table_name ADD PARTITION (year='2016',month='08',day='28') location 's3://elb-access-log/AWSLogs/00000000000000/elasticloadbalancing/ap- northeast-1/2016/08/28/'; ALTER TABLE database_name.table_name ADD PARTITION (year='2016',month='08',day='29') location 's3://elb-access-log/AWSLogs/00000000000000/elasticloadbalancing/ap- northeast-1/2016/08/29/'; ALTER TABLE database_name.table_name ADD PARTITION (year='2016',month='08',day='30') location 's3://elb-access-log/AWSLogs/00000000000000/elasticloadbalancing/ap- northeast-1/2016/08/30/'; … パーティションの付け方（現実）

17. ALTER文は１個ずつしか実行できない（多分Hive0.7互換）パーティションの付け方（酷な現実）

18. なので、公式JDBCを入手してJavaで久しぶりに Class.forName("com.amazonaws.athena.jdbc.AthenaDriver"); とか書いたり（規則あるならこっちをおすすめ）パーティションの付け方（残酷な現実）

19. SQLWorkbench（公式推奨）とか入れでJDBC設定後パーティションの付け方（残酷な現実）

20. 大量に流すとか（4TB/141partition/13min）パーティションの付け方（残酷な現実）

21. Rettyでは S3に貯めたログをアドホックで確認するときのみ今の所、その他の分析はTD、BigQuery派が多いだけど、やっぱデータの移管なしで分析できるのは強烈な魅力なので、社内での熱も上昇中

22. 今後に期待 ? AWSを使ってる以上、S3にログは溜まる ? もっと効率よく?簡単にS3と連携できるたら ? クエリのスキャンサイズ?タイムリミット制限周り ? パーティショニングなんとかしてもらいたい ? もっと安く。。。

23. Athenaの話がもっとしたいまだまだ知らないのが多い?本格運用してないのでみなさんからも話が聞きたいのでぜひ色々話しましょう！懇親会でも個別に連絡でも！美味いもん食べに行こうぜ的なノリでも！

Editor's Notes

#2: こんばんはすごいタイトルになってますけど気軽に聞ける内容です最初に練習したときは15分かかった内容をだいぶ端折ってますので内容に気になるところがありましたら終わって質問などいただければと
#3: 李という名字多いので、みんなからケイと呼ばれてます色々やってきました
#4: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#5: もともとはDevより、アプリケーション開発をやってたが、前職で一人で何個かサービス立ち上げをやってインフラもある程度見れるようになりました Rettyでは5割ぐらいが運用のタスクになってます Rettyでやってることでいうと SEO施策の企画開発検証とインフラの導入運用やってます
#6: もともとはDevより、アプリケーション開発をやってたが、前職で一人で何個かサービス立ち上げをやってインフラもある程度見れるようになりました Rettyでは5割ぐらいが運用のタスクになってます Rettyでやってることでいうと SEO施策の企画開発検証とインフラの導入運用やってます
#7: もともとはDevより、アプリケーション開発をやってたが、前職で一人で何個かサービス立ち上げをやってインフラもある程度見れるようになりました Rettyでは5割ぐらいが運用のタスクになってます Rettyでやってることでいうと SEO施策の企画開発検証とインフラの導入運用やってます
#8: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#9: もともとはDevより、アプリケーション開発をやってたが、前職で一人で何個かサービス立ち上げをやってインフラもある程度見れるようになりました Rettyでは5割ぐらいが運用のタスクになってます Rettyでやってることでいうと SEO施策の企画開発検証とインフラの導入運用やってます
#10: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#11: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#12: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#13: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#14: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#15: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#16: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#17: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#18: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#19: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#20: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#21: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#22: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#23: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。
#24: そのDevOpsの環境?文化を実感した一例を皆さんに紹介します私が入社して2ヶ月ぐらい過ぎてから MySQLの負荷が全文検索クエリなどで高くなっている、やりたいことがあんまりやれてないことに気づいて、 Opsの立場からElasticsearchの導入を提案しました Devから見たら大幅な修正が発生するので気が引けるところだったとおもいますが、快く引き受けてくれました OpsはOpsで運用対象が増えるのですが、むしろ今までなかったノウハウを貯めれるいい機会だという認識できた共通してあったのは「これでRettyはもっと良いサービスになる」という意識でしたね変化を拒むよりむしろ積極的に変化を求めるOpsと Opsの変化の要求に素早く対応してくれるDev なんか普段見てるDevとOpsのいざこざの逆バージョンのような気もしますがこういう流れで ElasticsearchはRettyに導入されました。今の話は一見大したことない、ミドルウェア一個入れた話ですが、実はそこが大事だと思います。ミドルウェア一つ入れることをスムーズにできる組織だということです。

狠狠撸

Aws athenaを使ってみた

More Related Content

Aws athenaを使ってみた

Editor's Notes