A development journal of koremirudb1 cloud&nosql (1)
?
1 like?469 views
これみるDBの開発で利用したテクノロジーの紹介 第一回目はクラウド、Google App Engine、
![GAE でっかいテーブルを用意する
注意しなくてはいけないのは、でっかすぎるテーブ
ル。更新頻度に着目しよう
これみる映画テーブル（抜粋）
映画ID 米映画名 日本映画名 上映時間 米上映日 日上映日
でっ
かい 上映時間 画像 画像評価 画像言語 ポスタ ポスタ評価 ポスタ言語
テー
ブル 観客評価 評論家評価 like件数 スコア 更新日 バージョン番号
［コメント配列 ] ［評論配列] like件数
更新頻度が違うもの を入れては
ダメ](https://image.slidesharecdn.com/adevelopmentjournalofkoremirudb1cloudnosql1-130215100025-phpapp02/85/A-development-journal-of-koremirudb1-cloud-nosql-1-35-320.jpg)
A development journal of koremirudb1 cloud&nosql (1)
- 2. これみるDBのテクノロジ これみるDBでは技術の習得がもう一つの目的で す。そのため実務で役立つ、以下のキーワードに 沿ったテクノロジーを選定しています。 ● クラウド ● NO-SQL（＋キャッシュ） ● モバイル（Jquery×Boostrap） ● WEB-API（Json） ● Java最新フレームワーク
- 4. 第１章 クラウドおさらい
- 5. クラウド これみるDBの基盤はGoogle AppEngine（以降 GAE）です。 クラウドおさらい 現在あまたのクラウドサービスがある中で、世界的に名前が知 られていて、エンタープライズでの実績を積み上げているのは 以下の3社 Google AppEngine（GOOGLE) Amazon Web Service（AMAZON） AZURE（Microsoft）
- 11. クラウド 最近の各クラウド 大規模障害の原因と障害時間 AWS GAE AZURE 2012年12月24日～25日 2012年10月29日 2012年7月26日 LB 1日 ルーター 半日 ネット機器設定 2時間半 2012年10月22日 2012年2月29日 メモリリーク 半日 うるう年ロジック 半日 2012年06月29日 落雷停電に伴う電源障害 参考（ 2011年4月に4日間の障害） 参考（ 2010年2月24日 一日の障害） 参考（ 2011年9月9日 半日） ちなみに各クラウドのSLAは AWS（EC2),AZURE(インスタンス）、GAEいずれも 99.95%稼 働（1年で4時間38分停止）を保障 これを守れない場合、ルールに基づき利用料一部返金。だけ
- 15. 第２章 狈翱-厂蚕尝
- 17. GAE NO-SQL GAEではRDBは利用出来ず、Datastoreという列 NO-SQLDBを利用する必要があります。 そもそもNO-SQLはRDBに対応する概念です。 通常のアプリケーション３層構造ではWEBは拡張できてもDB は拡張できないので、DBがボトルネックになります。 また往々にして、高性能な商業DBはハードソフトともに高価。 WEB WEB スケールアウト可能 サー サーバー バー データの一元管理が必要なのでスケー DBサーバー ルアップしかできない （ほんとはパーティションとかあるけど）
- 18. GAE NO-SQL またRDBの場合、データの肥大化により、検索速度の低下が 発生します。 データを全件検索しないと いけないので、データ量増＝検索 ??????? 速度の低下
- 19. GAE NO-SQL 一方で、NO-SQLはRDBのリレーション機能を犠牲にしてス ケーラブルで素早い検索を可能にします。 例）memcached（分散メモリ）NO-SQLの一種のスケールアウト 図 WEB WEB サー サーバー バー Memcached分散機構
- 20. GAE NO-SQL memcachedの検索 パラレルに検索できるので データが増えても検索速度をスケールアウトできる そしてオープンソースのものが主流です。 「memcached」mixiで利用。 「Apache Cassandra」 facebookで利用
- 23. GAE NO-SQL ?使って痛いのは。データの調査、修正を行うときにSQLが使えない。 ※これは環境によってはSQLライクなものが用意されているかもしれません が、結局JOINやNOT inなど使えません。 Datastoreからのデータ取り出し SQL package tutorial.controller.twitter; select * from TABLE import org.slim3.controller.Controller; import org.slim3.controller.Navigation; WHERE A=B public class IndexController extends Controller { @Override public Navigation run() throws Exception { TableMeta e = TableMeta.get(); List<Employee> list = Datastore.query(e) .filter(e.A.greaterEqural(B)) .sort(e.salary.asc) .asList(); requestScope("list", list); return forward("index.jsp"); } }
- 25. 第３章 骋础贰 GOOGLE APP ENGINE で無料開発 でも苦労も多いよ
- 29. GAE 業務利用に関してその２ 現時点では使いづらいGAEですが、次々にサービ スを増やしているので、今後の展開次第では良い 物になっていくと思います。 注目は以下の機能追加 ?SQLサポート(GOOGE CLOUD SQL) ?BigData解析機能(Bigquery api) ?FullTextSerch機能
- 33. 骋础贰 でっかいテーブルを用意する例 これみる映画テーブル（抜粋） 映画ID 米映画名 日本映画名 上映時間 米上映日 日上映日 でっ かい 上映時間 画像 画像評価 画像言語 ポスタ ポスタ評価 ポスタ言語 テー ブル 観客評価 評論家評価 スコア 更新日 バージョン番号 映画テーブル 映画ID 米映画名 上映時間 評論家評価 観客評価 スコア 正 規 翻訳テーブル 化 映画ID 項目 言語 データ テ ー ブ 画像テーブル ル 映画ID 画像種 画像サイズ 画像言語 画像評価 画像データ
- 35. GAE でっかいテーブルを用意する 注意しなくてはいけないのは、でっかすぎるテーブ ル。更新頻度に着目しよう これみる映画テーブル（抜粋） 映画ID 米映画名 日本映画名 上映時間 米上映日 日上映日 でっ かい 上映時間 画像 画像評価 画像言語 ポスタ ポスタ評価 ポスタ言語 テー ブル 観客評価 評論家評価 like件数 スコア 更新日 バージョン番号 ［コメント配列 ] ［評論配列] like件数 更新頻度が違うもの を入れては ダメ
- 36. GAE でっかいテーブルを用意する 素直にテーブルを分けて、キーコード指定で別々 に呼び出しましょう 更新頻度が高いものをでっかいテーブルに入れるとロック待ち が発生し、レスポンス低下になります。 これみる映画テーブル（抜粋） でっ 映画ID 米映画名 日本映画名 上映時間 米上映日 日上映日 かい 上映時間 画像 画像評価 画像言語 ポスタ ポスタ評価 ポスタ言語 テー ブル 観客評価 評論家評価 like件数 スコア 更新日 バージョン番号 Likeテーブル コメントテーブル 評論テーブル 映画ID Like件数 映画ID コメント 映画ID 評論
- 38. GAE Insertがんばる PVカウンタなど更新が激しいものは、１レコードに 対してインクリメントにするとア、ロック解除待ちが 発生します。そんな時はシャーディング 書き込みの時にはどれか一つをインクリメント（ロックが 1/4） 同じ項目についての カウンタを複数作成す る（シャードを作成す カウンタ A カウンタ B カウンタ C カウンタ D る） リードの時は全部読んで合算（リード件数シャードが４の場合 4件）