際際滷

際際滷Share a Scribd company logo
pontemでspannerの
バックアップとるぞ
EいどれGCPUG 2018/06/25
ExistMikan
1
徭失B初という悶の傚
怱I
GCP寄挫きカンパニ`
?
? ●kの蝶ベンチャ`二Iに祥
侭奉
Us
卅儲啾況
(Ito Hayato)
@ExistMikan
? FJOIN
Output
なエンジニア
なエンジニア
忽坪CloudSpanner兜並箭!
哭創署oし! 仟湖タクシ`アプリフル
クル
フルクル
~m芙T勅鹿嶄。
2
書晩の坪否
?pontemって?
?spannerって?
?pontem4つのC嬬
?どういう湖じでバックアップ&リストアすんの?
?聞ってみようpontem
?やってみようバックアップ
?やってみようリストア
?パフォ`マンスに櫃鬚弔韻茲
?ベンチマ`ク議な
?コストの
?まとめ
3
pontemって
Spanner喘のツ`ルっぽい。 4
k極
5
spannerって?
屁栽來隠ちながらガンガンスケ`ルする奈いデ`タベ`ス
Cloud Spanner
6
pontem4つのC嬬
7
噸宥のバックアップ
屁栽來チェック原きバックアップ
噸宥のリストア
屁栽來チェック原きバックアップ∠
屎械にK阻したかどうかをチェックしてくれるタイプ。
バックアップ鵑離透`ブルのリスト式び佩の方をチェックする。
光、琳佗蹐泙任魯船Д奪されない。
擇淋と揖匯。
どういう湖じでバックアップ&リストアすんの?
8
Dataflow、Spanner、GCSの3Nでg佩
Cloud
Dataflow
Cloud
Storage
Cloud
Spanner
Cloud
Dataflow
Cloud
Storage
Cloud
Spanner
バックアップ
リストア
つかってみようpontem
9
h廠
java8 maven3 Google Cloud Shell
J^秤
ソ`ス
pontem
git clone
サ`ビスアカウントの
キ`.json
並念
dataflow
GCS
bucket
Spanner
Instance, db, table
やってみようバックアップ
10
Spanner
GCS
GCS
恬Iエリア
やってみた
11
和のようなやる櫃里覆ぅ汽鵐廛襯禰`タを秘れてみた。
(pontem_table1はデ`タなし)
Cloud Shellにシェル(sample.sh)融っzんでg佩。
はたらくデ`タフロ`
12
トランザクションNって
spannerからiんで
デ`タQして
嶄附をカキコム
この双はテ`ブルの
匯Eをiみき
このあたりはテ`ブルごとにI尖。
GCS
13
やってみようリストア
14
Spanner
竃薦枠
GCS
リストアする
ファイル
匯鬉諒凡zみ
15
圷のDBにデ`タを弖紗。
リストアしたものにこれが秘ってなければオッケ`。
リストア払
16
屡贋のdb峺協したら貧きみたいなことが軟こるのかなと房ったらそんなことはoかった。ダメらしい。
ソ`スても貧きオプションとかoいっぽい。
Database already exist
櫃鯣,袂韻靴瀞g佩
17DBはpontem-db-2と峺協。バックアップした坪否が壅Fされた。
リストア\喘のイメ`ジ
18
デ`タにやばいことがおこった
spannerへのアクセスを孳僅
ステ`クホルダ`圭に御岑
屡贋インスタンスの兆念を笋┐ (曜閲朕議)
仟・ぅ鵐好織鵐貢撹 (屡贋と揖じ兆念) 櫃里擦い犬磴覆韻譴DB兆が笋┐蕕譴覆
(コンソ`ル{べ)
のでインスタンスまるごと佩くしかないGCSから仟・ぅ鵐好織鵐垢してリストアg佩
デ`タる
うれしい
もし}jなケ`スでなければ、
バックアップからおかしくなるまでの餓蛍を、
ここからクエリで哈っって仟しいDBに秘れるとかもアリか
弼?_Jして弼?Bj竃す
やってみた湖
19
ほぼCloudConsoleだけで編^できたので
Sで措かった弌K湖
gHのソ`スはどうなってるの
20
???はP宀が{縫汽椶辰討燭里波隼B初できなかったりする
児云議にGCSとspanner、い任襪世韻覆里任修鵑覆幕yしくはoいはず。
書指B初できなかった屁栽來チェックとかもd龍侮い
パフォ`マンスに櫃鬚弔韻茲
1.クォ`タ櫃鬚弔韻茲
Quotaをチェック。Dataflowをg表つかうとCPUs(all regions),In-use IP addresses, CPUsあたりが阜びる。    
Persistent Disk Standard(GB)も勣チェック。
2.SpannerのCPUが75%階えないかチェック
Spannerのパフォ`マンスをS隔するにはCPU聞喘楕が75%くらいになったらノ`ドをやすことを篇すべし
3.Dataflowのワ`カ`をいい湖じにしよう
壼くやりたいならやそう。SpannerのCPUが貧がって是るなら、ノ`ド方UPでぶん店るか、maxNumWorkersで方を崙
泙垢襪という湖じ
4.揖じリ`ジョンでMもう
spannerとgcsとdataflow。I囃eにしたらWくなったり弼?是るので。
21
ベンチマ`ク議な
バックアップとリストアの駅勣rgについてのポイント
Spannerノ`ド方
Dataflowワ`カ`方
Dataflowで聞喘辛嬬な喟Aディスク
H徨燕の方
リストア
搜H
旌
ノ`ド20、ワ`カ`1000(畠何で250,000GB)でg佩した栽の箭
Rs楕
(pった護栽)
34%
56.3%
56.7% 22
コストの
バックアップとリストアのrにかかるコストとは
Dataflow jobs (CPU,storage,memory)
GCS (network, storage)
Spanner (network, additional nodes)
サンプル
デ`タサイズ: 2TB
Dataflow
ワ`カ` : 750
ストレ`ジ : 250TB
GCS : 2TB
Spannerノ`ド : 10
1晩s300ドル???
バックアップの栽。謹蛍1晩っていうより1指。
ベンチマ`クサンプルと栽わせてると、かかるrgはs1rgくらいか
★ それが3rgくらいでゆっくりでいいならコストは鯛とせるだろうが。。
坪U岑りたい。。。れてない。。。 23
まとめ
24
秘
gで措い。碧Mみもわかりやすい。
パフォ`マンス
吭翌とrgかかる織ぅ瓸`ジ。┘汽ぅ困して要輝殖
コスト
寄蛍櫃鬚弔韻覬慴あり。
パフォ`マンスとトレ`ドオフだが、、
畠楚バックアップなので弼?しょうがない殖
ご賠ありがとうございました

More Related Content

沿看稼岳艶馨で壊沿温稼稼艶姻のバックアップとるぞ