狠狠撸

/65
Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima
? DENSO CORPORATION All RightsReserved.
本番用のDBに対して
やってしまった話
2020/8/24
ITエンジニア怪談 #3
小島優介(8/27デブサミ関西登壇)

/65
業務の内容
2
10年以上前の話
数百人が利用している社内ツールの小改善
その社内ツールは
SQL Server のデータを取得?更新する
※以降、赤字部分は、その後の悲劇に繋がるポイントです
社内ツール
(デスクトップアプリ)
SQL
Server
ユーザー

/65
社内ツールの改善内容
3
小さな機能(ロジックもシンプル)を追加すること
ただし、その機能追加で、DBにアクセスする回数が増えるため
DBサーバーの負荷状況に問題が起きないか
念の為にサーバー負荷テストを実施することに
←この時点では「余裕！余裕！」と思っていた私

/65
サーバー負荷テストの実施手順
4
当時(10年以上前)のさらに数年前に
その社内用ツールでのサーバー負荷を確認するための
テスト用ツールが作成されていた
(自分以外の人が作成したテスト用ツール)
そのテスト用ツールは、過去数年使われていないようだったが
幸いにも利用手順書が存在した
テスト用ツール
(デスクトップアプリ)
SQL
Server
開発者(私)
本番運用を想定した
DBアクセスを行って負荷を与える
テスト用ツールの概要

/65
テスト実施時の注意点
5
社内ツールでのテストは
本番環境のDBに間違ってアクセスすると
大変なことになるので
ちゃんとテスト用のDBにアクセスするように
DB設定ファイルを確認した上で、テストを実施する必要がある
テスト用ツールも、利用手順書をしっかり読んで、
テスト用のDBにアクセスすることを確認する
この時点で、テスト用DBが更新されることを確認していた
テスト用ツールテスト用
DB
任意の1レコードが
更新されることを確認

/65
そしてテストを実行
6
テスト用ツールでサーバー負荷テストを実施し、
サーバー負荷状況に問題がないことを確認した
DB
本番用
DB
開発者(私)
サーバー負荷テスト合格
テスト用DBでテストしたので
本番用DBには影響がないはず

/65
翌日に異変が
7
ユーザーから以下の問い合わせが！
「なんかデータが勝手に書き換わっている気がするんだけど」
←問い合わせ内容を見たときの私

/65
おそるおそる本番環境のDBを見ると???
8
書き換わっている！
なぜ！？
←絶望した私

/65
原因はテスト用ツール
9
テスト用ツールのソースコードをよく見ると
処理Aと処理Bの2つのDB更新処理が存在し、
処理Aと処理Bがそれぞれ、どのDBにアクセスするかの設定が存在
(なぜ1つにまとまっていないのかは不明)
処理Aはテスト用DBにアクセスしていたが、処理Bは本番用DBに
DB
本番用
DB
処理A
処理B

/65
テスト用ツールのDBアクセスの設定漏れ
10
どのDBにアクセスするかの設定は
デフォルトで本番環境のDBにアクセスする設定になっていた
利用手順書には、処理AのDBアクセス設定しか書いていなかったため
手順書通りに実施すると
処理Bは本番環境のDBを更新してしまう状態だった
DB
本番用
DB
処理A
処理B
処理BのDBアクセスの
設定が漏れていた

/65
謝罪とデータ復旧
11
致命傷には至らなかったため、なんとか復旧できた
←関係者に謝罪する私

/65
教訓
12
何年も使われていないプログラム(テスト用ツールなど)に対しては
手順書を鵜呑みにするのでなく
ソースコードを読んで、重大な問題が起きないことを
確認した上で利用すること

/65
自己紹介
13
名前：小島優介
Twitter：@kojimadev
https://twitter.com/kojimadev
「Serverless LT初心者向け」というコミュニティを運営
9/7 LT初心者向け LT大会 #3 (発表者を募集中)
https://serverlesslt.connpass.com/event/184417/
デブサミ2020関西で登壇予定(約500人が視聴予定)
8/27 14:10-14:55 事前登録すれば無料で視聴できまさす
https://event.shoeisha.jp/devsumi/20200827/session/2586/
テーマ
組織と個人が内発的動機により
継続的に成長するための施策

狠狠撸

本番用の顿叠に対してやってしまった话

Recommended

More Related Content

What's hot (20)

Similar to 本番用の顿叠に対してやってしまった话 (20)

More from Yusuke Kojima (6)

本番用の顿叠に対してやってしまった话