テストって何をするもの？ - テストの5W1H -
8 likes4,403 views
2015 MVP Community Camp～大阪～ ( http://connpass.com/event/10478/ )でお話した内容です。 「僕が考えるテスト」の範囲について、ざっと概説しています。
More Related Content
What's hot (20)
Viewers also liked (10)
Similar to テストって何をするもの？ - テストの5W1H - (20)
More from Hiroshi Maekawa (20)
Recently uploaded (11)
テストって何をするもの？ - テストの5W1H -
- 2. ?自?己紹介 ?? まえかわ ?ひろし ?a.k.a ?@Posaune ???#京アジャ ???#reviewrc ?? なんにでも興味を持つ雑?食系エンジニア ???器?用貧乏っていうな ?? MS ?MVP ?for ?Visual ?Studio ?ALM ???Visual ?Studioで作ってJenkinsでビルド するというALM 2015/01/31 MVP Community Camp 2015 大阪会場
- 3. .reviewrc ?について ?? 変遷 ???TABOK（テスト?自動化知識識体系）読書会 ???関?西検証コレクション（検これ） ???.reviewrc ?? 何をしている？ ???誰かが持ってきた資料料をレビュー ???誰かの発表をレビュー ???新しいサービスをレビュー 2015/01/31 MVP Community Camp 2015 大阪会場
- 4. Agenda ?? 本?日の?目標 ?? テストの5W1H ???Why ? ? ?: ?なぜテストするの？ ???When ?: ?いつテストするの？ ???What ? ?: ?なにをテストするの？ ???Where: ?どこをテストするの？ ???Who ? ? ?: ?だれがテストするの？ ???How ? ? ?: ?どうやってテストするの？ ?? まとめ 2015/01/31 MVP Community Camp 2015 大阪会場
- 5. 最初に質問 ?? みなさん、テスト好きですか？ ?? 私はキライです（というか苦?手です） ?? でもテストを勉強するのは楽しいです！ 2015/01/31 MVP Community Camp 2015 大阪会場
- 6. 本?日の?目標 : ?発表前 ?? テストだりー。単純作業でめんどくせー。 2015/01/31 MVP Community Camp 2015 大阪会場
- 7. 本?日の?目標 : ?発表後 ?? テストすげー！！考える事いっぱいある じゃん！！ 2015/01/31 MVP Community Camp 2015 大阪会場
- 8. Why: ?なぜテストをする？ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 9. テストをする理理由は？ ?? テスト報告書を埋めないといけないから！ 2015/01/31 MVP Community Camp 2015 大阪会場
- 10. テストをする理理由 ?? 製品の品質を向上させるため ???品質保証（QA）活動の?一貫 ?? 品質が悪いプロダクトは、、、 2015/01/31 MVP Community Camp 2015 大阪会場
- 11. どーん！！！ 2015/01/31 MVP Community Camp 2015 大阪会場
- 12. アリアン5爆発事故 ?? ヨーロッパで打ち上げられ、発射40秒後 に爆破炎上したロケット ?? 被害総額600億円 ?? 原因はソフトウェアのバグ ???64bit型から16bit型への代?入で起きた バッファオーバーフロー 2015/01/31 MVP Community Camp 2015 大阪会場
- 13. Therac ?25 ?医療療事故 ?? 放射線治療療器 ?Therac ?25 ?による医療療事故 ?? 放射線の爆射量量のコントロールが不不安定で、 少なくとも6?人が死亡、怪我?人多数 ?? 原因はUIの制御フローに混?入した ソフトウェアバグ ???8秒以内に連続してキー操作すると安全装置が 外れる 2015/01/31 MVP Community Camp 2015 大阪会場
- 14. ?十分な品質を満たさない ソフトウェアは??? ?? 莫?大な損失を?生む ????金金銭的損失 ???社会的損失 ?? 実際に市場に出てからのエラーの改修 コストは?非常に?高い ???開発時に?食い?止めることが?非常に重要 ?? そういえばなんか怖い話最近ありましたね ???http://blog.tokumaru.org/2015/01/ sql.html 2015/01/31 MVP Community Camp 2015 大阪会場
- 15. なぜテストをするのか？ ?? ?十分な品質の製品を世に送り出すため ?? 品質不不?十分な製品をリリースすると、会社 に深刻なダメージを与えてしまう 2015/01/31 MVP Community Camp 2015 大阪会場
- 16. What: ?なにをテストする？ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 17. 品質保証2つの観点 ?? Veri?cation: ?正しくものを作っているか？ ???仕様を実現できているか？ ???設計通りに物をつくっているか？ ???ドキュメントと製品に乖離離はないか？ ???プログラムバグを残していないか？ ?? Validation: ?正しいものを作っているか？ ???そのソフトウェアは顧客の要求を本当に満た すことができるか？ ???製品として意味があるものか？
- 18. 有名な絵で?言うと??? 2015/01/31 MVP Community Camp 2015 大阪会場
- 19. 有名な絵で?言うと??? ?? そもそも、「正しく」つくれていない ???情報の伝達がメチャクチャ ???コード?ドキュメントもズタボロ ?? しかし、受け?手側が豪華なブランコを完璧 に作ったとしても、「正しい」ものかは怪 しい ???顧客が本当にそれが必要だったのか？ ???BtoCだったら価格競争で負けそう（?小並感） 2015/01/31 MVP Community Camp 2015 大阪会場
- 20. When: ?いつテストをする？ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 21. よく?見見る?風景 2015/01/31 MVP Community Camp 2015 大阪会場 おもてたんと ちがーう！！！
- 22. どうすればよかった？？ 2015/01/31 MVP Community Camp 2015 大阪会場 テストします！！納品前 に死ぬほどテストしま す！100?人、いや1000 ?人雇ってしらみつぶしで テストします！！
- 23. 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 24. テストは常に在るもの ?? 最後に?一気にテストをするのは 『ビッグバンテスト』 と呼ばれるアンチパターン ?? 各フェイズにおいて、少しずつテストを実 ?行行する『インクリメンタルテスト』 を?行行うべき 2015/01/31 MVP Community Camp 2015 大阪会場
- 25. どうすればよかった？？ 2015/01/31 MVP Community Camp 2015 大阪会場 まず設計が無茶茶。 作れんのこれ？ そもそもニーズを捉 えられてない ほらやっぱ作れへんかっ た。これ事故するぞ。 いや確かにそれだと 事故らへんけどさ… それ遊べるの？ これはさすがに 乗りにくいやろ…
- 26. いつテストをするのか？ ?? 常にテスト（あるいは何らかの検証作業） が?行行われているのが理理想 ?? ?一つのテストでバグを取り切切るのは不不可能 ?? テストは「いつでも」すべき 2015/01/31 MVP Community Camp 2015 大阪会場
- 27. Where: ?どこをテストする？ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 28. どうすればよかった？？ 2015/01/31 MVP Community Camp 2015 大阪会場 まず設計が無茶茶。 作れんのこれ？ そもそもニーズを捉 えられてない ほらやっぱ作れへんかっ た。これ事故するぞ。 いや確かにそれだと 事故らへんけどさ… それ遊べるの？ これはさすがに 乗りにくいやろ… 要求?機能仕様を 精査する 設計を 精査する 単体での 動作確認 結合しての 動作確認 システムとしての 妥当性確認
- 29. どこをテストする？ : ?深さ軸（テストレベル） ?? 開発の各段階において、検証すべき場所は 異異なる ???要求?機能仕様: ?対応するドキュメント ???設計: ?ドキュメント?モデル ???実装: ?関数 ?? ?モジュール ?? ?システム ?? 適切切な粒粒度度で?見見ておかないと死にます 2015/01/31 MVP Community Camp 2015 大阪会場
- 30. ?色々な粒粒度度で、 考えられる限りのテストを しよう！！ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 32. どこをテストする？ ：広さ軸（テスト範囲） ?? どこもかしこもテストしまくる時間なんて ない！ ?? 範囲を絞り込む仕組みが必要 ???コードの解析によりダメそうな箇所を発?見見 ???（派?生開発なら）既存のプロダクトからの 変更更範囲を絞込み 2015/01/31 MVP Community Camp 2015 大阪会場
- 33. Who: ?誰がテストする？ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 34. テスターだけがテスター じゃない ?? テスト活動は開発全体をカバーする ? ?様々な利利害関係者を巻き込む ?? 序盤：企画担当者 ?? 中盤：開発者 ?? 終盤：お客さん
- 35. 誰を巻き込む？？ 2015/01/31 MVP Community Camp 2015 大阪会場 まず設計が無茶茶。 作れんのこれ？ そもそもニーズを捉 えられてない ほらやっぱ作れへんかっ た。これ事故するぞ。 いや確かにそれだと 事故らへんけどさ… それ遊べるの？ これはさすがに 乗りにくいやろ… 要求?機能仕様を 精査する 設計を 精査する 単体での 動作確認 結合しての 動作確認 システムとしての 妥当性確認 企画者 アーキテクト プログラマ テスター ユーザ 仮想ユーザ
- 36. How:どうやってテストする？ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 37. やることがいっぱい。。。 2015/01/31 MVP Community Camp 2015 大阪会場 要求?機能仕様を 精査する 設計を 精査する 単体での 動作確認 結合しての 動作確認 システムとしての 妥当性確認 要求レビュー プロトタイピング 設計レビュー コードレビュー 単体テスト 結合テスト システムテスト βサイトテスト
- 38. あれ、、、？ なんか忘れてるような、、、？ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 39. そうだ！！ここはMSの イベントだった！！！ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 40. Microsoft（と周りの?人）が 助けてくれる！！ 2015/01/31 MVP ?Community ?Camp ?2015 ?大阪会場
- 41. テストを?支える技術 ① ?VSO ?/ ?TFS ?? Visual ?Studio ?Online ?と ?Team ? Foundation ?Server ?はテストにも活躍 ???要求のマネジメント ???要求からのテストケース作成 ???要求 ?→ ?機能 ?→ ?コード ?→ ?テストの?一気通貫 2015/01/31 MVP Community Camp 2015 大阪会場
- 42. テストを?支える技術 ① ?VSO ?/ ?TFS ?? Visual ?Studio ?Online ?と ?Team ? Foundation ?Server ?はテストにも活躍 ???要求のマネジメント ???要求からのテストケース作成 ???要求 ?→ ?機能 ?→ ?コード ?→ ?テストの?一気通貫 2015/01/31 MVP Community Camp 2015 大阪会場
- 43. テストを?支える技術 ② ?Sketch ?Flow ?? ?高速プロトタイピングツール ?? 要求 ?→ ?画?面仕様 ?を素早く確認できる！！ ?? Visual ?Studio ?Premium ?以上に搭載 ???できれば、Pro（Community）で使えるよう になってほしいな。。。 2015/01/31 MVP Community Camp 2015 大阪会場
- 44. テストを?支える技術 ③ ?静的コード解析 ?? Visual ?Studioに搭載済み ???危ないコードを書いていないか確認 （FxCop, ?StyleCop ?などなど） ?? Sonar ?Sourceというオープンソースの 解析サーバもある ???危ないところを分厚くテスト ?? （番外）Googleのバグ予測ツール “BugRep” ???ヤバいところ ?= ?頻繁に変更更があった場所 2015/01/31 MVP Community Camp 2015 大阪会場
- 45. テストを?支える技術 ④ ?コードレビュー ?? 最近のソースコード管理理システムは、 “プルリクエスト”という概念念で コードレビューを取り込んでいる ???VSOももちろん！ 2015/01/31 MVP Community Camp 2015 大阪会場
- 46. テストを?支える技術 ④ ?コードレビュー ?? 最近のソースコード管理理システムは、 “プルリクエスト”という概念念で コードレビューを取り込んでいる ???VSOももちろん！ 2015/01/31 MVP Community Camp 2015 大阪会場
- 47. テストを?支える技術 ④ ?コードレビュー 2015/01/31 MVP Community Camp 2015 大阪会場
- 48. テストを?支える技術 ⑤ ??自動ホワイトボックステスト ?? ホワイトボックステスト: ???ソースコード上取りうる、すべてのパスを 満たすようなテストを?行行う ???シンプルなケースでも全パステストは膨?大に なる ?（2^if?文の数、条件20個で100万超） ? ??人が書くもんじゃない！ ?? Pex ?from ?Microsoft ?Research ????自動で「?面?白い」パスを?見見つけ出してくれる ???VS2015で ?“Smart ?Unit ?Test”としてとうとう 標準対応 2015/01/31 MVP Community Camp 2015 大阪会場
- 49. テストを?支える技術 ⑥ ?単体テストサポート ?? 「単体テスト」と簡単にいうけれど、、、 モジュールの結合を外すのは?大変 ?? そこで、Fake ?from ?Microsoft ?Research (旧名Moles) ???あらゆるオブジェクトのモックを作ってくれ るライブラリ ?? …のOSS版 ?Prig （http://urasandesu.github.io/Prig/） ????日本の?方が作ってます！ 2015/01/31 MVP Community Camp 2015 大阪会場
- 50. テストを?支える技術 ⑦ ?システムテスト?自動化 ?? 「完成品」に対するテスト ?? Webの世界: ?Seleniumなどで先?行行 ???しかし「つらい」という話をよく聞く ?? Visual ?Studioにも組み込まれている （Coded ?UI ?Test） ???けれど…やっぱり不不安定 ?? ここはFriendlyが?一番すごい！ http://www.codeer.co.jp/AutoTest ???テストが?高速、かつ?非常に安定する 2015/01/31 MVP Community Camp 2015 大阪会場
- 51. 「巨?人の肩に乗ろう！」 2015/01/31 MVP Community Camp 2015 大阪会場 要求?機能仕様を 精査する 設計を 精査する 単体での 動作確認 結合しての 動作確認 システムとしての 妥当性確認 要求レビュー プロトタイピング 設計レビュー コードレビュー 単体テスト 結合テスト システムテスト βサイトテスト VSO?TFS SketchFlow VSO/TFS ?Pull ?Request Pex Fake Coded ?UI ?Test Atlassian ?/ Redmine Alloy ?/ ?SPINなどの モデル検査ツール Github Prig Friendly
- 52. まとめ ?? テスト ?≠ ?単純な刺刺?身タンポポ作業 ?? 開発プロセスを?見見通した上で、あらゆる 関係者と協業する?高度度スキル ? ?? テストを究める ?≒ ?ALM 2015/01/31 MVP Community Camp 2015 大阪会場
- 53. おすすめ書籍 ?? How ?Google ?Test ?Software （テストから?見見えてくる ? ? ?Googleのソフトウェア開発） ?? 知識識ゼロから学ぶソフトウェアテスト 2015/01/31 MVP Community Camp 2015 大阪会場