テストアプローチにデータ分析を使おう
- 1. テストアプローチにデータ分析を使おう WACATE実行委員会 なかのさやか スーパーアドバイザー 小池利和様（ヤマハ（株）） 2012/12/15 Copyright (C) 2012 WACATE All rights reserved
- 2. このセッションの目的 ? テストアプローチを考える ? データ分析（結果）に触れる ? テストチームが主体となってできることを 考える Copyright (C) 2012 WACATE All rights reserved
- 3. このセッションの対象者 ? テストアプローチ（計画）にまだあまり携 わっていない人 ? テストアプローチに悩んでる人 ? データを取ってるだけの人 ? データと聞くと数字を連想して毛嫌いする 人 ? データ分析と聞くと統計学とか数式とかを 連想して毛嫌いする人 Copyright (C) 2012 WACATE All rights reserved
- 4. このセッションの流れ ? テストアプローチのお話 ? データ分析のお話 ? ワークをやってみよう – 个人ワーク – グループワーク ? 発表（２グループくらい） Copyright (C) 2012 WACATE All rights reserved
- 5. テストアプローチ Copyright (C) 2012 WACATE All rights reserved
- 6. テストアプローチ？ ? JSTQB FLシラバスより 5.2.6 テスト戦略、テストアプローチ(K2) テストアプローチは、特定のプロジェクトにおいてテス ト戦略を実装することである。 代表的なアプローチとして、以下のものがある。 – 緊急度や重要度などを考慮したリスクベースドテスト のような分析的アプローチ – 故障率や使用性などの統計情報を基にするモデルベー スアプローチ – エラー推測や品質特性を基にする方法論的アプローチ など、JSTQB FLシラバスには7種類があげられている Copyright (C) 2012 WACATE All rights reserved
- 7. テストアプローチ？ ? みなさんに質問 ? テストアプローチといったこと、やってま す？ – 私がやってる – 誰かがやってるらしい – やってない – やってるかどうかわからない – なにそれ、おいしいの？ Copyright (C) 2012 WACATE All rights reserved
- 8. テストアプローチ？ ? いつやるの？ ? だれがやるの？ ? なぜやるの？ Copyright (C) 2012 WACATE All rights reserved
- 10. Copyright (C) 2012 WACATE All rights reserved
- 11. テストアプローチ ? 「☆▼テスト」というだけでもこんなにあ る ? テストをするとき、これ、全部やります？ ? やらないですよね？ Copyright (C) 2012 WACATE All rights reserved
- 12. テストアプローチ ? なんのテストをやろうか ? どんな風にテストをやろうか ? どのくらいの工数が必要か ? どんなリスクが潜んでいるだろうか ? どうやって欠陥を見つけようか ? 効果的に欠陥を検出するにはどうするか ? 必ずやっておかなければならないのは何か などなど。。。 Copyright (C) 2012 WACATE All rights reserved
- 13. テストアプローチ ? JSTQBのシラバスでは（参考） テストアプローチは、テスト計画とテスト設計の中で定 義され、改良される。これには、一般的に(テスト)プロ ジェクトのゴールとリスクアセスメントに基づく決定を 盛り込む。それは、テストプロセスの計画、テスト設計 技法の選択とテストタイプの適用、開始?終了基準の定 義などを行うための出発点である。 ? ISTQBシラバス準拠 ソフトウェアテストの基礎 では（参考） テストアプローチあるいはテスト戦略の選択は、テスト 作業の成功と、テスト計画と見積もりの正確性の要素の1 つです。 ケースバイケースで、最も意味があるテストアプローチ を採用して、そのアプローチを各自で利用したり変更し たりするしかありません。 Copyright (C) 2012 WACATE All rights reserved
- 14. テストアプローチ ? 現場の仕事がバリバリ進む ソフトウェアテスト手法 では（参考） – 2-4-7 アプローチ アプローチは非常に重要です。ここに書くことは、 2.4.3項「はじめに」で書いたテストの方向性、つまりテ スト戦略を具現化するためのテストの方法を記載す るからです。 ? テストの概要（どんな種類のテストを誰がいつ実施 するのか） ? テストツール導入に関して ? テストリリース方法（構成管理） ???など Copyright (C) 2012 WACATE All rights reserved
- 15. テストアプローチ スケジュール テストしない テストベース 弱点 テスト範囲 テスト対象 テストタイプ リスク テスト観点 テストレベル テストツール テストする テスト環境 Copyright (C) 2012 WACATE All rights reserved
- 16. テストアプローチ ? 一次開発、二次開発、と開発をするとき、 同じ開発者の場合は同様の傾向を示すので、 一次開発の傾向を二次開発のインプットと することが有効 – 欠陥の偏在 – 同様のミス – 思いこみ ???など Copyright (C) 2012 WACATE All rights reserved
- 17. Copyright (C) 2012 WACATE All rights reserved
- 18. データ分析 Copyright (C) 2012 WACATE All rights reserved
- 19. データ分析？ ? 数字読むの？ ? 数式がよくわからない、難しい ? パラメータとか基準値とか???ねぇ？ ? 数学、苦手なのよねぇ Copyright (C) 2012 WACATE All rights reserved
- 20. データ分析？ ? 見積り?予測ができる ? 裏付けが取れる ? 裏付けを基に適切な対策を打てる ? 同じ開発者/チームで行う場合、一次開発と二次開発は 同様の傾向を示すことが知られています ? 客観的事実を示せる ? データ/メトリクスによって明らかになるこ とがある Copyright (C) 2012 WACATE All rights reserved
- 21. データ分析？ プロジェクトの 背景 データ収集 データ分析 データ 結果 データ 結果 の収集 分析 プロジェクトの 成果物 データ分 テスト戦略で定 析結果か 現場へ められたメトリク ら傾向を ス 次のメト のヒア 読みとる リクスの リング 設定 データから読み解 事実 く傾向想定リスト テストアプローチ 内容 改善点 の設定 想定と 次のテス 事実とのつき合 事実の トのアプ わせ結果 つき合 ローチ検 わせ 討 Copyright (C) 2012 WACATE All rights reserved
- 22. データ分析からのテストアプローチ ? 数字を読んだり、数式を理解したり、とい う難しいことは得意な人orツールにとりあ えずお任せ！ ? グラフとか表とかに既に加工されたものを 見てみよう ? 何か傾向とか特徴とかでてない？ Copyright (C) 2012 WACATE All rights reserved
- 23. Copyright (C) 2012 WACATE All rights reserved
- 24. ワークをやろう Copyright (C) 2012 WACATE All rights reserved
- 25. 个人ワークとグループワーク 个人ワークとグループワークをやります。 个人ワークでは、これから説明するプロジェクトの新 規開発のテスト結果を表したグラフについて、みなさ んだったら何を読みとるかを考えていただきます。 その後、个人ワークで読んでいただいたテスト結果に 対して、別のチームが分析/ヒアリングした資料を配 布します。 グループワークでは後から配布する資料を基に、総合 評価と第2次開発のテストではどんなアプローチをす るかを考えてください。 最後にどこかのグループに発表していただきます。 Copyright (C) 2012 WACATE All rights reserved
- 26. ワークの範囲 プロジェクトの 个人ワーク 背景 データ収集 データ分析 データ 結果 データ 結果 の収集 分析 プロジェクトの 成果物 データ分 テスト戦略で定 析結果か 現場へ められたメトリク ら傾向を ス 次のメト のヒア 読みとる リクスの リング 設定 データから読み解 グループワーク く傾向想定リスト 事実 テストアプローチ 改善点 内容 の設定 想定と 次のテス 事実とのつき合 事実の トのアプ わせ結果 つき合 ロ―チ検 わせ 討 Copyright (C) 2012 WACATE All rights reserved
- 27. プロジェクト背景 配布資料 この夏、WACATE Corporationのなんでも開発部で新規 開発がありました。前例プロジェクトのない、初の開発で した。 この冬、第2次開発をすることになりました。 でも、新規開発に対してリリース後の問合せが多発し、欠 陥と判断されたものも多数ありました。そこで、第2次開 発をするにあたり、Y本部長から「テストを強化しろ」と いうお達しがありました。 お達しを受けたなんでも開発部のO部長は、同じ事業部内 のなんでもテスト部のS部長に第2次開発におけるシステ ムテストを依頼しました。依頼を受けたS部長は、O部長 から新規開発時のテストの状況を知るために、テスト結果 報告書の提供をしてもらい、第2次開発の参考にすること にしました。 Copyright (C) 2012 WACATE All rights reserved
- 28. なんとか开発部（デスマ中） WACATE Corp. なんでも開発事業本部 K部長 Y 本部長 G課長 B課長 配布資料 なんだって開発部 なんだってテスト部 O 部長 新規開発をした S 部長 チーム U 課長 I 課長 A 課長 若手太郎???他 三浦鮪???他 三崎伽哩 Copyright (C) 2012 WACATE All rights reserved
- 29. 个人ワークをやろう Copyright (C) 2012 WACATE All rights reserved
- 30. 个人ワークのお题 配布資料 O部長はS部長からお願いされたとおり、新規開発時のテスト結果 報告を開発を担当したI課長から受取り、S部長に提出しました。 S部長「三崎さん、例の開発のテスト結果報告もらったから、 ちょっとこれ、見てくれる？」 三崎伽哩「はぁーい」 S部長「これ見た結果を、あとで報告よろしく。あ、そうそうこの 後やまさき本部長と出かけなきゃならないから、まとめておいて。 明日の朝の部長会で報告聞くよ。あ、そのときにはやまさき本部 長もいらっしゃるから、そのつもりで(??人??)????????」 と、伽哩ちゃんはいつもにこにこ優しいS部長のお願いを受け取り ました。 みなさんはこの伽哩ちゃんの立場となってください。 Copyright (C) 2012 WACATE All rights reserved
- 31. 个人ワーク 配布資料 ? 配布物 – 開発部のテスト実施報告書 ? やること – 報告書にある各グラフで、気になるところに印 をつけてみましょう。 – 時間は10分です。 – 全部を見切るのは難しい人は、2つか3つに絞り ましょう。 – 余裕がある人はどう気になったかメモもつけま しょう Copyright (C) 2012 WACATE All rights reserved
- 32. 準备はいいですか？ Copyright (C) 2012 WACATE All rights reserved
- 33. ワーク中 Copyright (C) 2012 WACATE All rights reserved
- 34. グループワークをやろう Copyright (C) 2012 WACATE All rights reserved
- 35. グループワークのお题 配布資料 三崎伽哩「5辛???かなぁ。もうちょっと言ってもいいかなぁ。 本部長がいらっしゃるところで報告することになるんだし、次の テストはこっち（テスト部）がやることになるんだし、テスト動 きやすくしたいなぁ。若手先輩だったらどうするかなぁ。。。」 数時間後、テスト部のみなさんのところに伽哩ちゃんからミー ティングリクエストが届きました。 三崎伽哩「例の開発のテスト結果報告を分析して、ダサいところ は直接聞いてきました。次の開発ではシステムテストはこちら （テスト部）でやることになりますので、開発部のテスト実施結 果に対する評価と、我々のシステムテストをどうするかを、相談 させてください。なお、会議室の予約の関係上40分しか時間がと れませんでした。」 というワケで、各グループが伽哩ちゃんからミーティングリクエ ストを受け取ったテスト部メンバーとなって、ワークをしてくだ さい。 Copyright (C) 2012 WACATE All rights reserved
- 36. グループワーク 配布資料 ? 配布物 – テスト部によるテスト実施報告の調査書 ? やること – テスト実施報告の調査書に評価の☆をつける – ☆をつけた理由を、調査内容を基に作成 – 第2次開発のテストに向けてのアプローチの検 討 ? つかうもの – 各テーブルにある模造紙 Copyright (C) 2012 WACATE All rights reserved
- 37. 模造纸に书くこと 配布資料 ? 評価チーム名またはチームメンバーの名前 ? ☆の数（最高3つ） ? ☆の数の理由 ? 評価内容 ? 次期テストにおける改善点 – テストアプローチにつながることがベスト！！ 注：スケジュールやメンバーのレベルなどで変わる優先度は、 考慮しなくて良いです。テストアプローチとして考え得る ことを出しましょう Copyright (C) 2012 WACATE All rights reserved
- 38. 準备はいいですか？ Copyright (C) 2012 WACATE All rights reserved
- 39. ワーク中 Copyright (C) 2012 WACATE All rights reserved
- 40. 他のグループはどうなった？ ? ２～３班に発表していただきます ? 発表したい班は挙手！！！ ? 後ろに待機されてるゲストの方から講評が いただけるかも！？ Copyright (C) 2012 WACATE All rights reserved
- 41. 注意！ ? 今回紹介したものがすべてじゃない ? 今回紹介したものがどんな現場にも通用す るわけではない ? データ分析ですべてがわかるわけではない ? データ分析からわかったことが絶対ではな い Copyright (C) 2012 WACATE All rights reserved
- 42. データ分析、もっと知りたい？ （ソフトウェア品質技術者のための）データ分析勉強会 日時：2012/12/22 主催：小池様（ヤマハ（株）） JUSE-SQiP特別講演会 データ指向の ソフトウェアマネジメント 日時：2013/2/25 講演：野中先生（東洋大学） 事例発表：小池様（ヤマハ（株）） SQiP研究会 メトリクス演習コース（来期に新設予定？） 主査：小池様（ヤマハ（株）） Copyright (C) 2012 WACATE All rights reserved
- 43. 参考書籍 ? データ指向のソフトウェア品質マネジメント メトリクス分析による「事実にもとづく管理」の実践 ? 定量的品質予測のススメ ITシステム開発における品質予測の実践的アプローチ ? 続 定量的品質予測のススメ ITシステム開発における定量的品質管理の導入ノウハウと上流工程へのアプローチ ? 演習で学ぶソフトウェアメトリクスの基礎 【ソフトウェアの測定と見積もりの正しい作法】 ? 初めて学ぶソフトウェアメトリクス 【プロジェクト見積もりのためのデータの導き方】 ? ソフトウェア品質保証の考え方と実際 オープン化時代に向けての体系的アプローチ ? JSTQB FLシラバス ver.2011.J01 ? JSTQB ALシラバス ver.2007.J03 ? ISTQBシラバス準拠 ソフトウェアテストの基礎 ? ソフトウェア?テスト PRESS Vol.9 ? ソフトウェア品質知識体系ガイド－SQuBOK Guide－ ? 2012-2013 データ白書 ? 現場の仕事がバリバリ進む ソフトウェアテスト手法 ? ステップアップのためのソフトウェアテスト実践ガイド Copyright (C) 2012 WACATE All rights reserved