![(2)探索的テストとは？ -定義?JSTQB：ソフトウェアテスト標準用語集
– 非公式なテスト設計技法の一つ。
– テストを実施する過程で、
テスト担当者がテスト実施情報を活用しながら
テスト設計をコントロールし、
積極的に質の高い新しいテストケースを設計する。
[After Bach]
2013/11/15
JaSST'13 Tokai SIG
6](https://image.slidesharecdn.com/slideshare-131117055800-phpapp01/85/-6-320.jpg)
![(4)探索的テストに必要な要素
?これまでの話やJaSST'13東海での気付き、
みなさまの豊富なプロジェクトの経験を踏まえ、
探索的テストに必要な要素を形にしよう！
– テストチャータ(探索的テストのガイドライン)を
テンプレートとして、探索的テストに必要な要素を
付箋に書き入れてみよう。[15分]
– みなさんで考えたテストチャータを共有し、
知見と知見の化学変化を起こしてみよう！ [10分]
2013/11/15
JaSST'13 Tokai SIG
20](https://image.slidesharecdn.com/slideshare-131117055800-phpapp01/85/-20-320.jpg)
![(5)探索的テストの5要素
4.経験則によるテスト
?経験則は、どう実施かを決めることを手助けする
経験的常識またはガイドライン。
(1)経験的常識
– 産業機械など
電源用ランプが消灯状態でボタンを押下後、電源ON。
– エレベータ
[↑]ボタンを押下すると、下の階から上昇したカゴが停止。
(2)ガイドライン
– 社内開発規約「MISRA Cの規約に沿って実装すること。」
2013/11/15
JaSST'13 Tokai SIG
27](https://image.slidesharecdn.com/slideshare-131117055800-phpapp01/85/-27-320.jpg)
探索的テストを探索する
- 1. 「探索的テストを探索してみよう！」 -Explore Exploratory Testing都築 将夫(罢贰贵东海)
- 3. 自己紹介 ?業務歴 – 開発課：7.5年間(0.5年間は兼務) テスト担当 – 第3者検証課：1.5年間～(現在) テストリーダ担当 ?主な業務 – 組み込み機器のF/Wテスト管理＆担当 ?社外活動 – 2010年春から、TEF東海(※)の勉強会で活動中。 また、TEF東海合宿を企画&運営など、諸々活動中。 ※Testing Engineer's Forum: ソフトウェアテスト技術者交流会の地方部会 → 詳細は、 swtest.jp を参照下さい。 2013/11/15 JaSST'13 Tokai SIG 3
- 6. (2)探索的テストとは？ -定義?JSTQB：ソフトウェアテスト標準用語集 – 非公式なテスト設計技法の一つ。 – テストを実施する過程で、 テスト担当者がテスト実施情報を活用しながら テスト設計をコントロールし、 積極的に質の高い新しいテストケースを設計する。 [After Bach] 2013/11/15 JaSST'13 Tokai SIG 6
- 7. (2)探索的テストとは？ -定義?SQuBOK：ソフトウェア品質知識体系 – テスト対象に関して「適切な振舞い仮説」を作り、 動作させながらテスト設計、テスト実行を 同時並行的に行うテスト。 – 指示書がある「チャーター付き探索的テスト」では、 テストの戦術や、リスク、行うべきことの ガイドラインが示される。 2013/11/15 JaSST'13 Tokai SIG 7
- 8. (2)探索的テストとは？ -定義?Exploratory Testing Explained (satisfice.com)の 記事によると – 「学習/テスト設計/テスト実行を同時に行うこと」 – 「テスターが新しいテスト設計やより良いテストを 実行して得られた情報を利用して実行することで、 活発に制御する範囲でテストすること。」 – 「探索的テスト」という専門用語は、 Cem Kanerの"Testing Computer Software"という書籍で、 主に非スクリプトテスト(※)を含むプロセスと 教えやすい実務で開発することを手始めに考えた。 ※既に記述されているテスト順序通りに実行するテスト方法 2013/11/15 JaSST'13 Tokai SIG 8
- 9. (2)探索的テストとは？-私の定義?下記要素を踏まえた進化型テストアプローチ 1. 過去プロジェクト＆類似プロジェクトの 「テスト実施結果」「インシデントレポート」 「市場不具合」等、ありとあらゆる情報を収集。 2. テスト対象の「弱点」「教訓」「変化」の要素を抽出し、 テストチャータ(指示書、ガイドライン)として利用。 3. テストチャータを用いたテスト実行結果から、 次に実施するテストケースを検討し、 テストチャーターを動的に変化。 4. テスト実施結果やメンバーからの開発情報を積み重ねつつ、 学習しながらテストを実行。 2013/11/15 JaSST'13 Tokai SIG 9
- 12. (3)JaSST'12東海SIGでの気付き 2.ふりかえり内容 ＜開発側＞ ① ② ③ ④ ⑤ 市場不具合関連ドキュメントの不具合発生原因 反省会(ふりかえり)資料 or ホワイトボード資料 インシデントレポートの設計見直し内容 開発者と愚痴を含んだ過去の立ち話 レビューで極端に指摘が多い or 少ない機能や モジュール 2013/11/15 JaSST'13 Tokai SIG 12
- 13. (3)JaSST'12東海SIGでの気付き 2.ふりかえり内容 ＜テスト側＞ ① テストケースで不足した or 無かった要素(条件等) ② 過去のテストケースで、 テスト実施内容が解釈によって分かれるもの ③ コピー&ペースト&モディファイなテストケース ④ インシデントレポートで多く指摘した機能 ⑤ 網羅的に実施しなかったテストケース 2013/11/15 JaSST'13 Tokai SIG 13
- 14. (3)JaSST'12東海SIGでの気付き 3.○○が多い/○○な傾向 ① 仕様書の備考欄に記述されている割に、 実は重要な仕様 ② 仕様書の説明が複雑な機能 ③ 1機能を複数の部署 or 会社で設計した モジュール ④ 特定の設計者の癖(関数名の間違いなど) ⑤ 関数名や機能名が類似しているところ ⑥ 出力が不安定になりやすい機能 2013/11/15 JaSST'13 Tokai SIG 14
- 15. (3)JaSST'12東海SIGでの気付き 4.観察 ① テスト対象の表示値やLED等の出力の変化 ② 仕様書の変更頻度 ③ 仕様書の更新時間帯(特に深夜) ④ 設計者席の雑踏度(問い合わせ頻度) ⑤ 設計レビューで揉めた機能 or キーワード ⑥ 設計レビューで何度もを実施している機能 2013/11/15 JaSST'13 Tokai SIG 15
- 16. (3)JaSST'12東海SIGでの気付き 5.推測 ① 設計書が無い状態で外部から内部処理を推測 ② 過去の不具合が多発するモジュールの挙動 ③ 入力や外乱の候補(ノイズ、誤操作) ④ 開発メンバーがミスしやすいタスク ⑤ 不具合現象から引き起こす損害(失敗事例) 2013/11/15 JaSST'13 Tokai SIG 16
- 17. (3)JaSST'12東海SIGでの気付き 6.教訓 ① ふりかえりで次回プロジェクトへの取り組み ② ベテラン技術者の経験談(失敗したこと) ③ 開発でよく失敗する処理に関わる機能 ④ 表示系デバイスの連打入力 ⑤ 市場不具合の再発防止策 2013/11/15 JaSST'13 Tokai SIG 17
- 18. (3)JaSST'12東海SIGでの気付き 7.○○をやってみた ① 自分がやったことのない操作 ② 操作手順をポンチ絵で検討 ③ エラーメッセージから検討した 異常な一連の操作(運用ミス) ④ エラー解消に至る操作 (トラブルシューティング) ⑤ テスト実行に関わる要素(操作や条件)の 組み合わせ 2013/11/15 JaSST'13 Tokai SIG 18
- 20. (4)探索的テストに必要な要素 ?これまでの話やJaSST'13東海での気付き、 みなさまの豊富なプロジェクトの経験を踏まえ、 探索的テストに必要な要素を形にしよう！ – テストチャータ(探索的テストのガイドライン)を テンプレートとして、探索的テストに必要な要素を 付箋に書き入れてみよう。[15分] – みなさんで考えたテストチャータを共有し、 知見と知見の化学変化を起こしてみよう！ [10分] 2013/11/15 JaSST'13 Tokai SIG 20
- 23. (5)探索的テストの5要素 1. 2. 3. 4. 5. 製品探索 テスト設計 テスト実行 経験則によるテスト レビュー可能な結果 2013/11/15 JaSST'13 Tokai SIG 23
- 24. (5)探索的テストの5要素 1.製品探索 ?潜在的な不安定領域とデータ処理の型、 製品の目的と機能を発見し、記録する。 – 潜在的な不安定領域 ?既存の製品なら、市場クレームの情報。 – データ処理の型 ?構造体の予約領域 – 製品の目的や機能 ?何のために製品を利用しているのか？ ?製品が動作することで、何が変化するのか？ 2013/11/15 JaSST'13 Tokai SIG 24
- 25. (5)探索的テストの5要素 2.テスト設計 ?製品の操作、観察、価値の戦略を決める。 – 製品の操作と観察 ?どのように使用するのか？ ?どのような動きをするのか？ – 製品の価値 ?製品があるとうれしいこと ?製品がなかったら困ること 2013/11/15 JaSST'13 Tokai SIG 25
- 27. (5)探索的テストの5要素 4.経験則によるテスト ?経験則は、どう実施かを決めることを手助けする 経験的常識またはガイドライン。 (1)経験的常識 – 産業機械など 電源用ランプが消灯状態でボタンを押下後、電源ON。 – エレベータ [↑]ボタンを押下すると、下の階から上昇したカゴが停止。 (2)ガイドライン – 社内開発規約「MISRA Cの規約に沿って実装すること。」 2013/11/15 JaSST'13 Tokai SIG 27
- 28. (5)探索的テストの5要素 5.見直し可能な結果 ?探索的テストは、結果指向プロセスである。 – スクリプトテスト実施後の結果をベースに 探索的テストで何をテスト実施するのか決める。 – 探索的テスト実施後の結果から次テストで 何のテストを実施するのかを決める。 ?要求の特定を見つける成果物を作り出す。 – 特に、レビュー可能で保証するため、 正当化できるテスト結果が重要。 2013/11/15 JaSST'13 Tokai SIG 28
- 30. 参考文献 ?Exploratory Testing Explained (Satisfice, Inc) – http://www.satisfice.com/articles/et-article.pdf ?General Functionality and Stability Test Procedure(James Bach) – http://www.satisfice.com/tools/procedure.pdf ?A Tutorial in Exploratory Testing(Cem Kaner) – http://kaner.com/pdfs/QAIExploring.pdf 2013/11/15 JaSST'13 Tokai SIG 30