テスト自动化の现场から词テスト自动化の保守の话词
9 likes2,440 views
自动化したテストは一度作ったら终わりではなく、テスト対象への仕様追加や仕様変更、テスト环境の変化などに适応していかなければなりません。この発表では、実际の现场で起きた自动化の失败例や、成功例をご绍介します。
More Related Content
What's hot (19)
Viewers also liked (6)
Similar to テスト自动化の现场から词テスト自动化の保守の话词 (20)
More from Satsuki Urayama (6)
テスト自动化の现场から词テスト自动化の保守の话词
- 3. 自己紹介 浦山 さつき ? 仕事 エンプラ?金融系システムのテスト テスト設計、テスト自動化、マネジメント、教育 ? 所属コミュニティ テスト自動化研究会 しなてす ? 書籍 『システムテスト自動化標準ガイド』共訳 ? 登壇 WACATE2015夏 CEDEC2014 JaSST ’14 Tohoku JaSST ’13 Tokyo 他
- 10. 顧客満足度を上げるための様々な施策 例 新規登録?更新 反映 各コンテンツの機能障害検知、速度調査 施策 ? 機能障害を検知する 仕組みの導入 ? 障害の定義 ? 許容時間の定義 店舗 クレーム 店舗情報 ポータル サイト
- 12. 自動化の背景 0.0 0.5 1.0 1.5 2.0 2.5 2011 2012 2013 2014 2015 倍 ユニークユーザー数 有料加盟店舗数 5万件 を突破
- 17. システムテストチーム 体制イメージ テスト自動化チーム ×10人 ?回帰テストの自動化 ?自動テストの運用 開発チーム A機能 B機能 C機能 … A機能 B機能 C機能 …
- 19. 自動テストのスコープ ①199X年 新規開発 ⑤サービス終了 ②設計 影響調査 ③修正の実施 ④-1 ユニットテスト ⑥201X年 システム刷新 サービス追加要件 リリース ④-2 統合テスト ④-3 システムテスト ④-4 受入れテスト ④-3 システムテスト
- 24. 事象 急に動かなくなる自動テスト ? ある朝、いつも通り出勤したら、 定期実行しているテストに大量のエラーが！！ ? 品質管理チームを介さないリリースが入っていた＞＜ 事例1
- 25. 対策 伝達体制の強化と回避策の規定 ? 伝達体制の強化 ? 把握できていない箇所で問題が起きた時の 回避策を用意 いつまでに報告が必要か確認 手動実行でかかる時間を予め算出 報告しなければならない時間から逆算し、修正にかけられ る時間を算出 修正が間に合わない場合は手動で実行 事例1
- 26. 事象 チケットの後回し ? 不具合の報告をしたが、いつまで経っても改修され ない。 ? 他のチームが報告した不具合は着手されているよう だ。 事例2
- 27. 対策 有力者に協力を仰ぐ ? 上層部からの連携 ? 認知されている部署への協力を仰ぐ 事例2
- 29. 事象 修正が追いつかない ? 影響範囲が大きすぎて、修正が追いつかない！ ? 似たようなスクリプトが多すぎる！！ Test1 Test2 Test4Test3 事例1
- 30. 対策 スクリプトの構造化 ? スクリプトの構造化が有効。 レベル１ Linear Script Frameworks レベル２ Data-driven Frameworks Functional Decomposition Frameworks レベル３ Keyword-Driven Frameworks Model-based Framework TABOK Segment 2: Macroscopic Process Skills Skill Category 4: Test Automation Frameworks
- 31. 対策 スクリプトの構造化 例 Class サービス設定画面 Function ユーザー名(Name) TextBox(“UserName”).Type Name Function ログイン Button(“Login”).Click Class 検索画面 Function 検索(id) TextBox(“UserId”).type id Button(“Serch”).Click Function 種別選択(item) SelectBox(“UserId”).select item パラメタ なにを順番どこに どうする スクリプトスクリプトスクリプト 事例2 操作順 操作画面 値 1 検索 A 2 種別選択 変更
- 32. 対策 スクリプトの構造化 例 パラメタ なにを順番どこに どうする スクリプトスクリプトスクリプト 操作順の変更操作対象の変更 設定値の変更 変更箇所が 見つけやすい 事例2
- 33. あるある3 サーバーのパンク
- 34. 事象 画面キャプチャでログサーバーがパンク ? 保守し続けて半年、見たことのないエラーが出た。 ? ツールの初期設定のまま実行していたら、ログの容 量でパンク！！ 事例2
- 35. 対策 キャプチャ取得や保存タイミングの整理 ? エビデンスやログの解析に不要な画面キャプチャの 削除 ? 過去ログの保存ルールを決定 事例2
- 38. 対策 テストの草刈り ? テストを自動化して満足することなかれ。 ? テスト自身の保守も忘れずに。 テストケースの追加と削除 修正に伴う自動テストのテストも忘れずに。 事例2
- 40. あるある5 担当者の撤退
- 41. 事象 主担当者が抜けたら自動テストが回らない ? 数年来の自動化担当が抜けた ? 次の担当者が決まらない ? 上層部への一時的な引き継ぎによって、自動化が 途絶える 事例2
- 42. 対策 担当者同士での引き継ぎをしよう ? 後継者と十分な引き継ぎ期間が必要 ? 学習コストを下げる工夫をする 不必要な作り込みをしない 秘伝のタレを作らない ドキュメントは定期的に更新する 事例2
- 43. まとめ
- 44. 参考 テスト自動化標準ガイド 7章 保守性の高いテストを構築する 7.2 テストメンテナンスの要因 テストケースの数 テストデータの量 テストデータの形式 テストケースの実行時間 テストケースのデバッグ能力 テストの相互依存性 命名規則 テストの複雑性 テストドキュメンテーション
- 46. ご清聴 ありがとうございました