【システムテスト自動化カンファレンス2015】 楽天の品質改善を加速する継続的システムテストパターン #stac2015
?Download as PPTX, PDF?
21 likes?24,903 views
システムテスト自动化カンファレンス2015での発表资料です
【システムテスト自動化カンファレンス2015】 楽天の品質改善を加速する継続的システムテストパターン #stac2015
- 1. 楽天の品質改善を加速する 継続的システムテストパターン Dec. 13, 2015 Kotaro Ogino, Kikugawa Mariko Development Support Group Service Support Section Group Core Service Department
- 2. 2 Who am I? 役割 責任 資格とか発表とか Product & Tech Lead 社内自動化プラットフォーム構築PJの 要求管理とアーキテクチャー設計 Senior Test Engineer テストリーダーへのアドバイスやレビュー ? JaSST’ Tokyo 2014 ? SQiP 2014 Acting QA Manager テスト戦略の策定 テストチームの立ち上げ
- 22. 22 開発の永続性と継続的テスト ? 開発の永続性 “Development and Deploy in Facebook”, Facebook, 2013. https://research.facebook.com/publications/247272798756913/development-and-deployment-at-facebook ? 継続的テスト “Continuous Testing: The missing link in the Continuous Delivery”, BlazeMeter, 2015. https://blazemeter.com/blog/continuous-testing-missing-link-continuous-delivery-process
- 23. 23 開発の永続性と継続的テスト ? 開発の永続性 ? 継続的テスト SCM 時間 サービスの 成長度 ソースコード ソースコード ソースコード ソースコード ソースコード ソースコード ソースコード リリース リリース リリース リリース リリース リリース SCM テストケース テストケース テストケース テストケース テストケース テストケース テストケース テスト テスト テスト テスト テスト テスト
- 34. 34 継続的テストの実装 継続的テスト (Process) Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability
- 38. 38 継続的フィードバック:ツールを用いたレポートの自動化 機能テストの結果 パフォーマンステストの結果 SauceLabsによる ブラウザカバレッジの可視化 Screen Cast オンプレミス環境用の Jenkins Plugin レポートも自動で生成されるので品質が簡単にわかる
- 41. 41 継続的テストの実装 継続的テスト (Process) Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability
- 49. 49 CI in Test:開発?テスト?本番環境の構築手順の共通化 “システムテストの自動化による大規模分散検索プ ラットフォームの開発工程改善”, JaSST’Tokyo 2014 ?テスト開発環境を提供 ?テストも、テストしてからコミットする
- 50. 50 CI in Test:テストのRefactorabilityの改善 手順 ケース１ ケース２ ユーザAが登録されていない事を確認 ? ? 登録ページ（register.xxx.com）を開く ? ? ユーザ名に”A”を入力 ? ? パスワードに”a”を入力 ? ? メールアドレスを”a”を入力 ? メールアドレスにa@rakuten.comを入力 ? 登録ボタンをクリック ? ? 登録できましたと表示される ? 不正なメールアドレスと表示される ? ユーザAを削除 ? 操作手順 システムの 静的な仕様?設計 メールアドレスの バリデーションは 一般的なテスト観点 しかし、再利用が難しい テストと設計がリファクタリングしにくい例事前準備 期待値 テスト条件
- 51. 51 CI in Test:Cucumber + PageObject design Feature file: Behaviorを記述 Feature: Validation for registration Page Background: Given the user A is not registered in the system and the end user opens RegistrationPage when the user gives <userName> and <password> <mail> and submit the form then the message shown in the page is <message> Examples: | userName | password | mail | message | | “A” | “a” | “a.rakuten.com” | “registered” | | “A“ | “a” | “a” | “invalid mail address” | Public class RegstrationPage extends WebPageOjectBase { final static public String NAME = “RegistrationPage” public RegistrationPage() { super(NAME, “registration.xxx.com”); addInputElement(“username”,”username”); …. } PageObjectBase テスト観点 file PageObject file: 静的な仕様を記述 ＊APIやNodeも同じ仕組みで管理 操作手順 システムの 静的な仕様?設計 テスト観点 事前準備 期待値 テスト条件
- 56. 56 生産性と自動テスト ? 自動テストによる生産性改善 ?テスト実行の効率化（費用対効果） ?テスト実行頻度の増加 (CI in Test) ?レポート（CI?継続的フィードバック）の効率化
- 64. 64 Testable Architecture: GTAC 2015で感じたこと https://developers.google.com/google-test-automation-conference/2015/ ?プロダクトと自動テストの一体化した設計 -テストモード -Mock Internet -本番データからのテストデータのサンプリング
- 74. 74 アジャイルテスト４象限： テストの価値の受け取り手（楽天の場合） Dev Ops Test Automation Team Business Values Business Requirements https://pixabay.com/en/businessmen-men-people-office-42691/
- 78. 78 アジャイルテスト４象限： システムテスト（レベル/フェーズ）のフォーカスを決める Commit Stage ?開発者向けの機能テスト Capacity Stage ?運用者向けの性能テスト Pre-Production Stage ?ユーザ向けのβテスト “継続的デリバリー” ?テスト戦略 ?デプロイメントパイプライン ＊注 説明のために単純化してます デプロイメントパイプライン システムテスト？ システムテスト？ システムテスト？
- 80. 80 アジャイルテスト４象限：楽天での品質のテスト ?”Software System Architecture”. Rozanski Woods. http://www.viewpoints-and-perspectives.info/home/perspectives/ ?“System and Software Quality Requirements and Evaluation” http://www.iso.org/iso/catalogue_detail.htm?csnumber=35733 Quality in User Story format Quality Analysis
- 87. 87 スキルセット：ちなみに 最近うちのチームメンバーの 一番人気はAutomation Architect Release Automation をやってから Test Automationをやりたいという エンジニアが多かった Chefはいいぞ！とみんな感じている
- 88. 88 テスト自動化エンジニアはProcess, Product, Peopleに精通 継続的システムテスト 継続的テスト (Process) 自動テスト （Product） アジャイルテスター （People) 永続的開発 Infrastructure as Code CI in Test 永続性 -Evoluvability -Maintainability 生産性 -Speed -Cost 信頼性 -Effectiveness -Availability CI 継続的フィードバック アジャイルテスト ４象限 スキルセットTestable Architecture
- 89. 89 スキルセット：新人研修
- 91. 91 まと め
- 94. 94 Continuous System Test loves DevOps