More Related Content
Similar to DMM TVて?の自動テスト構築と QA部て?のSaaS型の テスト自動化フ?ラットフォームの活用_slideshare用.pptx (20)
DMM TVて?の自動テスト構築と QA部て?のSaaS型の テスト自動化フ?ラットフォームの活用_slideshare用.pptx
- 1. ? DMM ? DMM CONFIDENTIAL DMM TVでの自動テスト構築と QA部でのSaaS型の テスト自動化プラットフォームの活用 合同会社 DMM.com テクノロジー本部 QA部 花上豊幸 福永有真
- 2. ? DMM
- 3. ? DMM
- 4. ? DMM 4 自己紹介 名前：花上 豊幸(はなうえ ひろゆき) 所属：テクノロジー本部 QA部 2020年9月入社 勤務先：六本木本社(普段は、神奈川自宅でフルリモート) 【社内】 QA部を横断しての ? テスト自動化の推進 ? 不具合分析などのデータ分析基盤の構築 を担当しています 約2年程前からDMM TVのSETリーダも担当 【社外】 副業として ? QA組織の立ち上げ/改善提案 ? テスト自動化の推進 などの業務を請負いをさせて頂いております
- 5. ? DMM 5 自己紹介 名前：福永 有真（ふくなが ゆうしん） 所属：テクノロジー本部 QA部 2016年4月新卒入社（2020年3月?QA部に参画） 勤務先：金沢事業所（金沢からフルリモート） 2016年4月? 動画配信開発部 バックエンドエンジニア 2020年3月? 立ち上げ当初よりQA部に参画 →動画配信や電子書籍、オンラインサロンなどの サービスに対してテスト自動化を経験 → 昨年より電子書籍/オンラインサロンのSETチームのリーダーを担当
- 7. ? DMM 7 1. DMMプレミアム/TVの説明 2. DMM TVでのテスト自動化状況 3. テスト自動化スコープ 4. テスト自動化の改良点 5. 今後の展望 目次
- 8. ? DMM 8 1. DMMプレミアム/TVの説明 2. DMM TVでのテスト自動化状況 3. テスト自動化スコープ 4. テスト自動化の改良点 5. 今後の展望 目次
- 9. ? DMM
- 10. ? DMM 10
- 11. ? DMM 11 1. DMMプレミアム/TVの説明 2. DMM TVでのテスト自動化状況 3. テスト自動化スコープ 4. テスト自動化の改良点 5. 今後の展望 目次
- 12. ? DMM.com 12 DMM TVでのテスト自動化状況(1/2) ● 自動テスト環境の構成図
- 13. ? DMM.com 13 DMM TVでのテスト自動化状況(2/2) ● 開発環境 (VSCode) ○ 開発言語：Typescript ○ eslintなど一般的な拡張機能などを設定
- 14. ? DMM 14 1. DMMプレミアム/TVの説明 2. DMM TVでのテスト自動化状況 3. テスト自動化スコープ 4. テスト自動化の改良点 5. 今後の展望 目次
- 15. ? DMM.com 15 テスト自動化スコープ(1/4) ● 重要機能とリグレッションテストの拡充 ○ 重要機能 ■ 購入と再生関連でのテストを自動化 ○ リグレッションテスト ■ 自動化可能なリグレッションテスト項目を自動化 ■ マルチデバイス?ブラウザでのテスト自動化を拡張中 ● 下記3つのテストをピックアップしてご紹介 ○ 作品パターンテスト ○ 視聴実績 ○ SPブラウザからのアプリ起動
- 16. ? DMM.com 16 テスト自動化スコープ(2/4) ● 作品パターンテスト ○ 背景 ■ DMM TVでは17万以上の作品があり, 作品パターン を網羅した購入?再生のテストのみでも膨大な時 間がかかってしまう ○ 対応内容 ■ BigQueryの作品データから作品パターンのcsvを作 成 ● 理論値のパターンでは膨大すぎるため, 本番環境 に存在する作品パターンのみを抽出するクエリを 作成 ■ CodeceptJSのData Driven Testsにてcsvのパターン網 羅テストを自動化 ● https://codecept.io/advanced/#data-driven-tests BigQuery CSV Data Driven Tests
- 17. ? DMM.com テスト自動化スコープ(3/4) ● 視聴実績の検証 ○ 背景 ■ DMM TVでは各作品で再生された時間をログとし てGoogleCloudに蓄積している ■ 作品の支払い等にも影響するため, 常に再生時間の ログが正しく取得できているかを確認する必要が ある ○ 対応内容 ■ 再生プレイヤーでの様々な操作を自動化 ■ GoogleCloudのログデータを取得し再生プレイヤー での操作を含んだ再生時間と比較を行い再生時間 が正しく蓄積できているかを確認 倍速 一時停止 スキップ シーク 17
- 18. ? DMM.com 18 テスト自動化スコープ(4/4) ● SPブラウザからのアプリ起動 ○ 背景 ■ DMM TVのSPブラウザではブラウザ内でのストリーミ ング再生の他にアプリを起動して作品を再生する機能 がある ■ そのため, SPブラウザとネイティブアプリを跨いだ確 認が必要となる ○ 対応内容 ■ SPブラウザにてアプリ起動までのシナリオを自動化 ■ アプリの起動後にCodeceptJSのswitchToNative()でネ イティブアプリの操作を行えるように切り替えを行っ ている ● https://codecept.io/helpers/Appium.html#switchtonative ● SPブラウザはSlenium, ネイティブアプリは Appiumベースで動作しているため Selenium Appium
- 19. ? DMM 19 1. DMMプレミアム/TVの説明 2. DMM TVでのテスト自動化状況 3. テスト自動化スコープ 4. テスト自動化の改良点 5. 今後の展望 目次
- 20. ? DMM.com 20 テスト自動化の改良点(1/3) ● ページオブジェクトモデル ○ https://www.selenium.dev/ja/documentation/test_practices/encouraged/page_object_models/ ○ openメソッド ページオブジェクト シナリオ 前画面のページオブジェクト のopen()を呼ぶ 一行で検証画面までの遷移が記載 できシナリオが読みやすい
- 21. ? DMM.com 21 テスト自動化の改良点(3/3) ● Slack通知 ● Allureレポート
- 22. ? DMM 22 1. DMMプレミアム/TVの説明 2. DMM TVでのテスト自動化状況 3. テスト自動化スコープ 4. テスト自動化の改良点 5. 今後の展望 目次
- 23. ? DMM.com 23 今後の展望 ● テスト自動化の拡張 ● 脱オンプレ環境(クラウドモバイル含む) ○ オンプレのPCをクラウドサーバーに移行 ○ SP端末はクラウドモバイルへ移行 ● 自動テスト以外では負荷試験の領域にチャレンジ ○ 性能検証の領域へのQA部の活動拡大が目標 ○ まずはDMM TVでの負荷試験に参画中
- 25. ? DMM 25 1. 利用ツールと支援プロダクト 2. SaaS型のテスト自動化プラット フォームの採用理由 3. 導入手順と運用評価 4. 運用結果 5. 向いている?不向きな状況 6. 今後の展望 7. 終わりに 目次
- 27. ? DMM 27 Autify & Mablを採用/支援している事業 Autify Mabl ● ログイン/ログアウト ● 新規登録 ● ポイント/クーポン など プラットフォーム ● 会員制コミュニティサ ービス
- 28. ? DMM 28 テスト実行しているWebブラウザ Autify Mabl ● PC Web ○ Chrome ○ Safari ○ Firefox ○ Edge ● SP Web (iOS) ○ Safari ● SP Web (Android) ○ Chrome ● PC Web ○ Chrome ● SP Web (iOS) ○ Safari ● SP Web (Android) ○ Chrome ※今回のスコープはWebアプリへのテスト自動化のみとなっております
- 30. ? DMM 30 課題 ? 自動テストの需要に対して、 自動テストエンジニアが不足していた。 仮説 ? SaaS型のプラットフォームを利用することで、コーディングの経験 が少ないテストエンジニアが自動テストを構築できるはず！ 採用理由1： 経験が少ないテストエンジニアが自動テストを構築できる
- 31. ? DMM 31 課題 ? 頻度は多くないが、 ブラウザを網羅してテストを実施したい。という要望があった。 仮説 ? 実機を用意せずにクロスブラウザのテストができる ? 環境構築?運用コストを抑えつつスモールスタートできるはず！ 採用理由2：クロスブラウザテストの需要
- 37. ? DMM 37 運用評価：ランニングコストのモニタリング 損失 > 利益に なっていないかを定期的に 確認する
- 38. ? DMM 38 運用結果
- 41. ? DMM 41 実行回数/ステップ制限 ? 自動テストシナリオの選定や設計に時間がかかる ? ステップ数や想定実行回数、それらがもたらすコスト価値を計画時に慎重に試 算する必要がある 期待値が詳細なテスト ? JSスニペットを書くことになることが多い ? テストが複雑化/ステップ数が増加するので、細かすぎるテスト設計をしない ツールの環境によるエラー ? クラウド環境/ツール上でのみ失敗するエラーがたまに発生する ? 問い合わせを活用しつつ発生条件を模索し、ナレッジ化する 課題と解決策
- 42. ? DMM 42 今後の展望
- 43. ? DMM 43 テスト自動化未経験でも構築できるような学習環境作り ? 運用ナレッジを地道に蓄積 ? コーディングとSaaS型の適用ガイドラインを提供し、明確な判断を 促せるようにする（チャレンジ中?） ネイティブアプリへの拡張 ? 広範なテストを行えるように、 ネイティブアプリ対応のSaaS型ツールの調査を進める 今後の展望
- 44. ? DMM 44 終わりに
- 45. ? DMM 45 DMMはポリシーとして「DMM Tech Vison」を掲げています まとめ