画像认识ベースの鲍滨自动化フレームワークを用いた取り组み
- 3. 自己紹介 ? 古屋 秀平（ふるや しゅうへい） ?経歴 ? 第3世代移動体通信網の開発 ? 大手法人向けERPパッケージベンダー ? 2015/3に株式会社ディー?エヌ?エー入社 ? 現在は品質管理部リリーサポートGにて ? Apple?Googleガイドライン ? ガチャCESAガイドライン ? 検証の技術的サポート ? 検証自動化推進 3
- 4. 検証自動化の取り組みの背景 ? マニュアルでのテストがメイン ? テストケース数の増大 ? コストの増大 ? 検証効率化の必要性の高まり ? 自動化で実現できないだろうか ? 2019/4? QA主導での自動化を推進する 「QA Evolution（QAE）」チームを立ち上げ 4
- 5. 検証自動化の取り組みの背景 ? SWET（ Software Engineer in Test ）との違い ? SWET：開発工程の品質向上にコミット ? QAE ：検証工程における検証効率化?品質向上にコミット 5
- 6. 検証自動化の取り組みの背景 検証自動化で目指したいこと ? 対象領域はE2Eテスト ? 繰り返し行うテストを自動化 （コスト削減） ? マニュアル検証では実現が困難な検証を自動化で実現し 品質向上につなげる 6
- 7. ツール選定 ? スクリプト作成を加速させたい ? 検証を担当しているメンバーが自動化を実現できるような仕組みにしたい ? 直感的な記述 ? 実行速度 ? 解像度変更への対応 ? ゲーム領域への対応 ? OSSであること ? 自分たちで実現したい機能を実現する 7
- 8. ツール選定 ? スクリプト作成を加速させたい ? 検証を担当しているメンバーが自動化を実現できるような仕組みにしたい ? 直感的な記述 ? 実行速度 ? 解像度変更への対応 ? ゲーム領域への対応 ? OSSであること ? 自分たちで実現したい機能を実現する 8 Airtestに決定
- 9. Airtestについて ? NetEase社が公開 ? 画像認識で操作することが可能 ? 専用のIDEが提供されている ? 実行環境のセットアップが容易（Mac,Windows,Ubuntu対応） ? 直感的な記述 ? 例：「touch(画像)」 ? Apache License 2.0 ? Pythonで実装されている 9
- 10. アウトプット事例 10
- 12. アウトプット事例（タクシー配車アプリ「MOV(モブ)」 ） 12 ? 「配車依頼-迎車-乗車-支払」までのフローを自動実行 ? 複数台の端末に対して1スクリプトでシーケンシャルに実行 ? iOS?Android混在した形で実行 ? 以下の画像以外は同一スクリプトでiOS?Androidの両OSで実行可能だった ? 弊社エンジニアブログに投稿(検索キーワード「DeNA 検証自動化」) https://engineer.dena.jp/2019/09/qa-auto-1.html
- 13. アウトプット事例（多端末でのAndroid検証） ? デバイスファームとの連携 ? RemoteTestKit ? そもそもは端末不足対策で導入 ? カメラ機能検証で300台実行（スクリプト実行時間 1.5分/台） ? 任意に設定したホワイトリストに対しても実行可能 （シェア率の高い端末を指定など） ? 開発側もアカウントを所有することで物理的な端末のやり取りを 不要とすることが可能になり、修正のPDCAサイクルの高速化に期待 ? HeadSpin ? パフォーマンス測定に利用予定 13
- 14. アウトプット事例（多端末でのAndroid検証） 14 ?画像認識のみのアプローチでは難しいケース （ 「adb shell pm grant package_name permission」 でスキップ可）
- 15. まとめ ? Airtest自体はいいと思います ? 関係者に自動化でできること?できないことを知ってもらう ? 瞬間的な確認は難しい ? アニメーションなどの動きのある確認は難しい ? 対象のアプリ毎にスコープを明確にして進めていくことが重要 ? 自動化が出せるメリットの対象を見極める ? スモールアウトプットを行い、自動化の可能性を感じてもらう ? お互いに前向きに取り組んでいける関係性を構築していく 15