![1. テスト実行時検索方式
-テストを実行する-
⑤実行時に再度画像解析
⑥対応するAppium要素を取得
UIATextField[1]
⑦Appiumで実行](https://image.slidesharecdn.com/jasst20170623-171117140418/85/UI-AI-AI-19-320.jpg)
![1. テスト実行時検索方式
-テストを実行する-
⑤実行時に再度画像解析
⑥対応するAppium要素を取得
UIATextField[1]
⑦Appiumで実行
「名前」入力エリア UIATextField[1]
の対応はキャッシュし、
2回目からは高速に動作](https://image.slidesharecdn.com/jasst20170623-171117140418/85/UI-AI-AI-20-320.jpg)
完全版：「鲍滨自动テストツールと础滨」?础滨を使った自动テストの「今」と「未来」?
- 2. About Me p 伊藤 望 p 株式会社TRIDENT 代表取締役 n テスト自動化の支援を行うベンチャー p コミュニティ運営 n 日本Seleniumユーザーコミュニティ p 執筆
- 4. 今日のお話 1. AI技術を使った自動テストサービス 「Magic Pod」 2. Magic Podの仕組み 3. Magic Pod自身のAIエンジンのテスト 4. AI自動テストの今後の可能性
- 6. 定型的な作業は、 どんどん置き換えられていく 今、様々な仕事が AIに置き換えられつつある p 運転 p 翻訳 p 倉庫作業 p 記事執筆
- 10. Magic Pod p AIを活用した自動テストWebサービス n ディープラーニングなどの機械学習技術などを活用 n 現在はモバイルアプリ向けのみ p 旧「Magic Pot」から改名
- 14. 2. Magic Podの仕組み
- 15. p 2通りの方式がある 1. テスト実行時検索方式 n 画面キャプチャだけでテストを作成 2. テスト作成時検索方式 n もう少しシステム情報を活用した方式 n 画像解析が間違っていたら手直しできる n 実運用ではこちらをメインに使ってもらっている テスト作成?実行エンジンの仕組み
- 16. 1. テスト実行時検索方式
- 21. 2. テスト作成時検索方式
- 26. 画像解析の详细
- 30. p ディープラーニング技術の得意分野 p 畳み込みニューラルネットワーク(CNN)を使用 p 画像の種類を人間が教えた上で、大量に学習させる p Googleの写真分類(1000クラス以上)ですらこのアプ ローチ 「検索アイコン」「ボタン」を 見た目から特定する
- 33. p 学習していないアイコンは認識できない p 間違えてもユーザーが直せる & 見慣れないアイコン にはラベルが付いていることが多いので大丈夫 この画像は 何のクラス? わかりません.. 「検索アイコン」「ボタン」を 見た目から特定する
- 35. p 画像解析 1. 領域分割(独自ロジック) 2. 各領域をCNNにかけて物体認識 3. OCR(文字認識) 4. Captioning 5. 2. 3. 4.の結果をマージして表示 p 1.& 2. が時代遅れ&低速なので改善したい。。 n Fast R-CNN n Faster R-CNN n Single Shot MultiBox Detector 画像解析の全体像
- 37. 1. 人間のように賢そうなプログラムをAIと呼ぶケース 2. 機械学習を使ったプログラムを指すケース n データを学習させる作業が発生 n 学習データによって挙動が変わる AIって何?
- 38. p 学習データの一部をテストデータとして使い、正答率で エンジンの性能を測る (交差検証) p 機械学習エンジニアは、大抵このテストをしている 機械学習エンジンのテスト テストデータ ①学習させる エンジン 学習データ ②テストする ③正答率が低いとNG
- 39. p 正答率の数字だけでは気づかないこともある p 例： 1. 学習データを増やした 2. その結果、正答率が96% => 98%にアップ 3. だが、これまで「ボタン」と認識できていた画像が認識できな くなった 機械学習エンジンのテスト
- 40. p どう学習されたかは、人間にはブラックボックス n 意図せぬ結果が時々起きる p 学習ロジックの中に、ランダム処理がある(ことが多い) n 例：確率的勾配降下法：学習データの偏りをなくすため、毎回 データをランダムに選んで学習 n 「データもロジックも変えてないのに、学習し直したら結果が 変わった！」みたいなことが.. 原因
- 41. p 正答率を見る + きちんと動作して欲しい基本テストケー スを自動テスト化 p 開発中もこまめにテスト Magic Pod開発ではどうしているか
- 42. p 失敗することはあるか n わかりやすいアイコン等の識別は、通常失敗しない n 人間も判断に困るような際どいデータの判定は、学習ごとに 結果が変わりがち p 失敗した時の対策 n 対策1：間違えたデータを学習データに加える n 対策2：とりあえず再学習 n 対策3：諦める n 対策4：機械学習ロジック自体の改良 基本テストケースが失敗したら
- 43. p 現状世の中で機械学習が使われているところ 1. 不安定さを許容できる処理 n 投稿写真のタグ付け n チャットボット n 商品のレコメンド 2. 人間より精度が良い処理 n 工場の不良品検出 n 病気の原因診断 そんな不安定で大丈夫か?
- 44. p Magic Podは? n 不安定さを許容できる部分に機械学習を使っている n 画像解析結果は、間違えてもユーザーが直せる n テスト実行には、現状機械学習エンジンを使っていない p 自動運転は? n 画像認識の精度はすでに人間と同レベル? n センサーなど、非機械学習技術と併用? そんな不安定で大丈夫か?
- 49. Magic Podの最終目標 p 人間向けの手動テストケースをAIが理解し自動実行 user@example.com / pass01 でログイン user@example.com pass01
- 51. Magic Podの最終目標 多くが「UI手動テスト」 1. Excel(など)でテストケース作成 2. 人間がUIからテスト実施 世界で毎年テストに 費やされている金額 15兆円 (推定) この部分を置き換える
- 53. 行間を読んで自動展開 - アイデア 1. Magic Podで、共通関数機能を提供 メールアドレスに{user}を入力 パスワードに{pass}を入力 ログインボタンをクリック {user}/{pass}でログイン ユーザーが、好きな名前で 共通関数を作成できる
- 54. 行間を読んで自動展開 - アイデア 2. 共通関数名 → 処理名のビッグデータを 学習すれば、自動展開できるように！ メールアドレスに{user}を入力 パスワードに{pass}を入力 ログインボタンをクリック {user}/{pass}でログイン
- 55. 行間を読んで自動展開 - アイデア 2. 共通関数名 → 処理名のビッグデータを 学習すれば、自動展開できるように！ メールアドレスに{user}を入力 パスワードに{pass}を入力 ログインボタンをクリック {user}/{pass}でログイン
- 56. テスト设计も自动化したい
- 59. 础滨と蚕础の未来
- 62. ご静聴ありがとうございました！