さよなら Flaky 音芦協なテストの冥し圭
- 2. 徭失B初 ? 眉瓢 疏(@mitomasan) ? サイボウズ kintone_k Yakumo児Pチ`ム ? kintone.com の児Pを_k?隠便しているチ`ム
- 3. 暴たちのおみごと ? サイボウズの kintone.com 児Pチ`ムは E2Eテストを聞って AWS 貧にBした児P貧で kintone の嘛隠^をしたかった ? 侑\にも kintone にはすでに謹くの E2E テストがあった ? しかし仟しい児P貧では謹くのE2Eテストが 音芦協になり児Pの音醤栽なのか gにテストが音芦協なのか曝eできずに是っていた
- 4. kintone というサ`ビス ? }方h廠で咾い討い ? それぞれのh廠でミドルウェアが`う 忽坪デ`タセンタ` cybozu.com AWS US Region kintone.com ☆US鬚韻任魯蹈瓦矍`う
- 10. E2Eテスト ? エンドツ`エンド(End to End)テスト ? gHに咾h廠を喘吭しユ`スケ`スの 匯Bのシナリオを_撹できるか編^する ? Webアプリケ`ションであれば ブラウザを徭啝してテストすることが謹い
- 11. E2Eテストの措いところ、いところ ? 措いところ ? エンドユ`ザ`の旋喘と揖じ圭隈でテストできる ? 坪何のコンポ`ネントのg廾を吭Rせずに 翌何碧をテストできる ? コンポ`ネントgのY栽をテストできる
- 12. E2Eテストの措いところ、いところ ? いところ ? セットアップやg佩にrgがかかる ? ブラウザなどを旋喘すると音芦協になりがち(Flaky Test) ?デバッグ悶Yが恷?
- 13. テストが音芦協だと採がまずいか ? テスト畠悶の佚m來が払われる ? 撹孔するまで壅g佩されたり ? テストの撹倦そのものがoされたり ? 俐屎しても岷ったのか甜隼撹孔したのか曝eできない ? 捻壓議な音醤栽が^ごされる ? たまに払，垢襯謄好肇羽`スは コ`ナ`ケ`スを未んでいるのかもしれない
- 14. 音芦協なテストの冥し圭 ? 匯指のテストY惚からは音芦協かどうか登僅できない ? }方指のY惚をて音芦協かどうかを登僅する ? 採指テストが払，靴討い襪 ? 採指テストの撹孔?払，篁したか v1 v2 V3 v4 v5 払 篁 Case1 ＄ ＄ 〜 〜 〜 3/5 1/4 Case2 〜 ＄ 〜 ＄ 〜 3/5 4/4
- 15. テストのg佩堕sとか火してます ? Jenkins や CircleCI のg佩堕sだと、 ビルドごとにないといけない ? 音芦協なテストを冥すには ? テストケ`スごとの撹孔?払，霊l業をる ? そのg佩堕sログをみて圻咀を_Jしたい 埆しのテストY惚 は隔たない麼xでね
- 16. ReportPortal ? 徭咼謄好箸僚Y惚をhし ダッシュボ`ドが恬れる ソフトウェア ? テストg佩嶄や頼阻瘁に テストY惚を僕佚 ? 謹方のテストフレ`ムワ`クに
- 17. 音芦協なテストの蛍裂
- 18. テストのg佩堕s
- 19. 暴たちのビフォ`?アフタ` ビフォ`? ? UYをもとにテストが音芦協かどうか登協して 壅g佩や俐屎を佩っていた ? なテストY惚はログから弖う駅勣があるので 駅勣になるまで_Jしない アフタ`? ? 音芦協なテストをgをもとに登僅できるようになった ? 森の寄きいテストから俐屎していけるようになった
- 20. まとめ ? E2Eテストは音芦協になりやすく 蒙協したりデバッグしにくい ? テストのg佩堕sで蛍裂すると 音芦協なテストを蒙協しやすい ? ReportPortal 秘すると冥しやすいよ