basic of Test automation installation

Jun 12, 2019Download as PPTX, PDF0 likes445 views

Sadaaki Emura

what's important to install automation testing? pickup 7 keywords

Who am I
Name : Sadaaki Emura (nickname M)
Join in Now company : 2007
Career : Embedded engineer (2000-2002)
Web engineer (2002-2015)
Product manager (2015-2016)
QA (2016～)
Role: Test Automation Engineer Lead
Birthplace : Kanazawa-city
Hobby: jog , climbing , horse racing

Today topic
テスト自動化を始めようかな～
と、いう時に考える約７つのこと

Premise for today talk
前提
? E2E test自動化
? 開発とは独立したQA組織
? マニュアルテストとテスト自動化部隊
話さないこと
? 技術的なこと
? Best practice

Premise for today talk
Developer group QA group
Manual test team automation test team
@Illust AC
ココ
の人

1. Why automation
? 自動化で効率的に品質活動するのが目的
? テスト以外にも自動化できるところはある
? 自動化により、開発サイクル向上、コスト削減

1. Why automation
Objectives of test automation include
? Improving test efficiency
? Providing wider function coverage
? Reducing the total test cost
? Performing tests that manual testers cannot
? Shortening the test execution period
? Increasing the test frequency/reducing the time required for test cycles
By ISTQB Certified Tester Advanced Level Syllabus Test Automation Engineer

2.How to automate
? 将来を見越したツール選定
? 外注丸投げも一つ手ではあるが???
? スクリプト、実行環境の保守が漏れなく付いてくる

2.How to automate
? Application , library, platform update
? Script modification

3.What area is automated
? 自動化する箇所の基準を設ける
? なんでも自動化への抑制
? アジャイルテストの4象限が参考

3.What area is automated
? 機能テスト
? 単体テスト
? コンポーネントテスト
? 探索的テスト
? シナリオテスト
? ユーザビリティテスト
? 受入テスト
? パフォーマンステスト
? 負荷テスト
? セキュリティテスト
Q2
Q1
Q3
Q4
自動、手動
自動
手動
ツール

4.How to operate
? 使い捨てもひとつのやり方
? テスト結果のレポートやり方、内容
? CIで活用するなら、それを見越した運用設計

4.How to operate
いろいろと直面する自動化の運用問題
? 実行の依存性が高いと柔軟に実行できなくなる
? 環境等により、たまに失敗する（Flacky)
? 実行が終わらない、また再実行するとき時間がかかる
? 失敗した時、分析しやすくないと手で再現テストが発生

5.How to collaborate with others
? QAチーム内での情報展開
? QA外への情報活用方法
? 上司へ自動化の価値をどう伝えるか

6.How to install in project
? マニュアルテストに比べて自動化構築は時間がかかる
? テスト環境が安定するのは結構後工程
? 自動化の検証方法、タイミング

6.How to install in project
Ex. Waterfall model
requireme
nt
Design coding test release
Class, id 設計する？
何時、テスト環境できる？
何時、安定する？
実質、自動化実装
はここから？

7.Let’s try it first
とにかく自動化さわってみよう
@FREEIMAGES

Conclusion
1. Why automation
2. How to automate
3. What area is automated
4. How to operate
5. How to collaborate with others
6. How to install in project
7. Let’s try it first

伊藤宏幸 / LINE株式会社 SET (Software Engineer in Test) 「プロダクトオーナー祭り2018 ～世界を創るのは俺たちだ！～」（2018-02-17?Sat）での発表資料です。 https://postudy.doorkeeper.jp/events/64846 ミッションを遂行する際の、アジャイルの知識?経験の具体的な活用方法を、特に「プロダクトオーナーシップ」の観点から、 LINEのSET (Software Engineer in Test) 第1号としての経験談を通じて紹介します。あわせて、LINEにおけるSETの取り組みついても紹介します

Selenium WebDriver + python て? E2Eテスト自動化JustSystems Corporation

20191029 automation struggle Sadaaki Emura

组み込み开発のテストとゲーム开発のテストの违いgree_tech

颁罢翱の考えるエンジニアマネジメント2LIFULL Co., Ltd.

【完結編】総売り上げ：35,400円 _ 受託エンジニアが自社サービスのPOをやって学んだことYukio Okajima

永和システムマネジメントはソフトウェアの受託開発を生業にしていて、私もその最前線で25年やってきました。そんな私が企画し、プロダクトオーナーとして関わった自社Webサービスが、数ヶ月前にひっそりと終了しました。「ニーズがなかったね」の一言で済ますにはもったいなく、一体何が悪くてそこから何が学べるのか？オーナーシップって何なんだろう？組織との付き合い方は？これからのエンジニアに求められるマインドって何？といったことを、自分なりに徹底して追及した結果を共有させてください。 The web service that I planned and worked as a product owner closed quietly a few months ago. What is wrong and what can you learn from it? What is ownership? How do you interact with your organization? What kind of mind is required of engineers in the future? Please let me share the results that I thoroughly pursued. #RSGT2020 の発表資料です。

My First XP Project ?10年前の俺へ?Fumihiko Kinoshita

マーケティングもリモート×アジャイルに～ Agile Studio マーケティングチームの事例Yukio Okajima

アシ?ャイル开発に最适な蚕础『アシ?ャイル蚕础』の导入Nobuyuki Kikuchi

滨蝉蝉耻别の书き方と伝え方Rina Fukuda

How to introduce test automation in VeriServe Test Automation Talk #2Sadaaki Emura

20190424 q ameetup-m -publishSadaaki Emura

组み込み开発でのシステムテスト自动化の一つの考え方（厂罢础颁）H Iseri

Q te cc2Fujie Teppei

失败から学ぶテスト自动化导入で大切なことsono susumu

More Related Content

What's hot (17)

An Agile Way As an SET at LINELINE Corporation

【SFO2020】業務SEを7か月でWebエンジニアに変える方法 ~アジャイルマインドを得るために~Yukio Okajima

実演 AppExchange アプリケーションライフサイクルTakahiro Kawabata

ノーコードとアジャイルYukio Okajima

アドテクスタジオのデータ分析基盘についてkazuhiro ito

俺の事业部Fumihiko Kinoshita

Global scrum QA teamEgawa Saori

An Agile Way As an SET at LINE ~プロダクトオーナーシップ編~LINE Corporation

Selenium WebDriver + python て? E2Eテスト自動化JustSystems Corporation

20191029 automation struggle Sadaaki Emura

组み込み开発のテストとゲーム开発のテストの违いgree_tech

颁罢翱の考えるエンジニアマネジメント2LIFULL Co., Ltd.

【完結編】総売り上げ：35,400円 _ 受託エンジニアが自社サービスのPOをやって学んだことYukio Okajima

My First XP Project ?10年前の俺へ?Fumihiko Kinoshita

マーケティングもリモート×アジャイルに～ Agile Studio マーケティングチームの事例Yukio Okajima

アシ?ャイル开発に最适な蚕础『アシ?ャイル蚕础』の导入Nobuyuki Kikuchi

滨蝉蝉耻别の书き方と伝え方Rina Fukuda

An Agile Way As an SET at LINELINE Corporation

【SFO2020】業務SEを7か月でWebエンジニアに変える方法 ~アジャイルマインドを得るために~Yukio Okajima

実演 AppExchange アプリケーションライフサイクルTakahiro Kawabata

ノーコードとアジャイルYukio Okajima

アドテクスタジオのデータ分析基盘についてkazuhiro ito

俺の事业部Fumihiko Kinoshita

Global scrum QA teamEgawa Saori

An Agile Way As an SET at LINE ~プロダクトオーナーシップ編~LINE Corporation

Selenium WebDriver + python て? E2Eテスト自動化JustSystems Corporation

20191029 automation struggle Sadaaki Emura

组み込み开発のテストとゲーム开発のテストの违いgree_tech

颁罢翱の考えるエンジニアマネジメント2LIFULL Co., Ltd.

【完結編】総売り上げ：35,400円 _ 受託エンジニアが自社サービスのPOをやって学んだことYukio Okajima

My First XP Project ?10年前の俺へ?Fumihiko Kinoshita

マーケティングもリモート×アジャイルに～ Agile Studio マーケティングチームの事例Yukio Okajima

アシ?ャイル开発に最适な蚕础『アシ?ャイル蚕础』の导入Nobuyuki Kikuchi

滨蝉蝉耻别の书き方と伝え方Rina Fukuda

Similar to basic of Test automation installation (20)

How to introduce test automation in VeriServe Test Automation Talk #2Sadaaki Emura

20190424 q ameetup-m -publishSadaaki Emura

组み込み开発でのシステムテスト自动化の一つの考え方（厂罢础颁）H Iseri

Q te cc2Fujie Teppei

失败から学ぶテスト自动化导入で大切なことsono susumu

Test Automation Journey 2023 useful knowledge to start test automationSadaaki Emura

開発もQAも自動テスト！「LOST JUDGMENT：裁かれざる記憶」のQAテスター参加で進化した「テスト自動化チーム（仮）」の取り組みについてSEGADevTech

受託でもデキるアジャイル开発Yoshiyuki Ueda

日本は欧米と比较して受託开発へのアジャイル导入が遅れています。现在のダイナミックなビジネス环境にアジャイルは不可欠であることを概念的に理解しているつもりでも导入には様々な障壁が存在します。一方、欧米公司はこのプロセスイノベーションによって滨罢による公司竞争力を高めているのです。100%アジャイルで受託开発を行う颁颈&补尘辫;罢がグローバル市场での経験から得た受託に适した「契约モデル」、「要求の理解と开発」、「プロジェクトの管理と実行」におけるプラクティスを绍介し、日本においてもこれらが有効であることを解説します。蔼测辞蝉丑颈测耻办颈耻别诲补

テスト自動化の現場で困ること SI-Toolkitが解決することyuichi_kuwahara

【JaSST'14 Tokyo】システムテストの自動化による大規模分散検索プラットフォームの開発工程改善 #JaSSTKotaro Ogino

JaSST'14 Tokyo での"システムテストの自動化による大規模分散検索プラットフォームの開発行程改善"という題目の事例発表です。スライドに入りきらなかったコンセプトについてhttp://kokotatata.hatenablog.com/entry/2014/03/11/104240 に書いています。そちらもご参照ください。 --- 2014/03/08 08:00 文字のレイアウトのずれや配色の問題を修正

4.5G/5G環境でのECサイトの高速化 ― 変わるモバイル購買体験Yoichiro Takehora

2019年2月8日「イーコマースフェア2019東京」で講演したスライドです。 2019年4月からスタートする4.5G(LTE Advanced Pro)で下り帯域は1Gbpsとなり、2020年には5Gがスタートし、下り帯域は20Mbpsまで高速化します。 2019年2月現在でも、既に最低でも30Mbpsは出る携帯網において、画像の圧縮やHTMLやJavaScriptのminifyなどは意味が無くなっており、新たなボトルネックとしてサーバの性能が大きな問題となっています。現在のECサイトのボトルネックについて、何をどうすればいいのかを解説しました。

DMMアカウントサービスフロントエンド改善支援のためのTestcafeを用いた自動e2eテストの刷新tomohiro odan

JaSST Niigata'20JumpeiIto2

20190531 jasst19 tohokuSadaaki Emura

Et west テスト自動化_公開版Noriyuki Mizuno

础笔滨テスト自动化とテストピラミッド友隆浅黄

価値ある製品を生み出すためのアジャイル実践ポイントNaoya Maekawa

SeleniumConf Chicago 参加報告aha_oretama

日本语データの活用までの道のりHideto Masuoka

础辫颈结合部の自动テスト方式 Daiki Kanai

How to introduce test automation in VeriServe Test Automation Talk #2Sadaaki Emura

20190424 q ameetup-m -publishSadaaki Emura

组み込み开発でのシステムテスト自动化の一つの考え方（厂罢础颁）H Iseri

Q te cc2Fujie Teppei

失败から学ぶテスト自动化导入で大切なことsono susumu

Test Automation Journey 2023 useful knowledge to start test automationSadaaki Emura

開発もQAも自動テスト！「LOST JUDGMENT：裁かれざる記憶」のQAテスター参加で進化した「テスト自動化チーム（仮）」の取り組みについてSEGADevTech

受託でもデキるアジャイル开発Yoshiyuki Ueda

テスト自動化の現場で困ること SI-Toolkitが解決することyuichi_kuwahara

【JaSST'14 Tokyo】システムテストの自動化による大規模分散検索プラットフォームの開発工程改善 #JaSSTKotaro Ogino

4.5G/5G環境でのECサイトの高速化 ― 変わるモバイル購買体験Yoichiro Takehora

DMMアカウントサービスフロントエンド改善支援のためのTestcafeを用いた自動e2eテストの刷新tomohiro odan

JaSST Niigata'20JumpeiIto2

20190531 jasst19 tohokuSadaaki Emura

Et west テスト自動化_公開版Noriyuki Mizuno

础笔滨テスト自动化とテストピラミッド友隆浅黄

価値ある製品を生み出すためのアジャイル実践ポイントNaoya Maekawa

SeleniumConf Chicago 参加報告aha_oretama

日本语データの活用までの道のりHideto Masuoka

础辫颈结合部の自动テスト方式 Daiki Kanai

More from Sadaaki Emura (13)

What is Unit TestingSadaaki Emura

This document discusses unit testing and its benefits. It begins by outlining some questions about unit testing, then compares unit tests to UI tests. Unit tests are faster, test individual functions, and make code easier to change and refactor. The document provides an example of unit testing a password validation function in PHP Laravel. It discusses that while test coverage is a quality metric, high coverage alone does not guarantee high quality. It argues that internal quality through practices like unit testing does not require tradeoffs with development speed, and can actually improve productivity by reducing unnecessary tasks and lead time. Maintaining clean code through practices like unit testing is important for both quality and speed.

20220527_JaSST'22 TohokuSadaaki Emura

Test automation engineerSadaaki Emura

This document provides an overview of test automation from the perspective of a test automation engineer. It discusses key topics like the test automation pyramid, reporting, design considerations, and deployment. The test automation pyramid emphasizes unit testing, integration testing, and end-to-end testing from the bottom to top. Reporting and metrics are important for understanding test results and efficiency. Design focuses on aspects like data-driven testing, robustness, and repeatability. Deployment involves piloting automation, maintaining scripts, and supporting evolving environments. The goal is to improve testing in areas like coverage, speed, and cost while maintaining quality.

20211221 jasst nano_test automation operationSadaaki Emura

Test Automation Improvement by Machine Learning Jasst'21 TokyoSadaaki Emura

We have challenging issue in test automation operation. Test automation fail by bug and not bug reason. I think one of the main reason is temporary accident. When test automation fail by this temporary accident, test will be success by running test again usually. This re-run operation is boaring task and big task for test automation operation To eliminate this kind issue and improve operation, we built system categorize issue by machine learning, re-run test only when fail reason is temporary accident. In this session , I show you these below - What's test automation issue in daily operation - How to resolve this issue. store big data, learning, system architecture etc. - Actual result for improvement

20200630 Rakuten QA meetup #2 "Improve test automation operation"Sadaaki Emura

Test automation brings benefits but also struggles like many failure reports. Currently, temporary unstable failures make up 73.4% of issues but investigating them wastes time. The presenter proposes an auto recover system to automatically re-run tests predicted to fail due to temporary issues. This could reduce wasted monthly operation time from 75 hours to around 25 hours by automating recovery of the most common failure type. The system would use OCR, screenshots and previous data to predict failure reasons and automatically re-run tests to improve test automation efficiency.

Test automation lessonSadaaki Emura

This document discusses test automation, including the purpose of test automation, the test automation process, and the test automation pyramid. The key points are: 1. Test automation aims to improve test efficiency, provide wider test coverage, reduce costs, and speed up testing. 2. The test automation process involves defining the test scope, designing tests, coding tests, setting up the test environment, running tests, and maintaining automation over time. 3. The test automation pyramid illustrates that unit tests should form the base, as they are quick to write and run, while user interface tests are at the top as they are more complex and time-consuming.

Struggles and Challenges in STLC in Ques No.13Sadaaki Emura

The document discusses struggles and challenges in software testing lifecycle (STLC) at Rakuten. It describes two main challenges - difficulty in managing requirements and test cases, and difficulty completing automation tasks on time. It then introduces requirement traceability matrix (RTM) as a solution to address the first challenge by linking requirements, test cases, and defects to ensure full test coverage and easy identification of impacted test cases when requirements change. RTM allows tracking of changes by onsite and offsite teams.

20181211 QA meetup in officeSadaaki Emura

The document discusses lessons learned from analyzing requirements documents for testing purposes. It summarizes three approaches: 1) James Bach's Heuristic Test Strategy Model which classifies requirement information to guide testing, 2) Yoshio Shimizu's Universal Specification Describing Manner which stresses documenting the reason for requirements, and 3) Kazuhiro Ishihara's requirement matrix analysis which considers what should, must, and never happen for users. The key lessons are to analyze requirements from the user perspective and consider cases beyond what is explicitly specified to improve testing.

JaSST'18 Hokkaido Improve Automation TestingSadaaki Emura

This document discusses improving automation testing speed at Rakuten. It describes how the author's team previously faced bottlenecks like long setup times and late test feedback. They created a "Mobile Labo" solution using Appium and Selenium to run tests concurrently on multiple devices from a single script. This sped up testing significantly. However, new issues emerged around device clashes and locating devices. The author aims to resolve such problems to further improve speed in the future.

Istqb : Test automation EngineerSadaaki Emura

20180828 QA meetupSadaaki Emura

QA improvementSadaaki Emura

What is Unit TestingSadaaki Emura

20220527_JaSST'22 TohokuSadaaki Emura

Test automation engineerSadaaki Emura

20211221 jasst nano_test automation operationSadaaki Emura

Test Automation Improvement by Machine Learning Jasst'21 TokyoSadaaki Emura

20200630 Rakuten QA meetup #2 "Improve test automation operation"Sadaaki Emura

Test automation lessonSadaaki Emura

Struggles and Challenges in STLC in Ques No.13Sadaaki Emura

20181211 QA meetup in officeSadaaki Emura

JaSST'18 Hokkaido Improve Automation TestingSadaaki Emura

Istqb : Test automation EngineerSadaaki Emura

20180828 QA meetupSadaaki Emura

QA improvementSadaaki Emura

basic of Test automation installation

1. テスト自動化基本のキ～テスト自動化をする前に～ June 13, 2019 Sadaaki Emura

2. Who am I Name : Sadaaki Emura (nickname M) Join in Now company : 2007 Career : Embedded engineer (2000-2002) Web engineer (2002-2015) Product manager (2015-2016) QA (2016～) Role: Test Automation Engineer Lead Birthplace : Kanazawa-city Hobby: jog , climbing , horse racing

3. Today topic テスト自動化を始めようかな～と、いう時に考える約７つのこと

4. Premise for today talk 前提 ? E2E test自動化 ? 開発とは独立したQA組織 ? マニュアルテストとテスト自動化部隊話さないこと ? 技術的なこと ? Best practice

5. Premise for today talk Developer group QA group Manual test team automation test team @Illust AC ココの人

6. 1. Why automation ? 自動化で効率的に品質活動するのが目的 ? テスト以外にも自動化できるところはある ? 自動化により、開発サイクル向上、コスト削減

7. 1. Why automation Objectives of test automation include ? Improving test efficiency ? Providing wider function coverage ? Reducing the total test cost ? Performing tests that manual testers cannot ? Shortening the test execution period ? Increasing the test frequency/reducing the time required for test cycles By ISTQB Certified Tester Advanced Level Syllabus Test Automation Engineer

8. 2.How to automate ? 将来を見越したツール選定 ? 外注丸投げも一つ手ではあるが??? ? スクリプト、実行環境の保守が漏れなく付いてくる

9. 2.How to automate ? Application , library, platform update ? Script modification

10. 3.What area is automated ? 自動化する箇所の基準を設ける ? なんでも自動化への抑制 ? アジャイルテストの4象限が参考

11. 3.What area is automated ? 機能テスト ? 単体テスト ? コンポーネントテスト ? 探索的テスト ? シナリオテスト ? ユーザビリティテスト ? 受入テスト ? パフォーマンステスト ? 負荷テスト ? セキュリティテスト Q2 Q1 Q3 Q4 自動、手動自動手動ツール

12. 4.How to operate ? 使い捨てもひとつのやり方 ? テスト結果のレポートやり方、内容 ? CIで活用するなら、それを見越した運用設計

13. 4.How to operate いろいろと直面する自動化の運用問題 ? 実行の依存性が高いと柔軟に実行できなくなる ? 環境等により、たまに失敗する（Flacky) ? 実行が終わらない、また再実行するとき時間がかかる ? 失敗した時、分析しやすくないと手で再現テストが発生

14. 5.How to collaborate with others ? QAチーム内での情報展開 ? QA外への情報活用方法 ? 上司へ自動化の価値をどう伝えるか

15. 6.How to install in project ? マニュアルテストに比べて自動化構築は時間がかかる ? テスト環境が安定するのは結構後工程 ? 自動化の検証方法、タイミング

16. 6.How to install in project Ex. Waterfall model requireme nt Design coding test release Class, id 設計する？何時、テスト環境できる？何時、安定する？実質、自動化実装はここから？

17. 7.Let’s try it first とにかく自動化さわってみよう @FREEIMAGES

18. Conclusion 1. Why automation 2. How to automate 3. What area is automated 4. How to operate 5. How to collaborate with others 6. How to install in project 7. Let’s try it first

19. Thank you for listening!

Editor's Notes

#7: バグをたくさん見つけるのが目的にはなっていないデータ作成や負荷?ストレステスト等、テスト以外にも使える
#8: 滨厂罢蚕叠シラバスにも、バグを见つけることがダイレクトに记载されてない

狠狠撸

basic of Test automation installation

Recommended

More Related Content

What's hot (17)

Similar to basic of Test automation installation (20)

More from Sadaaki Emura (13)

basic of Test automation installation

Editor's Notes