ݺߣ

ݺߣShare a Scribd company logo
Cheolmin Shin • Process Innovation Team Manager • Mirero Inc.
http://deprogworks.blogspot.kr • feminie@gmail.com
개발자와 QA가 상생하는 테스트 프로세스
개발자 vs. QA
버그 리포팅 했으니
고쳐주세요
내 PC에서는 버그 재현이
안되는데요?
어떻게 고치라는 건가요?
분쟁의 원인
출신 배경이 다름
(개발, QA)
보람을 느끼는 포인트가 다름
(개발 : 새로운 것을 만들어 냈을 때)
(QA : 좋은 품질로 이끌었을 때)
공동운명체
고객만족
좋은 제품/서비스
떻게?
프로세스
기술마음가짐
상생을 위한 요소
프로세스 테스트 프로세스 간소화
QA, 개발자가 프로세스에서 숨막히는 느낌이 들지 않을
수준으로 프로세스를 간소화, 효율화
프로세스 테스트케이스 작성
테스트케이스 작성 주체는 정해져 있지 않음
상황을 고려해서 더 적합한 쪽에서 작성
개발팀 : 개발일정에 여유가 있을 경우
QA : 개발일정이 빠듯하고 개발문서도 충분치 않은 경우
프로그램에 대한 설명을 듣고 테스트케이스 작성
프로세스 버그리포트 작성
버그리포팅은 최대한 개발자가 쉽게 이해할 수 있는 방법을 총동원해서 제공
Ex) 버그 재현동영상 (스트리밍)
프로세스 JIRA에 구현
테스트 케이스 워크플로우
버그 워크플로우
테스트 스위트
버그
테스트
케이스
테스트
케이스
테스트
케이스
기술 테스트 대시보드(테스트 보고서)
별도 형식의 보고서를 작성하지 않고
JIRA대시보드를 활용하여 RealTime데이터를 확인
핵심 메트릭 수치 제공
(효율적 의사소통 가능)
JIRA가 제공하지 않는 기능
(자체적으로 별도 구현후
JIRA대시보드에 삽입)
기술 테스트 결과 리포팅 유틸리티
리턴율 =
(결함율)
(결함처리중) 수
X 100
Issuetype :
테스트케이스
테스터가 수행한 테스트 케이스
중 결함이 발생한 비율
모든 테스트 케이스 수
결함처리율=
(Open, 개발중) 이외의 모든
결함 수
X 100
Issuetype :
버그
개발자가 대응 완료한 Defect
비율
모든 결함 수
결함제거율=
(Resolved, Closed) 상태의
모든 결함 수
X 100
Issuetype :
버그
개발자가 대응완료한 Defect에
대해 테스터가 최종적으로 고쳐
진 것을 확인한 비율모든 결함 수
기술 테스트 결과 리포팅 유틸리티
개발자
버그리포트 읽어봤는데..
이건 제 프로그램의 버그가 아
니라 원래 그렇게 동작하도록
의도한 것입니다!
속마음 : ‘리턴율 좀 낮춰주세요’
버그와 같은 내용으로
FeatureCheck이라는 이슈타입을 제공
(버그로 카운트하지 않음)
개발자가 버그라고 확인한 건만 깃발을 세움
(깃발 세워진 건만 리턴율에 반영)
기술 버그리포트 상세화면
글로 서술하는 것을 가급적 피하고 (의사소통 오류 유발)
파악하기 쉬운 스크린샷, 버그 재현 동영상을 최대한 활용
테스터에게는 스크린샷, 동영상 캡처를 쉽게 할 수 있는
전문 상용 프로그램 제공
기술 테스트 관련 기술 구성 / 데이터 흐름
Movie Uploader
테스트 결과 리포팅 유틸리티
QA
버그
발견
mp4
FTP
Movie link
REST API
(JIRA Rawdata)
Web
Screen
Developer
버그리포트(동영상포함)
테스트 결과 메트릭
마음가짐
개발자들은 적이 아닙니다!
QA 팀 회고
개발자들에게 국내 최고, 세계 최고의 결과물을 줍시다!
모두가 최고의 제품을 만들려는
같은 목표를 가진 동료입니다.
DEMO
(새 테스트 대상이 생겼을 때) 테스트 관리자가 수행하는 작업
테스트 스위트 준비 →
JIRA에
테스트 스위트 Import
→
테스터
보드/스프린트
추가
→ 대시보드 복제 →
테스트 결과 리포팅
유틸리티 설정
Testcase 작성 (QA) JIRA csv import
JIRA Structure Plugin
JIRA Agile Board
(Scrum 타입사용)
JIRA 대시보드 유틸리티를 호스팅 하는
서버 (Node.js)
Excel → csv(UTF-8
인코딩)
JIRA에서 csv로 테스트
케이스 임포트
Structure에
테스트 스위트 생성,
테스트 케이스 등록
(나중에 같은 테스트 스위트를
회귀테스트하는 것에 대비)
(필요시, Agile 보드생성)
새로운 에픽 생성
새로운 스프린트 생성
스프린트 시작
새로운 테스트
스위트에 맞는
이슈필터 생성
대시보드의 각 가젯의
이슈필터 변경
config.json 파일에
새로운 테스트 스위트 정보
추가
대시보드에 Custom
Contents 가젯에 설정
Wrap up
서로 배려하고 상생하는 최고의 팀플레이어가
되셨으면 좋겠습니다!
Cheolmin Shin • Process Innovation Team Manager • Mirero Inc.
http://deprogworks.blogspot.kr • feminie@gmail.com
Thank you!

More Related Content

What's hot (20)

katalon studio 툴을 이용한 GUI 테스트 자동화 가이드
katalon studio 툴을 이용한 GUI 테스트 자동화 가이드katalon studio 툴을 이용한 GUI 테스트 자동화 가이드
katalon studio 툴을 이용한 GUI 테스트 자동화 가이드
SangIn Choung
Automation test framework with cucumber – BDD
Automation test framework with cucumber – BDDAutomation test framework with cucumber – BDD
Automation test framework with cucumber – BDD
123abcda
모바일 게임 테스트 자동화 (Appium 확장)
모바일 게임 테스트 자동화 (Appium 확장)모바일 게임 테스트 자동화 (Appium 확장)
모바일 게임 테스트 자동화 (Appium 확장)
Jongwon Kim
Rest api 테스트 수행가이드
Rest api 테스트 수행가이드Rest api 테스트 수행가이드
Rest api 테스트 수행가이드
SangIn Choung
테스터가 말하는 테스트코드 작성 팁과 사례
테스터가 말하는 테스트코드 작성 팁과 사례테스터가 말하는 테스트코드 작성 팁과 사례
테스터가 말하는 테스트코드 작성 팁과 사례
SangIn Choung
(편집-테스트카페 발표자료) 1인 QA 수행사례로 발표한 자료 (W프로젝트 사례)
(편집-테스트카페 발표자료) 1인 QA 수행사례로 발표한 자료 (W프로젝트 사례)(편집-테스트카페 발표자료) 1인 QA 수행사례로 발표한 자료 (W프로젝트 사례)
(편집-테스트카페 발표자료) 1인 QA 수행사례로 발표한 자료 (W프로젝트 사례)
SangIn Choung
Automated Test Framework with Cucumber
Automated Test Framework with CucumberAutomated Test Framework with Cucumber
Automated Test Framework with Cucumber
Ramesh Krishnan Ganesan
Test Automation Framework with BDD and Cucumber
Test Automation Framework with BDD and CucumberTest Automation Framework with BDD and Cucumber
Test Automation Framework with BDD and Cucumber
Rhoynar Software Consulting
Bdd – with cucumber and gherkin
Bdd – with cucumber and gherkinBdd – with cucumber and gherkin
Bdd – with cucumber and gherkin
Arati Joshi
테스트자동화와 TDD
테스트자동화와 TDD테스트자동화와 TDD
테스트자동화와 TDD
Sunghyouk Bae
BDD testing with cucumber
BDD testing with cucumberBDD testing with cucumber
BDD testing with cucumber
Daniel Kummer
Test Automation Framework using Cucumber BDD overview (part 1)
Test Automation Framework using Cucumber BDD overview (part 1)Test Automation Framework using Cucumber BDD overview (part 1)
Test Automation Framework using Cucumber BDD overview (part 1)
Mindfire Solutions
Introdução ao Teste de Software - Uma abordagem práticaIntrodução ao Teste de Software - Uma abordagem prática
Introdução ao Teste de Software - Uma abordagem prática
Fabrício Campos
Behavior driven development (bdd)
Behavior driven development (bdd)Behavior driven development (bdd)
Behavior driven development (bdd)
Rohit Bisht
REST API testing with SpecFlow
REST API testing with SpecFlowREST API testing with SpecFlow
REST API testing with SpecFlow
Aiste Stikliute
Test Automation Framework Designs
Test Automation Framework DesignsTest Automation Framework Designs
Test Automation Framework Designs
Sauce Labs
Istqb 4-테스트설계기법-2015-1
Istqb 4-테스트설계기법-2015-1Istqb 4-테스트설계기법-2015-1
Istqb 4-테스트설계기법-2015-1
Jongwon Lee
Cypress testing
Cypress testingCypress testing
Cypress testing
Vladyslav Romanchenko
Writing Test Cases 20110808
Writing Test Cases 20110808Writing Test Cases 20110808
Writing Test Cases 20110808
slovejoy
Cucumber presenation
Cucumber presenationCucumber presenation
Cucumber presenation
Oussama BEN WAFI
katalon studio 툴을 이용한 GUI 테스트 자동화 가이드
katalon studio 툴을 이용한 GUI 테스트 자동화 가이드katalon studio 툴을 이용한 GUI 테스트 자동화 가이드
katalon studio 툴을 이용한 GUI 테스트 자동화 가이드
SangIn Choung
Automation test framework with cucumber – BDD
Automation test framework with cucumber – BDDAutomation test framework with cucumber – BDD
Automation test framework with cucumber – BDD
123abcda
모바일 게임 테스트 자동화 (Appium 확장)
모바일 게임 테스트 자동화 (Appium 확장)모바일 게임 테스트 자동화 (Appium 확장)
모바일 게임 테스트 자동화 (Appium 확장)
Jongwon Kim
Rest api 테스트 수행가이드
Rest api 테스트 수행가이드Rest api 테스트 수행가이드
Rest api 테스트 수행가이드
SangIn Choung
테스터가 말하는 테스트코드 작성 팁과 사례
테스터가 말하는 테스트코드 작성 팁과 사례테스터가 말하는 테스트코드 작성 팁과 사례
테스터가 말하는 테스트코드 작성 팁과 사례
SangIn Choung
(편집-테스트카페 발표자료) 1인 QA 수행사례로 발표한 자료 (W프로젝트 사례)
(편집-테스트카페 발표자료) 1인 QA 수행사례로 발표한 자료 (W프로젝트 사례)(편집-테스트카페 발표자료) 1인 QA 수행사례로 발표한 자료 (W프로젝트 사례)
(편집-테스트카페 발표자료) 1인 QA 수행사례로 발표한 자료 (W프로젝트 사례)
SangIn Choung
Bdd – with cucumber and gherkin
Bdd – with cucumber and gherkinBdd – with cucumber and gherkin
Bdd – with cucumber and gherkin
Arati Joshi
Test Automation Framework using Cucumber BDD overview (part 1)
Test Automation Framework using Cucumber BDD overview (part 1)Test Automation Framework using Cucumber BDD overview (part 1)
Test Automation Framework using Cucumber BDD overview (part 1)
Mindfire Solutions
Introdução ao Teste de Software - Uma abordagem práticaIntrodução ao Teste de Software - Uma abordagem prática
Introdução ao Teste de Software - Uma abordagem prática
Fabrício Campos
Behavior driven development (bdd)
Behavior driven development (bdd)Behavior driven development (bdd)
Behavior driven development (bdd)
Rohit Bisht
REST API testing with SpecFlow
REST API testing with SpecFlowREST API testing with SpecFlow
REST API testing with SpecFlow
Aiste Stikliute
Test Automation Framework Designs
Test Automation Framework DesignsTest Automation Framework Designs
Test Automation Framework Designs
Sauce Labs
Istqb 4-테스트설계기법-2015-1
Istqb 4-테스트설계기법-2015-1Istqb 4-테스트설계기법-2015-1
Istqb 4-테스트설계기법-2015-1
Jongwon Lee
Writing Test Cases 20110808
Writing Test Cases 20110808Writing Test Cases 20110808
Writing Test Cases 20110808
slovejoy

Viewers also liked (18)

[AUG] 소프트웨어 공학 국제표준 SEMAT Essence를 칸반으로 구현
[AUG] 소프트웨어 공학 국제표준 SEMAT Essence를 칸반으로 구현[AUG] 소프트웨어 공학 국제표준 SEMAT Essence를 칸반으로 구현
[AUG] 소프트웨어 공학 국제표준 SEMAT Essence를 칸반으로 구현
철민 신
[AUG] 칸반을 활용한 업무 프로세스 혁신 실천법
[AUG] 칸반을 활용한 업무 프로세스 혁신 실천법[AUG] 칸반을 활용한 업무 프로세스 혁신 실천법
[AUG] 칸반을 활용한 업무 프로세스 혁신 실천법
철민 신
Aug seoul 활동 가이드라인
Aug seoul 활동 가이드라인Aug seoul 활동 가이드라인
Aug seoul 활동 가이드라인
철민 신
Scaling Atlassian - What's New in Data Center
Scaling Atlassian - What's New in Data CenterScaling Atlassian - What's New in Data Center
Scaling Atlassian - What's New in Data Center
Atlassian
BPMN과 JIRA를 활용한 프로세스 중심 업무 혁신 실천법
BPMN과 JIRA를 활용한 프로세스 중심 업무 혁신 실천법BPMN과 JIRA를 활용한 프로세스 중심 업무 혁신 실천법
BPMN과 JIRA를 활용한 프로세스 중심 업무 혁신 실천법
철민 신
7 tips for more effective morning SCRUM
7 tips for more effective morning SCRUM7 tips for more effective morning SCRUM
7 tips for more effective morning SCRUM
Andrea Tino
Agile lessons learned in the Microsoft ALM Rangers
Agile lessons learned in the Microsoft ALM RangersAgile lessons learned in the Microsoft ALM Rangers
Agile lessons learned in the Microsoft ALM Rangers
Robert MacLean
Microsoft + Agile
Microsoft + AgileMicrosoft + Agile
Microsoft + Agile
Andrea Tino
About business process_bpm_bpmn_by_shincm
About business process_bpm_bpmn_by_shincmAbout business process_bpm_bpmn_by_shincm
About business process_bpm_bpmn_by_shincm
철민 신
Visual pmo (hybrid agile) proposal v1 3c
Visual pmo (hybrid agile) proposal v1 3cVisual pmo (hybrid agile) proposal v1 3c
Visual pmo (hybrid agile) proposal v1 3c
Peter Kim
성장하는 스타트업의 프로세스 개척기
성장하는 스타트업의 프로세스 개척기성장하는 스타트업의 프로세스 개척기
성장하는 스타트업의 프로세스 개척기
DomainDriven DomainDriven
The state of testing @ Microsoft
The state of testing @ MicrosoftThe state of testing @ Microsoft
The state of testing @ Microsoft
Robert MacLean
개발단계 Fun qa
개발단계 Fun qa개발단계 Fun qa
개발단계 Fun qa
원철 정
나는 PM이다! 33회 신철민_발표자료
나는 PM이다! 33회 신철민_발표자료나는 PM이다! 33회 신철민_발표자료
나는 PM이다! 33회 신철민_발표자료
Dong-Hwan Han, Ph.D.
Istqb 2-소프트웨어수명주기와테스팅-2015
Istqb 2-소프트웨어수명주기와테스팅-2015Istqb 2-소프트웨어수명주기와테스팅-2015
Istqb 2-소프트웨어수명주기와테스팅-2015
Jongwon Lee
Istqb 5-테스트관리-2015-배포
Istqb 5-테스트관리-2015-배포Istqb 5-테스트관리-2015-배포
Istqb 5-테스트관리-2015-배포
Jongwon Lee
svn 능력자를 위한 git 개념 가이드
svn 능력자를 위한 git 개념 가이드svn 능력자를 위한 git 개념 가이드
svn 능력자를 위한 git 개념 가이드
Insub Lee
Monitoring with Graylog - a modern approach to monitoring?
Monitoring with Graylog - a modern approach to monitoring?Monitoring with Graylog - a modern approach to monitoring?
Monitoring with Graylog - a modern approach to monitoring?
inovex GmbH
[AUG] 소프트웨어 공학 국제표준 SEMAT Essence를 칸반으로 구현
[AUG] 소프트웨어 공학 국제표준 SEMAT Essence를 칸반으로 구현[AUG] 소프트웨어 공학 국제표준 SEMAT Essence를 칸반으로 구현
[AUG] 소프트웨어 공학 국제표준 SEMAT Essence를 칸반으로 구현
철민 신
[AUG] 칸반을 활용한 업무 프로세스 혁신 실천법
[AUG] 칸반을 활용한 업무 프로세스 혁신 실천법[AUG] 칸반을 활용한 업무 프로세스 혁신 실천법
[AUG] 칸반을 활용한 업무 프로세스 혁신 실천법
철민 신
Aug seoul 활동 가이드라인
Aug seoul 활동 가이드라인Aug seoul 활동 가이드라인
Aug seoul 활동 가이드라인
철민 신
Scaling Atlassian - What's New in Data Center
Scaling Atlassian - What's New in Data CenterScaling Atlassian - What's New in Data Center
Scaling Atlassian - What's New in Data Center
Atlassian
BPMN과 JIRA를 활용한 프로세스 중심 업무 혁신 실천법
BPMN과 JIRA를 활용한 프로세스 중심 업무 혁신 실천법BPMN과 JIRA를 활용한 프로세스 중심 업무 혁신 실천법
BPMN과 JIRA를 활용한 프로세스 중심 업무 혁신 실천법
철민 신
7 tips for more effective morning SCRUM
7 tips for more effective morning SCRUM7 tips for more effective morning SCRUM
7 tips for more effective morning SCRUM
Andrea Tino
Agile lessons learned in the Microsoft ALM Rangers
Agile lessons learned in the Microsoft ALM RangersAgile lessons learned in the Microsoft ALM Rangers
Agile lessons learned in the Microsoft ALM Rangers
Robert MacLean
About business process_bpm_bpmn_by_shincm
About business process_bpm_bpmn_by_shincmAbout business process_bpm_bpmn_by_shincm
About business process_bpm_bpmn_by_shincm
철민 신
Visual pmo (hybrid agile) proposal v1 3c
Visual pmo (hybrid agile) proposal v1 3cVisual pmo (hybrid agile) proposal v1 3c
Visual pmo (hybrid agile) proposal v1 3c
Peter Kim
성장하는 스타트업의 프로세스 개척기
성장하는 스타트업의 프로세스 개척기성장하는 스타트업의 프로세스 개척기
성장하는 스타트업의 프로세스 개척기
DomainDriven DomainDriven
The state of testing @ Microsoft
The state of testing @ MicrosoftThe state of testing @ Microsoft
The state of testing @ Microsoft
Robert MacLean
나는 PM이다! 33회 신철민_발표자료
나는 PM이다! 33회 신철민_발표자료나는 PM이다! 33회 신철민_발표자료
나는 PM이다! 33회 신철민_발표자료
Dong-Hwan Han, Ph.D.
Istqb 2-소프트웨어수명주기와테스팅-2015
Istqb 2-소프트웨어수명주기와테스팅-2015Istqb 2-소프트웨어수명주기와테스팅-2015
Istqb 2-소프트웨어수명주기와테스팅-2015
Jongwon Lee
Istqb 5-테스트관리-2015-배포
Istqb 5-테스트관리-2015-배포Istqb 5-테스트관리-2015-배포
Istqb 5-테스트관리-2015-배포
Jongwon Lee
svn 능력자를 위한 git 개념 가이드
svn 능력자를 위한 git 개념 가이드svn 능력자를 위한 git 개념 가이드
svn 능력자를 위한 git 개념 가이드
Insub Lee
Monitoring with Graylog - a modern approach to monitoring?
Monitoring with Graylog - a modern approach to monitoring?Monitoring with Graylog - a modern approach to monitoring?
Monitoring with Graylog - a modern approach to monitoring?
inovex GmbH

Similar to [AUG]개발자와 QA가 상생하는 테스트 프로세스 (20)

애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)
애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)
애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)
SangIn Choung
Android QA Process
Android QA ProcessAndroid QA Process
Android QA Process
Young-Hyuk Yoo
테스트수행사례 W통합보안솔루션
테스트수행사례 W통합보안솔루션테스트수행사례 W통합보안솔루션
테스트수행사례 W통합보안솔루션
SangIn Choung
How Google Tests Software (구글의 소프트웨어 테스팅)
How Google Tests Software (구글의 소프트웨어 테스팅)How Google Tests Software (구글의 소프트웨어 테스팅)
How Google Tests Software (구글의 소프트웨어 테스팅)
Ye Joo Park
전통적인 개발과 테스트 주도 개발, 그리고 애자일
전통적인 개발과 테스트 주도 개발, 그리고 애자일전통적인 개발과 테스트 주도 개발, 그리고 애자일
전통적인 개발과 테스트 주도 개발, 그리고 애자일
Tap ToRestart
testing for agile?, agile for testing
testing for agile?, agile for testingtesting for agile?, agile for testing
testing for agile?, agile for testing
SangIn Choung
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
Sungmin Kim
[SWMaestro 100+ 발표자료] 테스트하기
[SWMaestro 100+ 발표자료] 테스트하기[SWMaestro 100+ 발표자료] 테스트하기
[SWMaestro 100+ 발표자료] 테스트하기
Luavis Kang
AWS와 함께하는 DevOps이야기 :: 박선용 :: AWS Summit Seoul 2016
AWS와 함께하는 DevOps이야기 :: 박선용 :: AWS Summit Seoul 2016AWS와 함께하는 DevOps이야기 :: 박선용 :: AWS Summit Seoul 2016
AWS와 함께하는 DevOps이야기 :: 박선용 :: AWS Summit Seoul 2016
Amazon Web Services Korea
더 나은 SW프로젝트를 위해
 더 나은 SW프로젝트를 위해 더 나은 SW프로젝트를 위해
더 나은 SW프로젝트를 위해
지수 윤
오픈 스펙을 대상으로 한 테스트설계사례
오픈 스펙을 대상으로 한 테스트설계사례오픈 스펙을 대상으로 한 테스트설계사례
오픈 스펙을 대상으로 한 테스트설계사례
SangIn Choung
짝 테스트(Pair Testing) 소개와 사례
짝 테스트(Pair Testing) 소개와 사례짝 테스트(Pair Testing) 소개와 사례
짝 테스트(Pair Testing) 소개와 사례
SangIn Choung
프로젝트 Xxx에 적용하고 싶은 개발방법
프로젝트 Xxx에 적용하고 싶은 개발방법프로젝트 Xxx에 적용하고 싶은 개발방법
프로젝트 Xxx에 적용하고 싶은 개발방법
도형 임
테스팅을위한선행조건 명세
테스팅을위한선행조건 명세테스팅을위한선행조건 명세
테스팅을위한선행조건 명세
규동 최규동
[오픈소스컨설팅]Session 6. scrum과 jira 기반의 소프트웨어 개발 프로세스
[오픈소스컨설팅]Session 6. scrum과 jira 기반의 소프트웨어 개발 프로세스[오픈소스컨설팅]Session 6. scrum과 jira 기반의 소프트웨어 개발 프로세스
[오픈소스컨설팅]Session 6. scrum과 jira 기반의 소프트웨어 개발 프로세스
Hee Jae Lee
EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다
이상모임
WEB Front-End 개발과정 살펴보기
WEB Front-End 개발과정 살펴보기WEB Front-End 개발과정 살펴보기
WEB Front-End 개발과정 살펴보기
지수 윤
제13회컨퍼런스 조대협 서버사이드개발
제13회컨퍼런스 조대협 서버사이드개발제13회컨퍼런스 조대협 서버사이드개발
제13회컨퍼런스 조대협 서버사이드개발
Terry Cho
엔지니어링관점에서 테스트 개선방안 질의 응답
엔지니어링관점에서 테스트 개선방안 질의 응답엔지니어링관점에서 테스트 개선방안 질의 응답
엔지니어링관점에서 테스트 개선방안 질의 응답
SangIn Choung
애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)
애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)
애자일과 애자일 테스트 소개 (테스트기본교육 3장 2절)
SangIn Choung
테스트수행사례 W통합보안솔루션
테스트수행사례 W통합보안솔루션테스트수행사례 W통합보안솔루션
테스트수행사례 W통합보안솔루션
SangIn Choung
How Google Tests Software (구글의 소프트웨어 테스팅)
How Google Tests Software (구글의 소프트웨어 테스팅)How Google Tests Software (구글의 소프트웨어 테스팅)
How Google Tests Software (구글의 소프트웨어 테스팅)
Ye Joo Park
전통적인 개발과 테스트 주도 개발, 그리고 애자일
전통적인 개발과 테스트 주도 개발, 그리고 애자일전통적인 개발과 테스트 주도 개발, 그리고 애자일
전통적인 개발과 테스트 주도 개발, 그리고 애자일
Tap ToRestart
testing for agile?, agile for testing
testing for agile?, agile for testingtesting for agile?, agile for testing
testing for agile?, agile for testing
SangIn Choung
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
KGC 2014, 'Software Enginner in Test' in Game Development (Bluehole Studio)
Sungmin Kim
[SWMaestro 100+ 발표자료] 테스트하기
[SWMaestro 100+ 발표자료] 테스트하기[SWMaestro 100+ 발표자료] 테스트하기
[SWMaestro 100+ 발표자료] 테스트하기
Luavis Kang
AWS와 함께하는 DevOps이야기 :: 박선용 :: AWS Summit Seoul 2016
AWS와 함께하는 DevOps이야기 :: 박선용 :: AWS Summit Seoul 2016AWS와 함께하는 DevOps이야기 :: 박선용 :: AWS Summit Seoul 2016
AWS와 함께하는 DevOps이야기 :: 박선용 :: AWS Summit Seoul 2016
Amazon Web Services Korea
더 나은 SW프로젝트를 위해
 더 나은 SW프로젝트를 위해 더 나은 SW프로젝트를 위해
더 나은 SW프로젝트를 위해
지수 윤
오픈 스펙을 대상으로 한 테스트설계사례
오픈 스펙을 대상으로 한 테스트설계사례오픈 스펙을 대상으로 한 테스트설계사례
오픈 스펙을 대상으로 한 테스트설계사례
SangIn Choung
짝 테스트(Pair Testing) 소개와 사례
짝 테스트(Pair Testing) 소개와 사례짝 테스트(Pair Testing) 소개와 사례
짝 테스트(Pair Testing) 소개와 사례
SangIn Choung
프로젝트 Xxx에 적용하고 싶은 개발방법
프로젝트 Xxx에 적용하고 싶은 개발방법프로젝트 Xxx에 적용하고 싶은 개발방법
프로젝트 Xxx에 적용하고 싶은 개발방법
도형 임
테스팅을위한선행조건 명세
테스팅을위한선행조건 명세테스팅을위한선행조건 명세
테스팅을위한선행조건 명세
규동 최규동
[오픈소스컨설팅]Session 6. scrum과 jira 기반의 소프트웨어 개발 프로세스
[오픈소스컨설팅]Session 6. scrum과 jira 기반의 소프트웨어 개발 프로세스[오픈소스컨설팅]Session 6. scrum과 jira 기반의 소프트웨어 개발 프로세스
[오픈소스컨설팅]Session 6. scrum과 jira 기반의 소프트웨어 개발 프로세스
Hee Jae Lee
EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다EMOCON 2015 - 품질과 테스트는 다르다
EMOCON 2015 - 품질과 테스트는 다르다
이상모임
WEB Front-End 개발과정 살펴보기
WEB Front-End 개발과정 살펴보기WEB Front-End 개발과정 살펴보기
WEB Front-End 개발과정 살펴보기
지수 윤
제13회컨퍼런스 조대협 서버사이드개발
제13회컨퍼런스 조대협 서버사이드개발제13회컨퍼런스 조대협 서버사이드개발
제13회컨퍼런스 조대협 서버사이드개발
Terry Cho
엔지니어링관점에서 테스트 개선방안 질의 응답
엔지니어링관점에서 테스트 개선방안 질의 응답엔지니어링관점에서 테스트 개선방안 질의 응답
엔지니어링관점에서 테스트 개선방안 질의 응답
SangIn Choung

[AUG]개발자와 QA가 상생하는 테스트 프로세스

  • 1. Cheolmin Shin • Process Innovation Team Manager • Mirero Inc. http://deprogworks.blogspot.kr • feminie@gmail.com 개발자와 QA가 상생하는 테스트 프로세스
  • 2. 개발자 vs. QA 버그 리포팅 했으니 고쳐주세요 내 PC에서는 버그 재현이 안되는데요? 어떻게 고치라는 건가요?
  • 3. 분쟁의 원인 출신 배경이 다름 (개발, QA) 보람을 느끼는 포인트가 다름 (개발 : 새로운 것을 만들어 냈을 때) (QA : 좋은 품질로 이끌었을 때)
  • 7. 프로세스 테스트 프로세스 간소화 QA, 개발자가 프로세스에서 숨막히는 느낌이 들지 않을 수준으로 프로세스를 간소화, 효율화
  • 8. 프로세스 테스트케이스 작성 테스트케이스 작성 주체는 정해져 있지 않음 상황을 고려해서 더 적합한 쪽에서 작성 개발팀 : 개발일정에 여유가 있을 경우 QA : 개발일정이 빠듯하고 개발문서도 충분치 않은 경우 프로그램에 대한 설명을 듣고 테스트케이스 작성
  • 9. 프로세스 버그리포트 작성 버그리포팅은 최대한 개발자가 쉽게 이해할 수 있는 방법을 총동원해서 제공 Ex) 버그 재현동영상 (스트리밍)
  • 10. 프로세스 JIRA에 구현 테스트 케이스 워크플로우 버그 워크플로우 테스트 스위트 버그 테스트 케이스 테스트 케이스 테스트 케이스
  • 11. 기술 테스트 대시보드(테스트 보고서) 별도 형식의 보고서를 작성하지 않고 JIRA대시보드를 활용하여 RealTime데이터를 확인 핵심 메트릭 수치 제공 (효율적 의사소통 가능) JIRA가 제공하지 않는 기능 (자체적으로 별도 구현후 JIRA대시보드에 삽입)
  • 12. 기술 테스트 결과 리포팅 유틸리티 리턴율 = (결함율) (결함처리중) 수 X 100 Issuetype : 테스트케이스 테스터가 수행한 테스트 케이스 중 결함이 발생한 비율 모든 테스트 케이스 수 결함처리율= (Open, 개발중) 이외의 모든 결함 수 X 100 Issuetype : 버그 개발자가 대응 완료한 Defect 비율 모든 결함 수 결함제거율= (Resolved, Closed) 상태의 모든 결함 수 X 100 Issuetype : 버그 개발자가 대응완료한 Defect에 대해 테스터가 최종적으로 고쳐 진 것을 확인한 비율모든 결함 수
  • 13. 기술 테스트 결과 리포팅 유틸리티 개발자 버그리포트 읽어봤는데.. 이건 제 프로그램의 버그가 아 니라 원래 그렇게 동작하도록 의도한 것입니다! 속마음 : ‘리턴율 좀 낮춰주세요’ 버그와 같은 내용으로 FeatureCheck이라는 이슈타입을 제공 (버그로 카운트하지 않음) 개발자가 버그라고 확인한 건만 깃발을 세움 (깃발 세워진 건만 리턴율에 반영)
  • 14. 기술 버그리포트 상세화면 글로 서술하는 것을 가급적 피하고 (의사소통 오류 유발) 파악하기 쉬운 스크린샷, 버그 재현 동영상을 최대한 활용 테스터에게는 스크린샷, 동영상 캡처를 쉽게 할 수 있는 전문 상용 프로그램 제공
  • 15. 기술 테스트 관련 기술 구성 / 데이터 흐름 Movie Uploader 테스트 결과 리포팅 유틸리티 QA 버그 발견 mp4 FTP Movie link REST API (JIRA Rawdata) Web Screen Developer 버그리포트(동영상포함) 테스트 결과 메트릭
  • 16. 마음가짐 개발자들은 적이 아닙니다! QA 팀 회고 개발자들에게 국내 최고, 세계 최고의 결과물을 줍시다! 모두가 최고의 제품을 만들려는 같은 목표를 가진 동료입니다.
  • 17. DEMO
  • 18. (새 테스트 대상이 생겼을 때) 테스트 관리자가 수행하는 작업 테스트 스위트 준비 → JIRA에 테스트 스위트 Import → 테스터 보드/스프린트 추가 → 대시보드 복제 → 테스트 결과 리포팅 유틸리티 설정 Testcase 작성 (QA) JIRA csv import JIRA Structure Plugin JIRA Agile Board (Scrum 타입사용) JIRA 대시보드 유틸리티를 호스팅 하는 서버 (Node.js) Excel → csv(UTF-8 인코딩) JIRA에서 csv로 테스트 케이스 임포트 Structure에 테스트 스위트 생성, 테스트 케이스 등록 (나중에 같은 테스트 스위트를 회귀테스트하는 것에 대비) (필요시, Agile 보드생성) 새로운 에픽 생성 새로운 스프린트 생성 스프린트 시작 새로운 테스트 스위트에 맞는 이슈필터 생성 대시보드의 각 가젯의 이슈필터 변경 config.json 파일에 새로운 테스트 스위트 정보 추가 대시보드에 Custom Contents 가젯에 설정
  • 20. 서로 배려하고 상생하는 최고의 팀플레이어가 되셨으면 좋겠습니다!
  • 21. Cheolmin Shin • Process Innovation Team Manager • Mirero Inc. http://deprogworks.blogspot.kr • feminie@gmail.com Thank you!