際際滷

際際滷Share a Scribd company logo

Testpub #11_12.12.2013 - Risikobasert testing

Minh Nguyen
Minh Nguyen
1 of 36
Knowit Quality Management Oslo 2013-12-12 Minh Nguyen mng@knowit.no
Knowit QMO ≒ Startet opp 1.1.2012 som et selskap i Knowit. ≒ Eid av Knowit ON, Knowit QM Bergen og ansatte. ≒ Leverer testledere, tekniske tester, testr奪dgiver, prosjektleder (adm./tekn.) og leveanseansvarlig. ≒ Per i dag 7 ansatte aktiv rekruttering p奪 erfarne medarbeidere. ≒ QMO tilbyr: ≒ ≒ Fagutvikling ≒ ≒ Spennende kunde og oppdrag Godt sosialt milj淡 QMO ansatte skal: ≒ V脱re lidenskapelig p奪 fag ≒ V脱re motivert for 奪 bygge opp noe ≒ Bidra til et godt sosialt milj淡
Knowit QMO Kristian Knowit QM Bergen (15) May Britt Minh Ivar Kjetil Kristjan Fredrick Deg?
Risikobasert testing Knowit Quality Management Oslo Testpub #11 12.desember.2013 Minh Nguyen
Bakgrunn ≒ Risk management er en kjent teknikk i Prosjektstyringsmetodikken. ≒ Ble anvendt i testdisiplin og omtalt i mange publiserte litteraturer siden 1999/2000. ≒ Lite konkrete erfaringer eller best-praksis tilgjengelig, spesielt for norske forhold. ≒ Teknikken er rimelig fastlagt men baseres mye p奪 kvalitativ og subjektiv vurdering. ≒ Erfaringer m奪 bygges opp og gjelder for kun din egen organisasjon? Hvordan? ≒ Noe til felles som kan gjenbrukes / anvendes p奪 tvers av organisasjoner?
Forventning ≒ F奪 innblikk i temaet risikobasert testing. ≒ Diskutere hvordan denne teknikken blir praktisert hva fungerer og hva fungerer ikke. ≒ Utveksle konkrete erfaringer. ≒ Hva kan vi som fagnettverk gj淡re for 奪 bli bedre p奪 dette? Kunnskapsdeling og nettverksbygging !!!
Testpub #11_12.12.2013 - Risikobasert testing
Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med?
Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap.
Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency)
Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser.
Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser. kning i QA-investering p奪 mobiler. ≒ Nye plattformer nye type risikoer!
Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser. kning i QA-investering p奪 mobiler. ≒ Nye plattformer nye type risikoer! kt QA fokus og investering p奪 testing av sikkerhet, funksjonalitet og ytelse p奪 SaaS. ≒ Ny leveransemodell nye type risikoer!
Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser. kning i QA-investering p奪 mobiler. ≒ Nye plattformer nye type risikoer! kt QA fokus og investering p奪 testing av sikkerhet, funksjonalitet og ytelse p奪 SaaS. ≒ Ny leveransemodell nye type risikoer! St淡rre investering i og d奪rlig utnyttelse av testmilj淡. ≒ Behov risiko fokus investering.
Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser. kning i QA-investering p奪 mobiler. ≒ Nye plattformer nye type risikoer! kt QA fokus og investering p奪 testing av sikkerhet, funksjonalitet og ytelse p奪 SaaS. ≒ Ny leveransemodell nye type risikoer! St淡rre investering i og d奪rlig utnyttelse av testmilj淡. ≒ Behov risiko fokus investering. Mangel p奪 testmetodikk for smidig utvikling. ≒ Utf淡re riktige tester ofte og tidsriktig samt at testingen kan stoppe n奪r som helst uten at viktig kvalitet forringes.
Om temaet 1. Hvorfor er risikobasert testing viktig? 2. Hvilke prinsipper gjelder for risikobasert testing? 3. Hvordan gj淡r vi risikobasert testing? FOKUS P VIRKNINGSFULL (effective) TESTING VED TESTE RIKTIG !!!
Hvorfor ≒ Kan ikke teste alt innenfor begrenset tid og ressurser som er avsatt til testing. ≒ Rammebetingelser for test er ofte gitt. Ingen eller liten p奪virkningsmulighet. ≒ Testing blir ofte skviset ut / nedprioritert pga. tidspress eller forsinkelser. ≒ Ved feil i produksjon blir det ofte stilt sp淡rsm奪l Hvorfor har vi ikke testet det?
Risikobasert testing i korte trekk ≒ Vurdering av applikasjonens ulike funksjonsmessige omr奪der i forhold til de forretningsmessige konsekvenser ved funksjonsfeil og sannsynlighet for stor feilhyppighet i funksjonen. ≒ Pragmatisk anvendelse av risikostyring i planlegging og gjennomf淡ring av test slik at testingen blir mest mulig avkastning av investeringen. ≒ Risikobasert testing kan vi gi oss _tilstrekkelig_ tiltro til kvaliteten p奪 systemet f淡r testingen eventuelt blir innstilt eller forkortet ned. ≒ Har et forretningsorientert fokus med hensyn til risiko. ≒ Er et levende rammeverk / verkt淡ykasse som blir beriket med praktiske og empiriske erfaringer.
Prinsipper for risikobasert testing ≒ Ikke alle tester har samme viktighet: ≒ Noen tester reduserer risiko for feil i drift ≒ Andre tester 淡ker ikke verdi og tiltro til systemet ≒ Tiltro til og kvaliteten p奪 systemet 淡ker ved 奪 teste h淡yest prioriterte tester f淡rst Det vil da gi mulighet for 奪 kunne finne kritiske / alvorlige feil tidig. ≒ Vi kan sette systemet i drift tidlig dersom vi fokuserer p奪 systemomr奪der som er antatt 奪 ha h淡y risiko i stedet for 奪 sl淡se tid og ressurser p奪 systemomr奪der som har liten sannsynlighet for 奪 feile eller konsekvens av feil er lav
Antall prosjekter? M奪ling p奪 tiltro til system? Kilde: Quality Management TGB Consulting
Risikostyring prosess Identifisere Korrigere Gjennomf淡re & Rapportere Analysere Planlegge
Identifisere M奪l: ≒ M奪let med denne aktiviteten er 奪 identifisere potensielle problemomr奪der for et system. Problemomr奪det blir dernest brutt ned i moduler, komponenter eller funksjoner. Best praksis: ≒ Idemyldring, brain-storming eller intervjuer med eksperter fra b奪de forretnings- og teknisk side. ≒ Bruk oversikt over komponenter / funksjoner eller oversikt over testemner, testcases, ≒ Benytte Produkt-risikoene som blir identifisert i prosjektet Velg et pragmatisk niv奪!
Analysere M奪l: ≒ M奪let med denne aktiviteten er 奪 vurdere og fastsette sannsynlighet og konsekvens knyttet til risikoomr奪der. Best praksis: ≒ Kvalitativ normativ beskrivelse av menneskers opplevelse og erfaring ≒ Kvantitativ menneskers opplevelse og erfaringer uttrykkes i m奪lbare og distinkte verdier ≒ Kombinasjon av begge deler Gj淡r det enkelt!
Risikoanalyse Sannsynlighet H淡y Middels Lav Middels H淡y H淡y Lav Middels H淡y Lav Lav Middels Lav Middels Sannsynlighet for at feil oppst奪r i produksjon dersom ingen test blir utf淡rt p奪 et gitt omr奪de Konsekvens H淡y
Kvalitativ analyse sannsynlighet Sannsynlighet Lav Middels H淡y Uendret Endret Ny Historisk feilrate Lav Middels H淡y St淡rrelse Liten Medium Stor F奪 grensesnitt / komponenter Flere grensesnitt / komponenter Mange grensesnitt / komponenter ? ? ? Kriterium Endringsrate Kompleksitet Andre
Kvalitativ analyse konsekvens Konsekvens Lav Medium H淡y Visning Endring av data Kalkulasjon / Validering Konsekvens for forretning Ikke merkbar Feil informasjon under prosessering Juridisk / konomisk / Omd淡mme Brukshyppighet Sjelden Ofte Veldig ofte # ber淡rte brukere Noen f奪 Grupper Stort antall ? ? ? Kriterium Prosess/Funksjon Andre
Kvalitativ analyse risiko Sannsynlighet XX-3 XX-1 XX-5 XX-12 XX-2 XX-4 XX-7 XX-6 XX-9 XX10 XX-8 XX test case, test egenskap, funksjon modul/komponent Konsekvens
Testpub #11_12.12.2013 - Risikobasert testing
Kvantitativ analyse sannsynlighet Indikator = 1 (lav) 5 (h淡y) Indikator Kompleksit et (vekt = 4) Stabilitet (vekt = 3) St淡rrelse (vekt = 1) Funksjon Veid gjennomsnitt Sannsynlighet XX-1 2 3 4 7 0,58 XX-2 1 3 4 5,7 0,48 XX-3 3 2 1 6,3 0,52 XX-4 5 5 1 12 1.0
Kvantitativ analyse konsekvens Indikator = 4 - Kritisk; 3 Alvorlig; 2 Normal, 1 - Kosmetisk Indikator Kundens vurdering Leverand淡r- Gjennomvurdering snitt Funksjon XX-1 1 3 2 XX-2 2 4 3 XX-3 2 3 2,5 XX-4 4 4 4
Kvantitativ analyse risiko Indikator Sannsynlighet Konsekvens Risiko = S * K Rekkef淡lge for test XX-1 0,58 2 1,16 4 XX-2 0,48 3 1,44 2 XX-3 0,52 2,5 1,25 3 XX-4 1 4 4 1 Funksjon
Planlegge M奪l: ≒ Finne en passende strategi og identifisere tiltak for gjennomf淡ring av test. Hensikten med tiltak er 奪 redusere sannsynligheten eller skadeomfang. Best praksis: ≒ Prioritering av tester (rekkef淡lge) basert p奪 resultater fra risikoanalyse. ≒ Leveranseplan av komponenter baseres p奪 rekkef淡lgen. ≒ Inspeksjoner hos leverand淡r p奪 at det arbeidet som de skal gj淡re blir gjort. ≒ Bist奪 leverand淡ren med testing av systemet p奪 et tidligere tidspunkt. ≒ Sette de mest erfarne testerne p奪 奪 designe og gjennomf淡re de h淡yt prioriterte testene. ≒ Automatisere prioriterte tester for 奪 淡ke test-effektivitet.
Gjennomf淡re og rapportere M奪l: ≒ Gjennomf淡re iht. testplan og fortl淡pende rapportere status basert p奪 risikobildet. Best praksis: ≒ Ulike teststrategier for ulike tester av ulike prioritet - viktige tester trenger mer tid og m奪 testes n淡ye. ≒ Regelmessig vurdering sammen med Kunden for 奪 avveie tidlig driftssetting vs. 100% fullf淡rt test. ≒ Rapportere med henblikk p奪 risiko ≒ Status p奪 testene (ok, ikke-ok, ikke-p奪begynt, ) - se neste foil ≒ Antall feil av ulike kategorier/alvorlighetsgrader fordelt p奪 risikoniv奪ene ≒ Feilrettingsrate (forhold mellom #feil rettet og #feil funnet) for hvert risikoniv奪
Gjennomf淡re og rapportere 0 2 21 Status p奪 krav per risikoniv奪 12 4 5 1 0 0 Antall feil per risikoniv奪
Korrigere og l脱re M奪l: ≒ M奪ledata samles og analyseres for 奪 b奪de korrigere kursen (strategier og planer revurderes) og trekke l脱rdommer (identifikasjon/analyse av risiko, estimater under planlegging, osv.) til fremtidige prosjektet. Best praksis: ≒ Dersom feilene som er avdekket stammer fra systemomr奪der med lav risiko Re-evaluere !!! ≒ Revurdering av risiko-trigger og gyldighet p奪 forutsetninger ≒ Erfaringsdatabase
Take-away ≒ Mange publiserte litteratur om tematikken. ≒ M奪 etablere og tilpasse grunnlaget for risikoanalyse (kriteria, verdiskala, vekting, osv) for din egen organisasjon. ≒ Risikoanalyse, teststrategi og rapportering/l脱ring m奪 finpusses kontinuerlig med kontekst-relevante erfaringer eller best praksis fra andre. ≒ Vanskelig med innsalg og 奪 f奪 forankring pga. manglende metrikker og empiriske studier. ≒ Ettertanke: Hvordan kan v奪rt fagnettverk bidra med videre arbeid?

More Related Content

Testpub #11_12.12.2013 - Risikobasert testing

  • 1. Knowit Quality Management Oslo 2013-12-12 Minh Nguyen mng@knowit.no
  • 2. Knowit QMO ≒ Startet opp 1.1.2012 som et selskap i Knowit. ≒ Eid av Knowit ON, Knowit QM Bergen og ansatte. ≒ Leverer testledere, tekniske tester, testr奪dgiver, prosjektleder (adm./tekn.) og leveanseansvarlig. ≒ Per i dag 7 ansatte aktiv rekruttering p奪 erfarne medarbeidere. ≒ QMO tilbyr: ≒ ≒ Fagutvikling ≒ ≒ Spennende kunde og oppdrag Godt sosialt milj淡 QMO ansatte skal: ≒ V脱re lidenskapelig p奪 fag ≒ V脱re motivert for 奪 bygge opp noe ≒ Bidra til et godt sosialt milj淡
  • 3. Knowit QMO Kristian Knowit QM Bergen (15) May Britt Minh Ivar Kjetil Kristjan Fredrick Deg?
  • 4. Risikobasert testing Knowit Quality Management Oslo Testpub #11 12.desember.2013 Minh Nguyen
  • 5. Bakgrunn ≒ Risk management er en kjent teknikk i Prosjektstyringsmetodikken. ≒ Ble anvendt i testdisiplin og omtalt i mange publiserte litteraturer siden 1999/2000. ≒ Lite konkrete erfaringer eller best-praksis tilgjengelig, spesielt for norske forhold. ≒ Teknikken er rimelig fastlagt men baseres mye p奪 kvalitativ og subjektiv vurdering. ≒ Erfaringer m奪 bygges opp og gjelder for kun din egen organisasjon? Hvordan? ≒ Noe til felles som kan gjenbrukes / anvendes p奪 tvers av organisasjoner?
  • 6. Forventning ≒ F奪 innblikk i temaet risikobasert testing. ≒ Diskutere hvordan denne teknikken blir praktisert hva fungerer og hva fungerer ikke. ≒ Utveksle konkrete erfaringer. ≒ Hva kan vi som fagnettverk gj淡re for 奪 bli bedre p奪 dette? Kunnskapsdeling og nettverksbygging !!!
  • 8. Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med?
  • 9. Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap.
  • 10. Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency)
  • 11. Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser.
  • 12. Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser. kning i QA-investering p奪 mobiler. ≒ Nye plattformer nye type risikoer!
  • 13. Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser. kning i QA-investering p奪 mobiler. ≒ Nye plattformer nye type risikoer! kt QA fokus og investering p奪 testing av sikkerhet, funksjonalitet og ytelse p奪 SaaS. ≒ Ny leveransemodell nye type risikoer!
  • 14. Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser. kning i QA-investering p奪 mobiler. ≒ Nye plattformer nye type risikoer! kt QA fokus og investering p奪 testing av sikkerhet, funksjonalitet og ytelse p奪 SaaS. ≒ Ny leveransemodell nye type risikoer! St淡rre investering i og d奪rlig utnyttelse av testmilj淡. ≒ Behov risiko fokus investering.
  • 15. Funnene p奪 test og kvalitetssikring Funn Hva kan risikobasert testing bidra med? Sentralisert og in-housing QA funksjon for 奪 sikre god forretnings- og domeneforst奪else. ≒ Forretningsforst奪else er en avgj淡rende forutsetning. ≒ Fokus p奪 kombinasjon mellom QA-fag og domenekunnskap. St淡rre investering p奪 QA i nye utviklingsprosjekter og samme innvestering p奪 QA i forvaltning. ≒ Utviklingsprosjekt flere og mer alvorlige risikoer. ≒ Forvaltning risikobasert testing er kostnadseffektiv samt testautomatisering (effectiveness and efficiency) Mangel p奪 forankring p奪 grunn av f奪 ROI-metrikker. ≒ Kvantitativ tiln脱rming som assosierer til forretningsmessige konsekvenser. kning i QA-investering p奪 mobiler. ≒ Nye plattformer nye type risikoer! kt QA fokus og investering p奪 testing av sikkerhet, funksjonalitet og ytelse p奪 SaaS. ≒ Ny leveransemodell nye type risikoer! St淡rre investering i og d奪rlig utnyttelse av testmilj淡. ≒ Behov risiko fokus investering. Mangel p奪 testmetodikk for smidig utvikling. ≒ Utf淡re riktige tester ofte og tidsriktig samt at testingen kan stoppe n奪r som helst uten at viktig kvalitet forringes.
  • 16. Om temaet 1. Hvorfor er risikobasert testing viktig? 2. Hvilke prinsipper gjelder for risikobasert testing? 3. Hvordan gj淡r vi risikobasert testing? FOKUS P VIRKNINGSFULL (effective) TESTING VED TESTE RIKTIG !!!
  • 17. Hvorfor ≒ Kan ikke teste alt innenfor begrenset tid og ressurser som er avsatt til testing. ≒ Rammebetingelser for test er ofte gitt. Ingen eller liten p奪virkningsmulighet. ≒ Testing blir ofte skviset ut / nedprioritert pga. tidspress eller forsinkelser. ≒ Ved feil i produksjon blir det ofte stilt sp淡rsm奪l Hvorfor har vi ikke testet det?
  • 18. Risikobasert testing i korte trekk ≒ Vurdering av applikasjonens ulike funksjonsmessige omr奪der i forhold til de forretningsmessige konsekvenser ved funksjonsfeil og sannsynlighet for stor feilhyppighet i funksjonen. ≒ Pragmatisk anvendelse av risikostyring i planlegging og gjennomf淡ring av test slik at testingen blir mest mulig avkastning av investeringen. ≒ Risikobasert testing kan vi gi oss _tilstrekkelig_ tiltro til kvaliteten p奪 systemet f淡r testingen eventuelt blir innstilt eller forkortet ned. ≒ Har et forretningsorientert fokus med hensyn til risiko. ≒ Er et levende rammeverk / verkt淡ykasse som blir beriket med praktiske og empiriske erfaringer.
  • 19. Prinsipper for risikobasert testing ≒ Ikke alle tester har samme viktighet: ≒ Noen tester reduserer risiko for feil i drift ≒ Andre tester 淡ker ikke verdi og tiltro til systemet ≒ Tiltro til og kvaliteten p奪 systemet 淡ker ved 奪 teste h淡yest prioriterte tester f淡rst Det vil da gi mulighet for 奪 kunne finne kritiske / alvorlige feil tidig. ≒ Vi kan sette systemet i drift tidlig dersom vi fokuserer p奪 systemomr奪der som er antatt 奪 ha h淡y risiko i stedet for 奪 sl淡se tid og ressurser p奪 systemomr奪der som har liten sannsynlighet for 奪 feile eller konsekvens av feil er lav
  • 20. Antall prosjekter? M奪ling p奪 tiltro til system? Kilde: Quality Management TGB Consulting
  • 22. Identifisere M奪l: ≒ M奪let med denne aktiviteten er 奪 identifisere potensielle problemomr奪der for et system. Problemomr奪det blir dernest brutt ned i moduler, komponenter eller funksjoner. Best praksis: ≒ Idemyldring, brain-storming eller intervjuer med eksperter fra b奪de forretnings- og teknisk side. ≒ Bruk oversikt over komponenter / funksjoner eller oversikt over testemner, testcases, ≒ Benytte Produkt-risikoene som blir identifisert i prosjektet Velg et pragmatisk niv奪!
  • 23. Analysere M奪l: ≒ M奪let med denne aktiviteten er 奪 vurdere og fastsette sannsynlighet og konsekvens knyttet til risikoomr奪der. Best praksis: ≒ Kvalitativ normativ beskrivelse av menneskers opplevelse og erfaring ≒ Kvantitativ menneskers opplevelse og erfaringer uttrykkes i m奪lbare og distinkte verdier ≒ Kombinasjon av begge deler Gj淡r det enkelt!
  • 24. Risikoanalyse Sannsynlighet H淡y Middels Lav Middels H淡y H淡y Lav Middels H淡y Lav Lav Middels Lav Middels Sannsynlighet for at feil oppst奪r i produksjon dersom ingen test blir utf淡rt p奪 et gitt omr奪de Konsekvens H淡y
  • 25. Kvalitativ analyse sannsynlighet Sannsynlighet Lav Middels H淡y Uendret Endret Ny Historisk feilrate Lav Middels H淡y St淡rrelse Liten Medium Stor F奪 grensesnitt / komponenter Flere grensesnitt / komponenter Mange grensesnitt / komponenter ? ? ? Kriterium Endringsrate Kompleksitet Andre
  • 26. Kvalitativ analyse konsekvens Konsekvens Lav Medium H淡y Visning Endring av data Kalkulasjon / Validering Konsekvens for forretning Ikke merkbar Feil informasjon under prosessering Juridisk / konomisk / Omd淡mme Brukshyppighet Sjelden Ofte Veldig ofte # ber淡rte brukere Noen f奪 Grupper Stort antall ? ? ? Kriterium Prosess/Funksjon Andre
  • 27. Kvalitativ analyse risiko Sannsynlighet XX-3 XX-1 XX-5 XX-12 XX-2 XX-4 XX-7 XX-6 XX-9 XX10 XX-8 XX test case, test egenskap, funksjon modul/komponent Konsekvens
  • 29. Kvantitativ analyse sannsynlighet Indikator = 1 (lav) 5 (h淡y) Indikator Kompleksit et (vekt = 4) Stabilitet (vekt = 3) St淡rrelse (vekt = 1) Funksjon Veid gjennomsnitt Sannsynlighet XX-1 2 3 4 7 0,58 XX-2 1 3 4 5,7 0,48 XX-3 3 2 1 6,3 0,52 XX-4 5 5 1 12 1.0
  • 30. Kvantitativ analyse konsekvens Indikator = 4 - Kritisk; 3 Alvorlig; 2 Normal, 1 - Kosmetisk Indikator Kundens vurdering Leverand淡r- Gjennomvurdering snitt Funksjon XX-1 1 3 2 XX-2 2 4 3 XX-3 2 3 2,5 XX-4 4 4 4
  • 31. Kvantitativ analyse risiko Indikator Sannsynlighet Konsekvens Risiko = S * K Rekkef淡lge for test XX-1 0,58 2 1,16 4 XX-2 0,48 3 1,44 2 XX-3 0,52 2,5 1,25 3 XX-4 1 4 4 1 Funksjon
  • 32. Planlegge M奪l: ≒ Finne en passende strategi og identifisere tiltak for gjennomf淡ring av test. Hensikten med tiltak er 奪 redusere sannsynligheten eller skadeomfang. Best praksis: ≒ Prioritering av tester (rekkef淡lge) basert p奪 resultater fra risikoanalyse. ≒ Leveranseplan av komponenter baseres p奪 rekkef淡lgen. ≒ Inspeksjoner hos leverand淡r p奪 at det arbeidet som de skal gj淡re blir gjort. ≒ Bist奪 leverand淡ren med testing av systemet p奪 et tidligere tidspunkt. ≒ Sette de mest erfarne testerne p奪 奪 designe og gjennomf淡re de h淡yt prioriterte testene. ≒ Automatisere prioriterte tester for 奪 淡ke test-effektivitet.
  • 33. Gjennomf淡re og rapportere M奪l: ≒ Gjennomf淡re iht. testplan og fortl淡pende rapportere status basert p奪 risikobildet. Best praksis: ≒ Ulike teststrategier for ulike tester av ulike prioritet - viktige tester trenger mer tid og m奪 testes n淡ye. ≒ Regelmessig vurdering sammen med Kunden for 奪 avveie tidlig driftssetting vs. 100% fullf淡rt test. ≒ Rapportere med henblikk p奪 risiko ≒ Status p奪 testene (ok, ikke-ok, ikke-p奪begynt, ) - se neste foil ≒ Antall feil av ulike kategorier/alvorlighetsgrader fordelt p奪 risikoniv奪ene ≒ Feilrettingsrate (forhold mellom #feil rettet og #feil funnet) for hvert risikoniv奪
  • 34. Gjennomf淡re og rapportere 0 2 21 Status p奪 krav per risikoniv奪 12 4 5 1 0 0 Antall feil per risikoniv奪
  • 35. Korrigere og l脱re M奪l: ≒ M奪ledata samles og analyseres for 奪 b奪de korrigere kursen (strategier og planer revurderes) og trekke l脱rdommer (identifikasjon/analyse av risiko, estimater under planlegging, osv.) til fremtidige prosjektet. Best praksis: ≒ Dersom feilene som er avdekket stammer fra systemomr奪der med lav risiko Re-evaluere !!! ≒ Revurdering av risiko-trigger og gyldighet p奪 forutsetninger ≒ Erfaringsdatabase
  • 36. Take-away ≒ Mange publiserte litteratur om tematikken. ≒ M奪 etablere og tilpasse grunnlaget for risikoanalyse (kriteria, verdiskala, vekting, osv) for din egen organisasjon. ≒ Risikoanalyse, teststrategi og rapportering/l脱ring m奪 finpusses kontinuerlig med kontekst-relevante erfaringer eller best praksis fra andre. ≒ Vanskelig med innsalg og 奪 f奪 forankring pga. manglende metrikker og empiriske studier. ≒ Ettertanke: Hvordan kan v奪rt fagnettverk bidra med videre arbeid?