際際滷

際際滷Share a Scribd company logo

Testautomatisering? Ik zeg, doen!

Download as PPT, PDF
Andre Verschelling
Andre Verschelling

Keynote (Dutch) held at a customer event of Sogeti High Tech Netherlands on test automation. Despite problems of technical nature (how to execute tests on an embedded system for example) or difficult proof of ROI, it is always beneficial to automate tests. Mainly because it helps you to fulfil your chosen test strategy. This keynote was presented at November 29th, 2011, Eindhoven

1 of 17
Download to read offline
Testautomatisering? Ik zeg, doen! Andr辿 Verschelling Senior Testconsultant High Tech 29 november 2011
2 Vervangen we de testers door Robots? Klantenseminar Oktober 2008
3 Testautomatisering Doen we het al? Gebrek aan tijd, geld, resources Slechte ervaringen in het verleden Kan niet bij mijn systeem / product Mijn omgeving is te dynamisch
4 Testautomatisering Met testautomatisering wordt het: Beter Sneller Vaker Effici谷nter Goedkoper Te mooi om waar te zijn?
5 Waar doen we het voor?
6 Strategie Deelsysteem / Kenmerk Risico UT ST FAT UAT/ SAT Functionaliteit - Deelsys 1 A 件件 件 - Deelsys 2 B 件 - Totaal A 件 件件 Gebruiksvriendelijkheid C Performance B 件 Enz.
7 Testontwerptechnieken en dekking Testontwerptechnieken Kwaliteits attribuut / Licht 件 / Gemiddeld 件件 / Zwaar Functionaliteit -Algemeen DCoT-equivalence classes SYN-checklist (limited) UCT-checklist EG DCoT pairwise testing DCyT (life cycle of the data) CRUD DCyT (integrity rules) decision coverage PCT-test depth level 2 SYN (prioritised list) SEM-condition/decision coverage UCT-paths ET DCoT-N-wise testing DCyT (life cycle of the data) CRUD (extra Rs) DCyT (integrity rules) modified condition/decision coverage RLT-operational/load profiles SEM-modified condition/decision coverage UCT-decision points Functionaliteit -Detail DTT- condition/decision coverage DCoT-equivalence classes ECT- condition/decision coverage EG DCoT-pairwise testing ECT-modified condition/decision coverage ET DTT- multiple condition coverage (+ boundary values) DCoT-N-wise testing ECT-multiple condition coverage EA Enz
8 Testautomatisering Scoren met een SMASH! S: Supportive M: Measurable A: Achievable Sh: Short-term benefit (with a Long-term goal)
9 Deelsysteem / Kenmerk Risico UT ST FAT UAT/ SAT Functionaliteit - Deelsys 1 A 件件 件 - Deelsys 2 B 件 - Totaal A 件 件件 Gebruiksvriendelijkheid C Performance B 件 Enz. Scoren met een SMASH Ondersteunend (S: supportive) Maakt de teststrategie waar Keuzes voor dekking Keuzes voor testsoort(en) Keuzes voor testontwerptechnieken Testontwerptechnieken Kwaliteits attribuut / Licht 件 / Gemiddeld 件件 / Zwaar Functionaliteit -Algemeen DCoT-equivalence classes SYN-checklist (limited) UCT-checklist EG DCoT pairwise testing DCyT (life cycle of the data) CRUD DCyT (integrity rules) decision coverage PCT-test depth level 2 SYN (prioritised list) SEM-condition/decision coverage UCT-paths ET DCoT-N-wise testing DCyT (life cycle of the data) CRUD (extra Rs) DCyT (integrity rules) modified condition/decision coverage RLT-operational/load profiles SEM-modified condition/decision coverage UCT-decision points
10 Ondersteunend aan Teststrategie Real-life test met Operational Profile Welke handeling heeft de grootste kans van optreden onder bepaalde omstandigheden? Test case: Sequentie van handelingen Test case kiest de volgende handeling op basis van het operational profile evStop evRewind <a>::X evPlay <b>::X evFastForward <c>::X evRecord <d>::X Standby 0 0.2 0.5 0.2 0.1 Rewind 0.3 0 0.6 0.1 0 Play 0.5 0.3 0 0.2 0 Fast forward 0.5 0.1 0.4 0 0 Record 1 0 0 0 0 Play counter >= 15000 0.8 0.15 0 0.05 0
11 Scoren met een SMASH Meetbaar (M: Measurable) Meetbaar toegevoegde waarde Dekkingsgraad bij gekozen dekkingsvorm Requirements coverage Percentage regressiefouten EMTE (Estimated Manual Test Effort) uren
12 Scoren met een SMASH Haalbaar (A: Achievable) Randvoorwaarden zijn ingevuld Testers Ontwikkelaars Systeem Ontwikkelomgeving Test Automation Framework Test Case Test Resultaat Interface Systeem
13 Scoren met een SMASH Tijdig voordeel (Sh: Short Term benefit) Eerste resultaten tijdens project Wat niet handmatig kan eerst Wat het meeste voordeel oplevert daarna Wat het niet waard is niet Afgestemd op de toekomst Model based testing Data driven Scripted Record and playback Manual testing
14 Welke keuzes? Invullen van de strategie Meten is weten Kennis en competenties Klein beginnen, maar groot denken
15 Conclusie Winnen wordt bepaald door de juiste verhouding van scoren en kansen missen. Je kan beter twee keer scoren uit drie kansen dan 辿辿n keer scoren uit acht kansen. Maar je hebt wel kansen nodig om te scoren. Johan Cruijff Daarom zeg ik: Doen!
16 Vragen?
17 staat voor resultaat

More Related Content

Testautomatisering? Ik zeg, doen!

  • 1. Testautomatisering? Ik zeg, doen! Andr辿 Verschelling Senior Testconsultant High Tech 29 november 2011
  • 2. 2 Vervangen we de testers door Robots? Klantenseminar Oktober 2008
  • 3. 3 Testautomatisering Doen we het al? Gebrek aan tijd, geld, resources Slechte ervaringen in het verleden Kan niet bij mijn systeem / product Mijn omgeving is te dynamisch
  • 4. 4 Testautomatisering Met testautomatisering wordt het: Beter Sneller Vaker Effici谷nter Goedkoper Te mooi om waar te zijn?
  • 5. 5 Waar doen we het voor?
  • 6. 6 Strategie Deelsysteem / Kenmerk Risico UT ST FAT UAT/ SAT Functionaliteit - Deelsys 1 A 件件 件 - Deelsys 2 B 件 - Totaal A 件 件件 Gebruiksvriendelijkheid C Performance B 件 Enz.
  • 7. 7 Testontwerptechnieken en dekking Testontwerptechnieken Kwaliteits attribuut / Licht 件 / Gemiddeld 件件 / Zwaar Functionaliteit -Algemeen DCoT-equivalence classes SYN-checklist (limited) UCT-checklist EG DCoT pairwise testing DCyT (life cycle of the data) CRUD DCyT (integrity rules) decision coverage PCT-test depth level 2 SYN (prioritised list) SEM-condition/decision coverage UCT-paths ET DCoT-N-wise testing DCyT (life cycle of the data) CRUD (extra Rs) DCyT (integrity rules) modified condition/decision coverage RLT-operational/load profiles SEM-modified condition/decision coverage UCT-decision points Functionaliteit -Detail DTT- condition/decision coverage DCoT-equivalence classes ECT- condition/decision coverage EG DCoT-pairwise testing ECT-modified condition/decision coverage ET DTT- multiple condition coverage (+ boundary values) DCoT-N-wise testing ECT-multiple condition coverage EA Enz
  • 8. 8 Testautomatisering Scoren met een SMASH! S: Supportive M: Measurable A: Achievable Sh: Short-term benefit (with a Long-term goal)
  • 9. 9 Deelsysteem / Kenmerk Risico UT ST FAT UAT/ SAT Functionaliteit - Deelsys 1 A 件件 件 - Deelsys 2 B 件 - Totaal A 件 件件 Gebruiksvriendelijkheid C Performance B 件 Enz. Scoren met een SMASH Ondersteunend (S: supportive) Maakt de teststrategie waar Keuzes voor dekking Keuzes voor testsoort(en) Keuzes voor testontwerptechnieken Testontwerptechnieken Kwaliteits attribuut / Licht 件 / Gemiddeld 件件 / Zwaar Functionaliteit -Algemeen DCoT-equivalence classes SYN-checklist (limited) UCT-checklist EG DCoT pairwise testing DCyT (life cycle of the data) CRUD DCyT (integrity rules) decision coverage PCT-test depth level 2 SYN (prioritised list) SEM-condition/decision coverage UCT-paths ET DCoT-N-wise testing DCyT (life cycle of the data) CRUD (extra Rs) DCyT (integrity rules) modified condition/decision coverage RLT-operational/load profiles SEM-modified condition/decision coverage UCT-decision points
  • 10. 10 Ondersteunend aan Teststrategie Real-life test met Operational Profile Welke handeling heeft de grootste kans van optreden onder bepaalde omstandigheden? Test case: Sequentie van handelingen Test case kiest de volgende handeling op basis van het operational profile evStop evRewind <a>::X evPlay <b>::X evFastForward <c>::X evRecord <d>::X Standby 0 0.2 0.5 0.2 0.1 Rewind 0.3 0 0.6 0.1 0 Play 0.5 0.3 0 0.2 0 Fast forward 0.5 0.1 0.4 0 0 Record 1 0 0 0 0 Play counter >= 15000 0.8 0.15 0 0.05 0
  • 11. 11 Scoren met een SMASH Meetbaar (M: Measurable) Meetbaar toegevoegde waarde Dekkingsgraad bij gekozen dekkingsvorm Requirements coverage Percentage regressiefouten EMTE (Estimated Manual Test Effort) uren
  • 12. 12 Scoren met een SMASH Haalbaar (A: Achievable) Randvoorwaarden zijn ingevuld Testers Ontwikkelaars Systeem Ontwikkelomgeving Test Automation Framework Test Case Test Resultaat Interface Systeem
  • 13. 13 Scoren met een SMASH Tijdig voordeel (Sh: Short Term benefit) Eerste resultaten tijdens project Wat niet handmatig kan eerst Wat het meeste voordeel oplevert daarna Wat het niet waard is niet Afgestemd op de toekomst Model based testing Data driven Scripted Record and playback Manual testing
  • 14. 14 Welke keuzes? Invullen van de strategie Meten is weten Kennis en competenties Klein beginnen, maar groot denken
  • 15. 15 Conclusie Winnen wordt bepaald door de juiste verhouding van scoren en kansen missen. Je kan beter twee keer scoren uit drie kansen dan 辿辿n keer scoren uit acht kansen. Maar je hebt wel kansen nodig om te scoren. Johan Cruijff Daarom zeg ik: Doen!

Editor's Notes

  • #6: 息 Sogeti Nederland B.V.