șĘșĘߣ

șĘșĘߣShare a Scribd company logo
Test av mobila applikationer
                                                  David Nyman och Patrik Lindström




Varje Är bjuder vi in vÄra kunder till tre inspirationsdagar dÀr vi lyfter fram de mest
intressanta IT-frÄgorna med fokus pÄ strategi, teknik eller kommunikation. Dagarna
inleds med en intressant och aktuell huvudförelÀsare. DÀrefter bjuder vi pÄ vÄr
specialistkompetens i block med parallella seminarier som hör till dagens tema.
Om oss

            David Nyman
              – david.nyman@sigma.se
              – Jobbar pĂ„ Sigma i Göteborg.
              – Jobbat 5 Ă„r med test, kvalitet och krav i spelbranschen.


            Patrik Lindström
              – patrik.lindstrom@sigma.se
              – Jobbar pĂ„ Sigma i Göteborg.
              – Snart 7 Ă„r testerfarenhet frĂ„n bl a TeliaSonera och Wireless Car.




Varje Är bjuder vi in vÄra kunder till tre inspirationsdagar dÀr vi lyfter fram de mest
intressanta IT-frÄgorna med fokus pÄ strategi, teknik eller kommunikation. Dagarna
inleds med en intressant och aktuell huvudförelÀsare. DÀrefter bjuder vi pÄ vÄr
specialistkompetens i block med parallella seminarier som hör till dagens tema.
Mobil testning vs desktop testning?



  Ingenting!

  Allting!
Vanliga problem

 Tid.
 Testplan/Stratergi.
 Processer/arbetssÀtt/verktyg.
 Avsaknad av testautomatisering.
 Input data/verifiering.
 Avsaknad av fysiska devices.
GrundlÀggande vÀgval


 Web
 Native
 (Hybrid, Mix)
Web


    Fördelar
 En “app” .
 En plattform.
 Uppdateringar.

    Nackdelar
   Mindre kontroll över anvĂ€ndarmiljön.
   LĂ„ngsammare.
   MĂ€ngder med med webblĂ€sare/avsaknad av standard.
   Ingen central uppdaterings/fördelningsmiljö.
Native


    Fördelar
 Ökad funktionalitet och snabbhet.
 Större kontroll över anvĂ€ndarbeteende.
 Central uppdaterings/fördelningsmiljö.

    Nackdelar
 Olika plattformar.
 Flera appar.
Crossbrowser Testing




Varje Är bjuder vi in vÄra kunder till tre inspirationsdagar dÀr vi lyfter fram de mest
intressanta IT-frÄgorna med fokus pÄ strategi, teknik eller kommunikation. Dagarna
inleds med en intressant och aktuell huvudförelÀsare. DÀrefter bjuder vi pÄ vÄr
specialistkompetens i block med parallella seminarier som hör till dagens tema.
Valfrihetens tvÄ sidor
Valfrihetens tvÄ sidor

  Idag finns nÀstan oÀndliga kombinationer utav hÄrdvara, operativsystem och
  programvara.
Valfrihetens tvÄ sidor

  Idag finns nÀstan oÀndliga kombinationer utav hÄrdvara, operativsystem och
  programvara.
  Som konsument och anvÀndare Àr det oerhört positivt och ger möjlighet att
  personifiera sitt digitala anvÀndande.
Valfrihetens tvÄ sidor

  Idag finns nÀstan oÀndliga kombinationer utav hÄrdvara, operativsystem och
  programvara.
  Som konsument och anvÀndare Àr det oerhört positivt och ger möjlighet att
  personifiera sitt digitala anvÀndande.
  Men för testare eller utvecklare kan valfriheten skapa stora utmaningar.
Hur ser det ut idag?
Hur ser det ut idag?

  De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
Hur ser det ut idag?

  De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
  NÄgra Àr lite extra duktiga och testar Àven i Mozilla Firefox.
Hur ser det ut idag?

  De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
  NÄgra Àr lite extra duktiga och testar Àven i Mozilla Firefox.
  Google Chrome, Opera och Safari glöms ofta bort.
Hur ser det ut idag?

  De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
  NÄgra Àr lite extra duktiga och testar Àven i Mozilla Firefox.
  Google Chrome, Opera och Safari glöms ofta bort.
  De mobila browsrarna glöms oftast bort helt.
Hur ser det ut idag?

  De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
  NÄgra Àr lite extra duktiga och testar Àven i Mozilla Firefox.
  Google Chrome, Opera och Safari glöms ofta bort.
  De mobila browsrarna glöms oftast bort helt.
  ”Men vi har ju en app!”
Möjliga lösningar
Möjliga lösningar

  SÀtta upp en gigantisk maskinpark och anstÀlla en hord av testare.
Möjliga lösningar

  SÀtta upp en gigantisk maskinpark och anstÀlla en hord av testare.
  LÄta anvÀndaren vara testaren och buggrapportera vid behov.
Möjliga lösningar

  SÀtta upp en gigantisk maskinpark och anstÀlla en hord av testare.
  LÄta anvÀndaren vara testaren och buggrapportera vid behov.
  Stoppa huvudet i sanden.
Möjliga lösningar

  SÀtta upp en gigantisk maskinpark och anstÀlla en hord av testare.
  LÄta anvÀndaren vara testaren och buggrapportera vid behov.
  Stoppa huvudet i sanden.

  Men det finns enklare och smidigare sÀtt

Ett enkelt sÀtt att fÄ bra tÀckning
Ett enkelt sÀtt att fÄ bra tÀckning

  Min uppfattning Àr att mÄnga av problemen Àr rent grafiska eller javascript,
  vÀldigt fÄ Àr rena funktionsproblem.
Ett enkelt sÀtt att fÄ bra tÀckning

  Min uppfattning Àr att mÄnga av problemen Àr rent grafiska eller javascript,
  vÀldigt fÄ Àr rena funktionsproblem.
  Kan vi tÀcka av bara de grafiska aspekterna och dessutom om vi kan tÀcka av
  de javascript-funtionella aspekterna har vi kommit en god bit.
Ett enkelt sÀtt att fÄ bra tÀckning

  Min uppfattning Àr att mÄnga av problemen Àr rent grafiska eller javascript,
  vÀldigt fÄ Àr rena funktionsproblem.
  Kan vi tÀcka av bara de grafiska aspekterna och dessutom om vi kan tÀcka av
  de javascript-funtionella aspekterna har vi kommit en god bit.

  CrossBrowserTesting.com Àr ett exempel som kan hjÀlpa dig med bÄda de
  delarna.
Ett exempel pÄ ett fel 1 (2)
   Win 7 +
   Firefox 3.5
Ett exempel pÄ ett fel 2 (2)
   Safari 4.0 +
   Iphone 4
Kort om CrossBrowserTesting.com
Kort om CrossBrowserTesting.com

 CrossBrowserTesting.com körs i din webbrowser
Kort om CrossBrowserTesting.com

 CrossBrowserTesting.com körs i din webbrowser
 LÄter dig vÀlja mellan ett stort antal browsers och uppsÀttningar
Kort om CrossBrowserTesting.com

 CrossBrowserTesting.com körs i din webbrowser
 LÄter dig vÀlja mellan ett stort antal browsers och uppsÀttningar
 Tar printscreens pÄ valfri URL med de olika uppsÀttningarna och visar de för
 dig i ett galleri
Kort om CrossBrowserTesting.com

 CrossBrowserTesting.com körs i din webbrowser
 LÄter dig vÀlja mellan ett stort antal browsers och uppsÀttningar
 Tar printscreens pÄ valfri URL med de olika uppsÀttningarna och visar de för
 dig i ett galleri
 LÄter dig anvÀnda köra via virtuell maskin enligt den specifikation du önskar
Kort om CrossBrowserTesting.com

 CrossBrowserTesting.com körs i din webbrowser
 LÄter dig vÀlja mellan ett stort antal browsers och uppsÀttningar
 Tar printscreens pÄ valfri URL med de olika uppsÀttningarna och visar de för
 dig i ett galleri
 LÄter dig anvÀnda köra via virtuell maskin enligt den specifikation du önskar
 GÄr Àven att testa lokala adresser (beta)
Kort om CrossBrowserTesting.com

 CrossBrowserTesting.com körs i din webbrowser
 LÄter dig vÀlja mellan ett stort antal browsers och uppsÀttningar
 Tar printscreens pÄ valfri URL med de olika uppsÀttningarna och visar de för
 dig i ett galleri
 LÄter dig anvÀnda köra via virtuell maskin enligt den specifikation du önskar
 GÄr Àven att testa lokala adresser (beta)
 Kostar mellan 30-50$ per mÄnad beroende pÄ antalet anvÀndare
CBT – Automated Screenshots 1 (3)
CBT – Automated Screenshots 2 (3)
CBT – Automated Screenshots 3 (3)
CBT – Live Test 1 (4)
CBT – Live Test 2 (4)
CBT – Live Test 3 (4)
CBT – Live Test 4 (4)
Test av mobila applikationer
Input till test


  Device?

  NĂ€tverk?

  LĂ€nder?

  AnvÀndare?
OS             Prioritering   OS1            OS2            OS3            OS4


Device

Prioritering                          1              2              3              4


Device1                  1           High           Low            Low           Medium


Device2                  2          Medium         Medium          High           Low


Device3                  3           Low            High          Medium          High


Device4                  4           Low            Low            Low            Low
OS             Prioritering   Feature1       Feature2       Feature3       Feature4


Device

Prioritering                             1              2              3              4


Decice1                 1                X              O              X              X



Device2                 2                O              O              X              O



Device3                 3                X              O              X              O



Device4                 4                X              O              X              X
Testning (tid/kostnad)
                                      Series 1
             3.5
                3
             2.5
                2
   Antal Features


             1.5
                1
             0.5
                0
                    Category 1   Category 2 Devices
                                        Antal Category 3   Category 4
GrundlÀggande testtyper

                   Funktionstester


                    Usability test


             Device test(Externa faktorer)



                   Prestandatester



                   SĂ€kerhetstester
Tips

 Börja testningen sÄ tidigt som möjligt.
  - Nedladdning, installation, avinstallation osv.
  - GrundlÀggande funktionalitet.


 Fokusera pÄ prioriterade devicer.
  - GrundlÀggande funktionalitet.

 Extern testning.
  Beta.
  Crowed based testing.
Verktyg


 Simulator/Emulator.

 Remote device partner.
  - DeviceAnywhere.
  - Nokia RDA.


 Riktig device.
Open source



 Roboticum
 - Android

 FoneMonkey
 - iOs
Automatiseringsverktyg med kostnad
 EggPlant.
 - Android, iPhone,
 Blackberry, Windows
 mobile och Symbian.


 SeeTest.
 - Android, iphone,
 Blackberry, Windows
 mobile och Symbian.
Automatiseringsverktyg utan kostnad(Open
source)


 Roboticum.
  - Android.

 FoneMonkey.
  - iOS.

 Sikuli.
Sammanfattningsvis


 FörstÄ och besluta om vad som Àr viktgast:
  - Olika OS.
  - Olika webblÀsare.
  - Olika prestanda och upplösning.
  - Olika Operatörer och nÀtverk.
 Testa i okontrollerad verklig miljö.
 Hitta och anvÀnd lÀmpligt automatiseringsverktyg som passar din miljö och applikation/er.
 Utför sÄ mycket som möjligt testningen pÄ verkliga devices, Àven om simulering finns.
 MÀt prestandan i riktigt nÀtverk och med anvÀndare, inte bara genom simuleringen.
FrÄgor?




Varje Är bjuder vi in vÄra kunder till tre inspirationsdagar dÀr vi lyfter fram de mest
intressanta IT-frÄgorna med fokus pÄ strategi, teknik eller kommunikation. Dagarna
inleds med en intressant och aktuell huvudförelÀsare. DÀrefter bjuder vi pÄ vÄr
specialistkompetens i block med parallella seminarier som hör till dagens tema.
Test av mobila applikationer
Test av mobila applikationer

More Related Content

Test av mobila applikationer

  • 1. Test av mobila applikationer David Nyman och Patrik Lindström Varje Ă„r bjuder vi in vĂ„ra kunder till tre inspirationsdagar dĂ€r vi lyfter fram de mest intressanta IT-frĂ„gorna med fokus pĂ„ strategi, teknik eller kommunikation. Dagarna inleds med en intressant och aktuell huvudförelĂ€sare. DĂ€refter bjuder vi pĂ„ vĂ„r specialistkompetens i block med parallella seminarier som hör till dagens tema.
  • 2. Om oss David Nyman – david.nyman@sigma.se – Jobbar pĂ„ Sigma i Göteborg. – Jobbat 5 Ă„r med test, kvalitet och krav i spelbranschen. Patrik Lindström – patrik.lindstrom@sigma.se – Jobbar pĂ„ Sigma i Göteborg. – Snart 7 Ă„r testerfarenhet frĂ„n bl a TeliaSonera och Wireless Car. Varje Ă„r bjuder vi in vĂ„ra kunder till tre inspirationsdagar dĂ€r vi lyfter fram de mest intressanta IT-frĂ„gorna med fokus pĂ„ strategi, teknik eller kommunikation. Dagarna inleds med en intressant och aktuell huvudförelĂ€sare. DĂ€refter bjuder vi pĂ„ vĂ„r specialistkompetens i block med parallella seminarier som hör till dagens tema.
  • 3. Mobil testning vs desktop testning? Ingenting! Allting!
  • 4. Vanliga problem Tid. Testplan/Stratergi. Processer/arbetssĂ€tt/verktyg. Avsaknad av testautomatisering. Input data/verifiering. Avsaknad av fysiska devices.
  • 6. Web Fördelar  En “app” .  En plattform.  Uppdateringar. Nackdelar  Mindre kontroll över anvĂ€ndarmiljön.  LĂ„ngsammare.  MĂ€ngder med med webblĂ€sare/avsaknad av standard.  Ingen central uppdaterings/fördelningsmiljö.
  • 7. Native Fördelar  Ökad funktionalitet och snabbhet.  Större kontroll över anvĂ€ndarbeteende.  Central uppdaterings/fördelningsmiljö. Nackdelar  Olika plattformar.  Flera appar.
  • 8. Crossbrowser Testing Varje Ă„r bjuder vi in vĂ„ra kunder till tre inspirationsdagar dĂ€r vi lyfter fram de mest intressanta IT-frĂ„gorna med fokus pĂ„ strategi, teknik eller kommunikation. Dagarna inleds med en intressant och aktuell huvudförelĂ€sare. DĂ€refter bjuder vi pĂ„ vĂ„r specialistkompetens i block med parallella seminarier som hör till dagens tema.
  • 10. Valfrihetens tvĂ„ sidor Idag finns nĂ€stan oĂ€ndliga kombinationer utav hĂ„rdvara, operativsystem och programvara.
  • 11. Valfrihetens tvĂ„ sidor Idag finns nĂ€stan oĂ€ndliga kombinationer utav hĂ„rdvara, operativsystem och programvara. Som konsument och anvĂ€ndare Ă€r det oerhört positivt och ger möjlighet att personifiera sitt digitala anvĂ€ndande.
  • 12. Valfrihetens tvĂ„ sidor Idag finns nĂ€stan oĂ€ndliga kombinationer utav hĂ„rdvara, operativsystem och programvara. Som konsument och anvĂ€ndare Ă€r det oerhört positivt och ger möjlighet att personifiera sitt digitala anvĂ€ndande. Men för testare eller utvecklare kan valfriheten skapa stora utmaningar.
  • 13. Hur ser det ut idag?
  • 14. Hur ser det ut idag? De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.
  • 15. Hur ser det ut idag? De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9. NĂ„gra Ă€r lite extra duktiga och testar Ă€ven i Mozilla Firefox.
  • 16. Hur ser det ut idag? De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9. NĂ„gra Ă€r lite extra duktiga och testar Ă€ven i Mozilla Firefox. Google Chrome, Opera och Safari glöms ofta bort.
  • 17. Hur ser det ut idag? De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9. NĂ„gra Ă€r lite extra duktiga och testar Ă€ven i Mozilla Firefox. Google Chrome, Opera och Safari glöms ofta bort. De mobila browsrarna glöms oftast bort helt.
  • 18. Hur ser det ut idag? De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9. NĂ„gra Ă€r lite extra duktiga och testar Ă€ven i Mozilla Firefox. Google Chrome, Opera och Safari glöms ofta bort. De mobila browsrarna glöms oftast bort helt. ”Men vi har ju en app!”
  • 20. Möjliga lösningar SĂ€tta upp en gigantisk maskinpark och anstĂ€lla en hord av testare.
  • 21. Möjliga lösningar SĂ€tta upp en gigantisk maskinpark och anstĂ€lla en hord av testare. LĂ„ta anvĂ€ndaren vara testaren och buggrapportera vid behov.
  • 22. Möjliga lösningar SĂ€tta upp en gigantisk maskinpark och anstĂ€lla en hord av testare. LĂ„ta anvĂ€ndaren vara testaren och buggrapportera vid behov. Stoppa huvudet i sanden.
  • 23. Möjliga lösningar SĂ€tta upp en gigantisk maskinpark och anstĂ€lla en hord av testare. LĂ„ta anvĂ€ndaren vara testaren och buggrapportera vid behov. Stoppa huvudet i sanden. Men det finns enklare och smidigare sĂ€tt

  • 24. Ett enkelt sĂ€tt att fĂ„ bra tĂ€ckning
  • 25. Ett enkelt sĂ€tt att fĂ„ bra tĂ€ckning Min uppfattning Ă€r att mĂ„nga av problemen Ă€r rent grafiska eller javascript, vĂ€ldigt fĂ„ Ă€r rena funktionsproblem.
  • 26. Ett enkelt sĂ€tt att fĂ„ bra tĂ€ckning Min uppfattning Ă€r att mĂ„nga av problemen Ă€r rent grafiska eller javascript, vĂ€ldigt fĂ„ Ă€r rena funktionsproblem. Kan vi tĂ€cka av bara de grafiska aspekterna och dessutom om vi kan tĂ€cka av de javascript-funtionella aspekterna har vi kommit en god bit.
  • 27. Ett enkelt sĂ€tt att fĂ„ bra tĂ€ckning Min uppfattning Ă€r att mĂ„nga av problemen Ă€r rent grafiska eller javascript, vĂ€ldigt fĂ„ Ă€r rena funktionsproblem. Kan vi tĂ€cka av bara de grafiska aspekterna och dessutom om vi kan tĂ€cka av de javascript-funtionella aspekterna har vi kommit en god bit. CrossBrowserTesting.com Ă€r ett exempel som kan hjĂ€lpa dig med bĂ„da de delarna.
  • 28. Ett exempel pĂ„ ett fel 1 (2) Win 7 + Firefox 3.5
  • 29. Ett exempel pĂ„ ett fel 2 (2) Safari 4.0 + Iphone 4
  • 31. Kort om CrossBrowserTesting.com CrossBrowserTesting.com körs i din webbrowser
  • 32. Kort om CrossBrowserTesting.com CrossBrowserTesting.com körs i din webbrowser LĂ„ter dig vĂ€lja mellan ett stort antal browsers och uppsĂ€ttningar
  • 33. Kort om CrossBrowserTesting.com CrossBrowserTesting.com körs i din webbrowser LĂ„ter dig vĂ€lja mellan ett stort antal browsers och uppsĂ€ttningar Tar printscreens pĂ„ valfri URL med de olika uppsĂ€ttningarna och visar de för dig i ett galleri
  • 34. Kort om CrossBrowserTesting.com CrossBrowserTesting.com körs i din webbrowser LĂ„ter dig vĂ€lja mellan ett stort antal browsers och uppsĂ€ttningar Tar printscreens pĂ„ valfri URL med de olika uppsĂ€ttningarna och visar de för dig i ett galleri LĂ„ter dig anvĂ€nda köra via virtuell maskin enligt den specifikation du önskar
  • 35. Kort om CrossBrowserTesting.com CrossBrowserTesting.com körs i din webbrowser LĂ„ter dig vĂ€lja mellan ett stort antal browsers och uppsĂ€ttningar Tar printscreens pĂ„ valfri URL med de olika uppsĂ€ttningarna och visar de för dig i ett galleri LĂ„ter dig anvĂ€nda köra via virtuell maskin enligt den specifikation du önskar GĂ„r Ă€ven att testa lokala adresser (beta)
  • 36. Kort om CrossBrowserTesting.com CrossBrowserTesting.com körs i din webbrowser LĂ„ter dig vĂ€lja mellan ett stort antal browsers och uppsĂ€ttningar Tar printscreens pĂ„ valfri URL med de olika uppsĂ€ttningarna och visar de för dig i ett galleri LĂ„ter dig anvĂ€nda köra via virtuell maskin enligt den specifikation du önskar GĂ„r Ă€ven att testa lokala adresser (beta) Kostar mellan 30-50$ per mĂ„nad beroende pĂ„ antalet anvĂ€ndare
  • 37. CBT – Automated Screenshots 1 (3)
  • 38. CBT – Automated Screenshots 2 (3)
  • 39. CBT – Automated Screenshots 3 (3)
  • 40. CBT – Live Test 1 (4)
  • 41. CBT – Live Test 2 (4)
  • 42. CBT – Live Test 3 (4)
  • 43. CBT – Live Test 4 (4)
  • 45. Input till test Device? NĂ€tverk? LĂ€nder? AnvĂ€ndare?
  • 46. OS Prioritering OS1 OS2 OS3 OS4 Device Prioritering 1 2 3 4 Device1 1 High Low Low Medium Device2 2 Medium Medium High Low Device3 3 Low High Medium High Device4 4 Low Low Low Low
  • 47. OS Prioritering Feature1 Feature2 Feature3 Feature4 Device Prioritering 1 2 3 4 Decice1 1 X O X X Device2 2 O O X O Device3 3 X O X O Device4 4 X O X X
  • 48. Testning (tid/kostnad) Series 1 3.5 3 2.5 2 Antal Features 1.5 1 0.5 0 Category 1 Category 2 Devices Antal Category 3 Category 4
  • 49. GrundlĂ€ggande testtyper Funktionstester Usability test Device test(Externa faktorer) Prestandatester SĂ€kerhetstester
  • 50. Tips Börja testningen sĂ„ tidigt som möjligt. - Nedladdning, installation, avinstallation osv. - GrundlĂ€ggande funktionalitet. Fokusera pĂ„ prioriterade devicer. - GrundlĂ€ggande funktionalitet. Extern testning. Beta. Crowed based testing.
  • 51. Verktyg Simulator/Emulator. Remote device partner. - DeviceAnywhere. - Nokia RDA. Riktig device.
  • 52. Open source Roboticum - Android FoneMonkey - iOs
  • 53. Automatiseringsverktyg med kostnad EggPlant. - Android, iPhone, Blackberry, Windows mobile och Symbian. SeeTest. - Android, iphone, Blackberry, Windows mobile och Symbian.
  • 54. Automatiseringsverktyg utan kostnad(Open source) Roboticum. - Android. FoneMonkey. - iOS. Sikuli.
  • 55. Sammanfattningsvis
 FörstĂ„ och besluta om vad som Ă€r viktgast: - Olika OS. - Olika webblĂ€sare. - Olika prestanda och upplösning. - Olika Operatörer och nĂ€tverk. Testa i okontrollerad verklig miljö. Hitta och anvĂ€nd lĂ€mpligt automatiseringsverktyg som passar din miljö och applikation/er. Utför sĂ„ mycket som möjligt testningen pĂ„ verkliga devices, Ă€ven om simulering finns. MĂ€t prestandan i riktigt nĂ€tverk och med anvĂ€ndare, inte bara genom simuleringen.
  • 56. FrĂ„gor? Varje Ă„r bjuder vi in vĂ„ra kunder till tre inspirationsdagar dĂ€r vi lyfter fram de mest intressanta IT-frĂ„gorna med fokus pĂ„ strategi, teknik eller kommunikation. Dagarna inleds med en intressant och aktuell huvudförelĂ€sare. DĂ€refter bjuder vi pĂ„ vĂ„r specialistkompetens i block med parallella seminarier som hör till dagens tema.