ݺߣ

ݺߣShare a Scribd company logo
Инструменты автоматизации
тестирования мобильных
приложений.
Сравнительный анализ.
Рассматриваемые
инструменты
1) M-Eux
2) Ranorex
3) SeeTest
4) Appium
5) Silk Mobile
6) Test Droid
7) Robotium
Приложения, которые были
автоматизированы
1) Complicated – гибридное мобильное
приложение, написаное с помощью:
PhoneGap, Sencha ExtJS, HTML5.
2) Simple- native application для нескольких
версий Android.
Список критериев оценки инструментов
тестирования
1)

Лицензионность

2)

Поддерживаемые платформы (iOS, Android, both)

3)

Возможность разработки тестов для Native, Hybrid, Web
приложений

4)

Наличие и возможность проигрывания Record Play
тестов

5)

Языки разработки тестов

6)

Наличие встроенной IDE для разработки тестов

7)

Возможность экспорта в другие IDE (Visual Studio,
Eclipse, etc)

8)

OOP подход в реализации маппинга объектов

9)

Возможность работы с эумлятором/реальным
устройством
Лицензионность
M-Eux
Proprietary

Bad

Proprietary

Bad

Bad

Free

Good

Free

SeeTest

Proprietary

Proprietary

Ranorex

Bad

Good

Proprietary

Bad

Testdroid

Robotium

Appium

Silk Mobile
Поддерживаемые платформы
(iOS, Android, both)
Инструмент

Поддержка iOS Поддержка
Android

Оценка

M-Eux

+

+

Good

Ranorex

+

+

Good

SeeTest

+

+

Good

Testdroid

-

+

Medium

Robotium

-

+

Medium

Appium

+

+

Good

Silk Mobile

+

+

Good
Возможность разработки тестов для
Native, Hybrid, Web приложений
Инструме
нт

Native

Hybrid

Web

Оценка

M-Eux

+

+

+

Good

Ranorex

+

-

+ (iOS only)

Medium

SeeTest

+

+

+

Good

Testdroid

+(Android only)

+-

+-

Bad

Robotium

+ (Android only)

+ (Android only) + (Android
only)

Medium

Appium

+

+

+

Good

Silk
Mobile

+

+

+

Good
Наличие Record Play инструментария
Инструмент

Наличие Record Play

Оценка

M-Eux

+

Good

Ranorex

+

Good

SeeTest

+

Good

Testdroid

+

Good

Robotium

- (будет выпущен
Bad
коммерческий Record Play)

Appium

+

Good

Silk Mobile

+

Good
Языки разработки тестов
Инструмент

Язык разработки тестов

Оценка

M-Eux

C#, Java

Medium

Ranorex

C#, VB.NET

Medium

SeeTest

C#, Java, Python, Perl

Good

Testdroid

Java, JavaScript

Medium

Robotium

Java

Bad

Appium

C#, Java, Python, Ruby,
PHP, JavaScript

Good

Silk Mobile

C#, Java, Python, Perl

Good
Наличие встроенной IDE
для разработки тестов
Инструмент

Встроенная IDE для
разработки тестов

Оценка

M-Eux

-

Bad

Ranorex

Ranorex Studio

Good

SeeTest

SeeTest Automation

Good

Testdroid

-

Bad

Robotium

-

Bad

Appium

-

Bad

Silk Mobile

Silk Mobile

Good
Возможность экспорта тестов в другие
IDE (Visual Studio, Eclipse, etc)
Инструмент

Экспорт в другие IDE
(Visual Studio, Eclipse, etc.)

Оценка

M-Eux

Работа ведётся непосредственно из VS, Eclipse,
etc

Medium

Ranorex

+

Good

SeeTest

+

Good

Testdroid

Работа ведётся непосредственно из Eclipse

Medium

Robotium

Работа ведётся непосредственно из любой JAVA Medium
IDE (Eclipse, IDEA, Net Beans etc.)

Appium

Работа ведётся непосредственно из VisualStudio, Medium
Eclipse, etc

Silk Mobile

+

Good
OOP подход в реализации маппинга
объектов
Инструмент

OOP-based
mapping

Оценка

M-Eux

+

Good

Ranorex

+

Good

SeeTest

-

Bad

Testdroid

-

Bad

Robotium

-

Bad

Appium

-

Bad

Silk Mobile

-

Bad
Возможность работы с
эмулятором/реальным устройством
Инструме
нт

Emulator

Real Device

Оценка

M-Eux

+

+

Good

Ranorex

+

+

Good

SeeTest

+

+

Good

Testdroid

+

+

Good

Robotium

+

+

Good

Appium

+

+

Good

Silk Mobile +

+

Good
Сводный рейтинг
Инструме
нт

Главные недостатки

Оценка

M-Eux

Стоимость лицензии

Medium

Ranorex

Хорошо работает только с native приложениями

Medium

SeeTest

Стоимость лицензии,
Отсутсвтие OOP подхода при формировании мапы

Medium

Testdroid

Отсутсвтие OOP подхода при формировании мапы,
Поддержка только Android

Bad

Robotium

Поддержка только Android, Поддержка только Java,
Отсутсвтие OOP подхода при формировании мапы

Bad

Appium

Отсутсвтие OOP подхода при формировании мапы

Good

Silk
Mobile

Стоимость лицензии
Отсутсвтие OOP подхода при формировании мапы

Medium
Авторы:
1.

Никита Беликов

опыт в IT более 5 лет, работает в компании ISSoft,
специализируется в разработке (.NET C# ASPMVC) и
автоматизированном тестировании програмного
обеспечения (Web, Desktop, Mobile).

2.

Антон Семенченко

опыт в IT более 10 лет, работает в компании ISSoft,
специализируется в разработке и автоматизированном
тестировании програмного обеспечения плюс
менеджмент.
Антон Семенченко, Никита Беликов "Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ"

More Related Content

Антон Семенченко, Никита Беликов "Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ"

  • 2. Рассматриваемые инструменты 1) M-Eux 2) Ranorex 3) SeeTest 4) Appium 5) Silk Mobile 6) Test Droid 7) Robotium
  • 3. Приложения, которые были автоматизированы 1) Complicated – гибридное мобильное приложение, написаное с помощью: PhoneGap, Sencha ExtJS, HTML5. 2) Simple- native application для нескольких версий Android.
  • 4. Список критериев оценки инструментов тестирования 1) Лицензионность 2) Поддерживаемые платформы (iOS, Android, both) 3) Возможность разработки тестов для Native, Hybrid, Web приложений 4) Наличие и возможность проигрывания Record Play тестов 5) Языки разработки тестов 6) Наличие встроенной IDE для разработки тестов 7) Возможность экспорта в другие IDE (Visual Studio, Eclipse, etc) 8) OOP подход в реализации маппинга объектов 9) Возможность работы с эумлятором/реальным устройством
  • 6. Поддерживаемые платформы (iOS, Android, both) Инструмент Поддержка iOS Поддержка Android Оценка M-Eux + + Good Ranorex + + Good SeeTest + + Good Testdroid - + Medium Robotium - + Medium Appium + + Good Silk Mobile + + Good
  • 7. Возможность разработки тестов для Native, Hybrid, Web приложений Инструме нт Native Hybrid Web Оценка M-Eux + + + Good Ranorex + - + (iOS only) Medium SeeTest + + + Good Testdroid +(Android only) +- +- Bad Robotium + (Android only) + (Android only) + (Android only) Medium Appium + + + Good Silk Mobile + + + Good
  • 8. Наличие Record Play инструментария Инструмент Наличие Record Play Оценка M-Eux + Good Ranorex + Good SeeTest + Good Testdroid + Good Robotium - (будет выпущен Bad коммерческий Record Play) Appium + Good Silk Mobile + Good
  • 9. Языки разработки тестов Инструмент Язык разработки тестов Оценка M-Eux C#, Java Medium Ranorex C#, VB.NET Medium SeeTest C#, Java, Python, Perl Good Testdroid Java, JavaScript Medium Robotium Java Bad Appium C#, Java, Python, Ruby, PHP, JavaScript Good Silk Mobile C#, Java, Python, Perl Good
  • 10. Наличие встроенной IDE для разработки тестов Инструмент Встроенная IDE для разработки тестов Оценка M-Eux - Bad Ranorex Ranorex Studio Good SeeTest SeeTest Automation Good Testdroid - Bad Robotium - Bad Appium - Bad Silk Mobile Silk Mobile Good
  • 11. Возможность экспорта тестов в другие IDE (Visual Studio, Eclipse, etc) Инструмент Экспорт в другие IDE (Visual Studio, Eclipse, etc.) Оценка M-Eux Работа ведётся непосредственно из VS, Eclipse, etc Medium Ranorex + Good SeeTest + Good Testdroid Работа ведётся непосредственно из Eclipse Medium Robotium Работа ведётся непосредственно из любой JAVA Medium IDE (Eclipse, IDEA, Net Beans etc.) Appium Работа ведётся непосредственно из VisualStudio, Medium Eclipse, etc Silk Mobile + Good
  • 12. OOP подход в реализации маппинга объектов Инструмент OOP-based mapping Оценка M-Eux + Good Ranorex + Good SeeTest - Bad Testdroid - Bad Robotium - Bad Appium - Bad Silk Mobile - Bad
  • 13. Возможность работы с эмулятором/реальным устройством Инструме нт Emulator Real Device Оценка M-Eux + + Good Ranorex + + Good SeeTest + + Good Testdroid + + Good Robotium + + Good Appium + + Good Silk Mobile + + Good
  • 14. Сводный рейтинг Инструме нт Главные недостатки Оценка M-Eux Стоимость лицензии Medium Ranorex Хорошо работает только с native приложениями Medium SeeTest Стоимость лицензии, Отсутсвтие OOP подхода при формировании мапы Medium Testdroid Отсутсвтие OOP подхода при формировании мапы, Поддержка только Android Bad Robotium Поддержка только Android, Поддержка только Java, Отсутсвтие OOP подхода при формировании мапы Bad Appium Отсутсвтие OOP подхода при формировании мапы Good Silk Mobile Стоимость лицензии Отсутсвтие OOP подхода при формировании мапы Medium
  • 15. Авторы: 1. Никита Беликов опыт в IT более 5 лет, работает в компании ISSoft, специализируется в разработке (.NET C# ASPMVC) и автоматизированном тестировании програмного обеспечения (Web, Desktop, Mobile). 2. Антон Семенченко опыт в IT более 10 лет, работает в компании ISSoft, специализируется в разработке и автоматизированном тестировании програмного обеспечения плюс менеджмент.