Тестирование phonegap-приложений: специфика + опыт

Software quality assurance days

20 Международная конференция по вопросам качества ПОsqadays.com

Минск. 24–26 ноября 2016

Сергей Иванов Харьков, Украина

Тестирование PhoneGap-приложений: специфика + опыт

О чем пойдет речь

Виды кроссплатформенных приложений

Особенности Phonegap (и в целом HTML) приложений

К чему быть готовым при тестировании

Какие инструменты могут помочь

Пара слов про автоматизацию

Тестирование PhoneGap-приложений: специфика + опыт

Тестирование PhoneGap-приложений: специфика + опыт

Какие бывают?

Тестирование PhoneGap-приложений: специфика + опыт

Gamedev

Тестирование PhoneGap-приложений: специфика + опыт

Compile to Native

C++ Ruby or C# JS JS

Тестирование PhoneGap-приложений: специфика + опыт

Hybrid (HTML + JS)

http://propertycross.com/

Тестирование PhoneGap-приложений: специфика + опыт

Где можно пощупать и сравнить?

Тестирование PhoneGap-приложений: специфика + опыт

В чем соль?

?

Приложение работает в мини-браузере (webview)

Тестирование PhoneGap-приложений: специфика + опыт

WTFview?

iframe или вкладка браузера

И в нем приложение

Web-приложение

И скучно как-то

Тестирование PhoneGap-приложений: специфика + опыт

В чем соль?

Приложение работает в мини-браузере (webview),

но есть (ограниченный) доступ к Native API

Камера

Файловая система

Компас

GPS

Медиа

Уведомления

Cеть

Тестирование PhoneGap-приложений: специфика + опыт

Native API?

Акселерометр

Контакты

Сканер отпечатков пальцев

Любые. От простых до сложных.

Ограничение - плагины

Тестирование PhoneGap-приложений: специфика + опыт

Какие приложения возможны?

Тестирование PhoneGap-приложений: специфика + опыт

Подбор тестового окружения

SPA js приложение, работающее в специфическом браузере

(webview)Нативные плагины

Свежатина с приходом 7.0

Тестирование PhoneGap-приложений: специфика + опыт

Прекрасный мир webview на Android

Страх и ужас до 4.4

Немножкостабильности

и отладки с 4.4

Красота (нет!) начиная с 5.0

Android default (webkit)

Надстройки производителей

Нет возможности дебага

Тестирование PhoneGap-приложений: специфика + опыт

Android webviewS до 4.4

Одинаковое (почти) на разных девайсах (Chromium 30 on 4.4.0 – 4.4.2,

Chromium 33 on 4.4.3 – 4.4.4)

Можно подебажить

(chrome://inspect/#devices)

Тестирование PhoneGap-приложений: специфика + опыт

4.4 - now Chromium!

Android System WebView

Одинаковое (ну совсем почти) на всех девайсах

Внезапно обновляется и ломает что-то

Внезапно обновляется и чинит что-то

Можно подписаться на betа (на гугл акк)

Комменты :)

Тестирование PhoneGap-приложений: специфика + опыт

5.0 - auto updating

Берется напрямую из chrome.apkТ.е. зависит от версии хрома на девайсе

Можно брать из chrome dev или beta, выбирается в dev settings

Тестирование PhoneGap-приложений: специфика + опыт

7.0 - choose your own

Crosswalk project:

Одинаковое webview

+25 мб к apk

Незаменим для поддержки Android <4.4

Два apk (arm/Intel)

Тестирование PhoneGap-приложений: специфика + опыт

Сильно много? Упростим)

“The web has always been a second-class citizen on iOS (which is ironic, since the iPhone is largely responsible for the mobile web existing as it does today). UIWebView is massive and clunky and leaks memory. It lags behind Mobile Safari, which has the

benefit of the Nitro JavaScript engine.”

Тестирование PhoneGap-приложений: специфика + опыт

iOS до 8.0

UIWEBVIEW

Slow JS

Written by Mattt Thompson — August 24th, 2014

WKWebView

Быстрее, выше, сильнее (60FPS scrolling, поддержка жестов)

Обновляется с обновлением ОС

Минорные апдейты почти ничего не ломают

Мажорные - могут убить всё нафиг (iOS 9 App Transport Security)

Тестирование PhoneGap-приложений: специфика + опыт

iOS 8+

Тестирование PhoneGap-приложений: специфика + опыт

Совет

Читайте what’s new и смотрите betа

Краши, ANR, зависят от девайса - всё как всегда)

Тестирование PhoneGap-приложений: специфика + опыт

А нативные плагины?

Какие версии ОС поддерживаем?

Есть ли плагины?

В итоге выборка может быть существенно меньше, чем для натива,если мало используем system API, а webview - одинаковые

Тестирование PhoneGap-приложений: специфика + опыт

Выводы по тестовому окружению

В JS

Большая часть

В логике JS (не зависит от webview)

В работе JS в разных webview

Нет крашей

Есть “белый экран”

Тестирование PhoneGap-приложений: специфика + опыт

Какие ошибки могут быть?

● В HTML

○ Верстка

● В нативной части○ Меньшая часть

○ Краши

Опять плагин - NetworkStatus

Можем хранить данные в:

Файловой системе

Local storage

Тестирование PhoneGap-приложений: специфика + опыт

Ну и сеть, куда без нее

Тестирование PhoneGap-приложений: специфика + опыт

Ошибки поинтереснее-поспецифичнее

Тестирование PhoneGap-приложений: специфика + опыт

Скорость работы и плавность анимаций

Сильно зависит от девайса

Грустно-печальная не так хороша как в нативеHardware acceleration

Click vs touch

300 ms delay

Touchstart - touchend - 300 ms wait for tap - no tap -> click

UI изменяется -> ghostclick

Тестирование PhoneGap-приложений: специфика + опыт

Ghost clicks

Клавиатура - плагин)

Может вызвать window.resize

Тестирование PhoneGap-приложений: специфика + опыт

Инпуты + клавиатуры

В приложении реализуются посредством верстки (html/css)

1 CSS Pixel = ~1.5 Device Pixel (для High-DPI)

Проблемы с размерами отдельных элементов

(e.g. шрифтов)Сплеши, иконки приложения - через

config.xml

Тестирование PhoneGap-приложений: специфика + опыт

Различные разрешения/dpi

Тестирование PhoneGap-приложений: специфика + опыт

Галактеко опасносте!

Одно webview, вся навигация - внутри

iOS - только кнопки в приложении

А в Android есть Backдолжен возвращать на прошлый экран

(а не закрывать приложение)

должен закрывать приложение (а не делать ничего)

Тестирование PhoneGap-приложений: специфика + опыт

Навигация внутри приложения

Одно webview, вся навигация - внутри.

Что происходит при смене ориентации в Android?

Тестирование PhoneGap-приложений: специфика + опыт

Смена ориентации

Одно webview, вся навигация - внутри

Сложно вернуться на текущий скрин

Тестирование PhoneGap-приложений: специфика + опыт

Восстановление приложения

Скоро рассвет...

Тестирование PhoneGap-приложений: специфика + опыт

InAppBrowser

Тестирование PhoneGap-приложений: специфика + опыт

Что есть полезного?

Надо допиливать, но работать будут

Тестирование PhoneGap-приложений: специфика + опыт

Встраиваемые фреймворки-инструменты

Менее полезные

Тестирование PhoneGap-приложений: специфика + опыт

Инструменты для тестирования нативных

Пример: Logcat - краши редки -> информации мало, важнее - то, что в JS происходит

iOS:

xCode

Safari remote Debugging with Web Inspector

Тестирование PhoneGap-приложений: специфика + опыт

Debugging

Android:

Chrome remote Debugging (chrome://inspect)

Нет доступа к плагинам

Вообще не то webview где в итоге все будет работать

Тестирование PhoneGap-приложений: специфика + опыт

А еще можно поднять Web-версию

● Быстро

● Доступно

Но логику JS проверить можно)

Ну….есть ripple)

Вернее был)

Тестирование PhoneGap-приложений: специфика + опыт

Специальные инструменты

Доступные инструменты

собраны в одном месте

Удобненько

Mac’овские штучки под виндой

Тестирование PhoneGap-приложений: специфика + опыт

GapDebug

Тестирование PhoneGap-приложений: специфика + опыт

Пара слов об автоматизации

driver.switch_to.context(context_name)

Тестирование PhoneGap-приложений: специфика + опыт

Разбейте по уровням

* картинка с пирамидой уровней тестирования *

JS - автоматизируйте Web-версию с помощью Selenium. Быстрее, стабильнее.

Services - автоматизируйте с помощью soapUI или python + requests или что угодно.

Native - ручками

Тестирование PhoneGap-приложений: специфика + опыт

Такой себе последний слайд

WebView - своенравно

Платформы - разные

Развивается - быстро

Разделяйте native и JS части

Тестирование PhoneGap-приложений: специфика + опыт

Спасибо за внимание

s.ivanov@mobidev.biz