Презентация - Мутационное тестирование STRYKER

Мутационное тестирование STRYKER. JS Варпахович Кирилл Николаевич Ведущий Front End Разработчик Tinkoff.ru

О чём поговорим? Уровни тестирования Взросление продукта Взросление бизнеса Что такое мутационное тестирование Как начать работать с Stryker Подводные камни, которые мы поймали

Типы тестирования по уровню

Типы тестирования (по уровню) Как вы тестируете ваше приложение? Мы пишем юнит тесты. Какие? Я же сказал - юнит!

Типы тестирования (по уровню) Как вы тестируете ваше приложение? Мы пишем юнит тесты. Какие? Я же сказал - юнит!

Типы тестирования (по уровню)

Типы тестирования (по уровню) Системное тестирование (сценарии использования и т.д.) Системное тестирование проверяют выполнение бизнес-функций (требований) системы. проверяет сценарии работы пользователя в системе есть много видов

Типы тестирования (по уровню) Системное тестирование (сценарии использования и т.д.) Тестирование интеграционное (проверяем результат внешних эффектов) Тестирование интеграционное проверяем изменения после взаимодейсвтия компонент проверяем технические сценарии взаимодейсвтия компонент

Типы тестирования (по уровню) Тестирование компоненты (проверяем наличие внешних эффектов, проверяем результат внешних изменений) Системное тестирование (сценарии использования и т.д.) Тестирование интеграционное (проверяем результат внешних эффектов) Тестирование компоненты Проверяем что вызываются внешние функции/сущности Проверяем обработку запросов на изменение извне Дёргаем внешнее API компоненты

Типы тестирования (по уровню) Тестирование компоненты (проверяем наличие внешних эффектов, проверяем результат внешних изменений) Тетирование функций (не важны любые эффекты, только результат функции) Тестирование модулей (проверяем внутренние эффекты) Системное тестирование (сценарии использования и т.д.) Тестирование интеграционное (проверяем результат внешних эффектов) Тестирование модулей Проверяем нечистые функции Проверяем функции, которые должны менять состояние модуля Проверяем, что чистые функции не меняют состояние модуля

Типы тестирования (по уровню) Тестирование компоненты (проверяем наличие внешних эффектов, проверяем результат внешних изменений) Тестирование функций (не важны любые эффекты, только результат функции) Тестирование модулей (проверяем внутренние эффекты) Системное тестирование (сценарии использования и т.д.) Тестирование интеграционное (проверяем результат внешних эффектов) Тестирование функций Проверяем результат чистых функций Проверяем результат не чистых функций на разных входных парамтерах Не проверяем изменение состояния сущности

Типы тестирования (по уровню) Тестирование компоненты (проверяем наличие внешних эффектов, проверяем результат внешних изменений) Тестирование функций (не важны любые эффекты, только результат функции) Тестирование модулей (проверяем внутренние эффекты) Системное тестирование (сценарии использования и т.д.) Тестирование интеграционное (проверяем результат внешних эффектов) Это всё Unit-тестирование

Когда тесты нужны бизнесу? Этапы взросления

Взросление бизнеса Команда Идея Средства Этап 1 Собственные Прототип Рынок

Взросление бизнеса Фирма Прототип Капитал Этап 2 Деньги Инвесторы Рынок Продукт Прибыль

Взросление бизнеса Этап 3 Кампания Продукт Капитал Деньги Инвесторы Рынок Нишевые предложения Прибыль

Взросление продукта Идея Concept Прототип Proof of concept Опытный образец Minimal viable product Работоспособный продукт Market Product Специальный продукт Проверка востребованности Проверка осуществимости Демонстрация возможностей Демонстрация жизнеспособности Максимизация прибыли Укоренение в рынке Обеспечение стабильности

Взросление продукта Идея Concept Прототип Proof of concept Опытный образец Minimal viable product Работоспособный продукт Market Product Специальный продукт Проверка востребованности Проверка осуществимости Демонстрация возможностей Демонстрация жизнеспособности Максимизация прибыли Укоренение в рынке Обеспечение стабильности

Взросление продукта Идея Concept Прототип Proof of concept Опытный образец Minimal viable product Работоспособный продукт Market Product Специальный продукт Проверка востребованности Проверка осуществимости Демонстрация возможностей Демонстрация жизнеспособности Максимизация прибыли Укоренение в рынке Обеспечение стабильности

Взросление продукта Идея Concept Прототип Proof of concept Опытный образец Minimal viable product Работоспособный продукт Market Product Специальный продукт Проверка востребованности Проверка осуществимости Демонстрация возможностей Демонстрация жизнеспособности Максимизация прибыли Укоренение в рынке Обеспечение стабильности

Взросление продукта Идея Concept Прототип Proof of concept Опытный образец Minimal viable product Работоспособный продукт Market Product Специальный продукт Проверка востребованности Проверка осуществимости Демонстрация возможностей Демонстрация жизнеспособности Максимизация прибыли Укоренение в рынке Обеспечение стабильности

Взросление продукта Растёт потребность в стабильности Растёт потребность в качестве тестов Идея Concept Прототип Proof of concept Опытный образец Minimal viable product Работоспособный продукт Market Product Специальный продукт Проверка востребованности Проверка осуществимости Демонстрация возможностей Демонстрация жизнеспособности Максимизация прибыли Укоренение в рынке Обеспечение стабильности

Бизнес готов Тесты пишутся Что дальше?

Качество тестирования Идея Concept Прототип Proof of concept Опытный образец Minimal viable product Работоспособный продукт Market Product Специальный продукт Проверка востребованности Проверка осуществимости Демонстрация возможностей Демонстрация жизнеспособности Максимизация прибыли Укоренение в рынке Обеспечение стабильности Растёт потребность в стабильности Растёт потребность в качестве тестов

Качество тестирования

Качество тестирования Цели: Повышаем качество тестов Удаляем бесполезные тесты Повышаем качество кода Попутно улучшаем архитектуру, отказоустойчивость и т.д.

Качество тестирования Stryker: C# Scala Javascript/Typescript React Angular Native

Качество тестирования Stryker: C# Scala Javascript/Typescript React Angular Native

Качество тестирования

Getting started (немного чёрных экранов)

Stryker.js npm install -g stryker-cli npm install -D stryker-cli

Stryker.js npm install -g stryker-cli npm install --save-dev stryker-mutator/core npm install -g stryker-cli npm install --save-dev stryker-mutator/html-reporter npm install --save-dev stryker-mutator/typescript npm install --save-dev stryker-mutator/jest-runner

Stryker.js npm install -g stryker-cli npm install --save-dev stryker-mutator/core stryker init npm install -g stryker-cli npm install --save-dev stryker-mutator/html-reporter npm install --save-dev stryker-mutator/typescript npm install --save-dev stryker-mutator/jest-runner

Stryker.js npm install -g stryker-cli npm install --save-dev stryker-mutator/core stryker init npm install -g stryker-cli npm install --save-dev stryker-mutator/html-reporter npm install --save-dev stryker-mutator/typescript npm install --save-dev stryker-mutator/jest-runner stryker run

Stryker.js stryker run

Stryker.js module . exports function (config) config. set ( ... ) ; ; stryker.conf.js

Stryker.js module . exports function (config) config. set ( ... mutator : "typescript" , test Runner : "jest" , jest : config File : "jest.conf.js" , project Type : "angular-cli" , , ) ; ; stryker.conf.js

Stryker.js module . exports function (config) config. set ( ... reporters : "progress" , "clear-text" , "html" , html Reporter : base Dir : 'reports/mutation/html' , ) ; ; stryker.conf.js

Stryker.js module . exports function (config) config. set ( ... max Concurrent Test Runners : 4 , // Recommended to use about half of your available cores when running stryker with angular. ) ; ; stryker.conf.js

Stryker.js module . exports function (config) config. set ( ... max Concurrent Test Runners : 4 , // Recommended to use about half of your available cores when running stryker with angular. ) ; ; stryker.conf.js

Stryker.js module . exports function (config) config. set ( mutate : "src/ / .ts" , "!src/ / .spec.ts" , "!src/ / .module.ts" , "!src/app/test/ / .ts" , "!src/ / .routing.ts" , ) ; ; stryker.conf.js

Stryker.js stryker run INFO Config Reader Using stryker.conf.js in the current working directory. INFO Input File Resolver Found 992 of 2002 file(s) to be mutated. INFO Initial Test Executor Starting initial test run. This may take a while. INFO Initial Test Executor Initial test run succeeded. Ran 1170 tests in 2 minutes 45 seconds (net 54338 ms, overhead 65737 ms). INFO Mutator Facade 12094 Mutant(s) generated INFO Sandbox Pool Creating 4 test runners (based on max Concurrent Test Runners config)

Stryker.js stryker run INFO Config Reader Using stryker.conf.js in the current working directory. INFO Input File Resolver Found 992 of 2002 file(s) to be mutated. INFO Initial Test Executor Starting initial test run. This may take a while . INFO Initial Test Executor Initial test run succeeded. Ran 1170 tests in 2 minutes 45 seconds (net 54338 ms, overhead 65737 ms). INFO Mutator Facade 12094 Mutant(s) generated INFO Sandbox Pool Creating 4 test runners (based on max Concurrent Test Runners config)

Stryker.js stryker run INFO Config Reader Using stryker.conf.js in the current working directory. INFO Input File Resolver Found 992 of 2002 file(s) to be mutated. INFO Initial Test Executor Starting initial test run. This may take a while .

Stryker.js stryker run INFO Config Reader Using stryker.conf.js in the current working directory. INFO Input File Resolver Found 992 of 2002 file(s) to be mutated. INFO Initial Test Executor Starting initial test run. This may take a while. INFO Initial Test Executor Initial test run succeeded. Ran 1170 tests in 2 minutes 45 seconds (net 54338 ms, overhead 65737 ms). INFO Mutator Facade 12094 Mutant(s) generated INFO Sandbox Pool Creating 4 test runners (based on max Concurrent Test Runners config) ----------------------------- --------- ---------- ----------- ------------ ---------- --------- File % score # killed # timeout # survived # no cov # error ----------------------------- --------- ---------- ----------- ------------ ---------- --------- All files 0.00 0 0 12094 0 0 call-step-form.component.ts 0.00 0 0 11 0 0 ... 0.00 0 0 ... 0 0 ----------------------------- --------- ---------- ----------- ------------ ---------- --------- INFO Html Reporter Your report can be found at: file:///.../reports/mutation/html/index.html INFO Stryker Done in 6 hours 11 minutes.

Stryker.js Done in 6 hours 11 minutes

Stryker.js ----------------------------- --------- ---------- ----------- ------------ ---------- --------- File % score # killed # timeout # survived # no cov # error ----------------------------- --------- ---------- ----------- ------------ ---------- --------- All files 0.00 0 0 12094 0 0 call-step-form.component.ts 0.00 0 0 11 0 0 ... 0.00 0 0 ... 0 0 ----------------------------- --------- ---------- ----------- ------------ ---------- --------- перцентиль циферъ умерло от безысходности этих даже не искали живее всех живых эти поломали нам систему

Stryker.js html Reporter : base Dir : 'reports/mutation/html' ,

Stryker.js html Reporter : base Dir : 'reports/mutation/html' ,

Особенности

Особенности Очень много времени на анализ результатов Можно настроить запуск на конкретные файлы вручную

Особенности Очень много времени на анализ результатов Можно настроить запуск на конкретные файлы вручную 1 мутация ! 1 прогон :(

Особенности Очень много времени на анализ результатов Можно настроить запуск на конкретные файлы вручную 1 мутация ! 1 прогон :(

Особенности Очень много времени на анализ результатов Можно настроить запуск на конкретные файлы вручную 1 мутация ! 1 прогон :( 1 точка в коде почти всегда 1 мутация Для условий и математики количество мутаций больше Можно создавать кастомные мутации количество инстансов должно решить проблему

Особенности Очень много времени на анализ результатов Можно настроить запуск на конкретные файлы вручную 1 мутация ! 1 прогон :( 1 точка в коде почти всегда 1 мутация Для условий и математики количество мутаций больше Можно создавать кастомные мутации количество инстансов должно решить проблему Нет teamcity-reporter для интеграции Можно пользоваться репортером jest/karma

Первые результаты

Первые результаты Стали думать что тестируем и как тестируем Появились тесты убивающие мутантов Избавляемся от тяжёлых тестов Выстраиваем пирамиду тестирования здорового программиста

Спасибо за внимание!

Литература по теме