Протестировал

2020-11-11 12:02:31 Ребята из подкаста @generictalks позвали в гости поговорить о тестировании системного ПО. Из затронутых тем: тестирование операционных систем, гипервизоров и СУБД, негативное тестирование, использование Jepsen в тестировании Tarantool и другие.

https://soundcloud.com/generictalks/generictalks-s02e07-testirovanie-sistemnogo-programnogo-obespecheniya Открыть/Комментировать

2020-11-10 11:36:44 (Несколько раз собирался написать этот пост и каждый раз забывал. Меня даже уже подписчики стали спрашивать почему я не писал про это (@oleg_log, спасибо!).)

Проф. Андреас Зеллер с коллегами сделал отличный проект для популяризации генеративного тестирования - интерактивная книга в формате Jupyter notebook. В книге несколько разделов, каждый из которых посвящен подходам создания и примерами использования генеративных тестов: на основе свойств (property-based), search-based, мутационный фаззинг, тестирование API, тестирование грамматик и другие темы. Все темы авторы объясняют понятным языком и приводят примеры кода, который можно запускать в самой книге (спасибо Jupyter notebook). Мне каждый раз было лень искать публикацию, в которой бы объяснялся принцип search-based тестирования, нашел описание в книге и там оказалось всё очень просто. В общем если вам интересно автоматизированное тестирование, то книга рекомендована к прочтению.

https://www.fuzzingbook.org/

#непишитетесты, генерируйте их Открыть/Комментировать

2020-10-30 12:03:58 На этой неделе проходила крупная конференция ICST (IEEE International Conference on Software Testing, Verification and Validation). Конференция интересна тем, что объединяет и доклады людей из индустрии и доклады исследователей в области тестирования, верификации и валидации. В рамках этой конференции было несколько воркшопов и один из них был посвящен мутационному тестированию (программа), записи всех докладов уже доступны. Записей докладов из основного трека нет, но по многим докладам есть публикации в открытом доступе.

Мне такие доклады показались интересными:

- Tool Support for Refactoring Manual Tests (PDF) - попытка решить проблему устаревания тесткейсов, описанных на естественном языке, с помощью технологий машинного обучения и распознавания языков (NLP).
- A Study on Challenges of Testing Robotic Systems (PDF)
- STICCER: Fast and Effective Database Test Suite Reduction Through Merging of Similar Test Cases
- NodeRacer: Event Race Detection for Node.js Applications
- Mahtab: Phase-wise acceleration of regression testing for C

Доклады, удостоенные награды конференции (для многих доступно демо-видео):

- An Empirical Evaluation of Mutation Operators for Deep Learning Systems (PDF)
- RESTTESTGEN: Automated Black-Box Testing of RESTful APIs - судя по описанию не обошлось без Swagger, публикации в открытом доступе нет.
- Testing Deep Learning and Robotic Systems
- Searching for a needle in a haystack predicting security vulnerabilities for Windows Vista
- Using Mutation to Automatically Suggest Fixes for Faulty Programs Открыть/Комментировать

2020-10-29 10:55:19 ​​К самобытным инструментам для тестирования коммерческих продуктов или технологий можно относиться по разному. Можно считать это ноу-хау, которое составляет коммерческую ценность, и ограничить использованием только внутри компании, а можно привести код в порядок, опубликовать код под одной из свободных лицензий и построить сообщество вокруг проекта. У обоих подходов есть и плюсы и минусы. В Parallels были отличные инструменты для тестирования, аналогов которым на тот момент не было: фреймфорк и набор тестов для тестирования систем виртуализации и набор микробенчмарков для тестирования производительности гипервизоров. Когда опубликовали большую часть продукта Virtuozzo, то код тестов и того и другого оставили закрытым. Ведь ими могли бы воспользоваться конкуренты!

Противоположный подход при должных усилиях приводит к тому, что в индустрии ваш инструмент становится стандартом де-факто. Так стало, например, с Allure и Yandex.Tank, другие инструменты тоже в opensource (см. картинку). В компании Kaspersky нет культуры работы с opensource и код всех инструментов и технологий закрыт. Но каким-то образом несколько сотрудников Kaspersky убедили руководство, что имеет смысл опубликовать код фреймворка Kaspresso для тестирования UI и развивают этот проект вместе с коллегами из Авито. Мне сложно оценить ценность и полезность этого фреймворка для сообщества, но для компании это большой шаг вперед. Открыть/Комментировать

2020-10-19 17:41:25 ​​Наши друзья, организаторы конференции Гейзенбаг, сформировали программу:

В этот раз конференция состоится онлайн 4–7 ноября. В программе технические доклады от спикеров со всего мира о ручном и автоматизированном тестировании веб, десктоп и мобильных приложений. А также интервью с экспертами, воркшопы, нетворкинг и дискуссионные зоны.

Некоторые спикеры из программы:

— Автор книги «Как тестируют в Google» и Distinguished Engineer Microsoft James Whittaker расскажет о роли тестирования в эпоху искусственного интеллекта и о том, какие навыки в эту эпоху стоит развивать тестировщику.

— Shweta Sharma, директор по тестированию в Axelerant Technologies выступит с темой автоматизации визуального тестирования веб-приложений. Если вы хотите, чтобы стабильность вашего UI была под контролем автотестов, то доклад даст вам все необходимые знания, чтобы это реализовать.

— Андрей Солнцев выступит с докладом о flaky-тестах и борьбе с ними, а также проведет воркшоп, где покажет, как создать с нуля проект автоматизации тестирования в Selenide. Если вы хотите поднять крутую автоматизацию у себя в проекте, приходите узнать, как это нужно делать.

Подробная программа.

С промокодом sqaunderhood2020JRGpc вы получите скидку при покупке билетов на сайте. Открыть/Комментировать

2020-10-19 11:19:28 ​​Фаззинг-тестирование продолжает активно развиваться и со всем богатым разнообразием фаззеров, алгоритмов и подходов, которые они используют трудно получить исчерпывающее и связное представление о фаззинге без глубокого погружения в тему. Авторы статьи "The Art, Science, and Engineering of Fuzzing: A Survey" решили это исправить и сделали генеалогическое дерево инструментов для фаззинга - https://fuzzing-survey.org/. AFL, ожидаемо, имеет наследников больше, чем другие. Открыть/Комментировать

2020-10-07 12:44:46 ​​Сорок шесть процентов.

via Открыть/Комментировать

2020-10-07 12:35:17 Какие виды тестов применяются в ваших проектах?
68% - юнит-тестирование, 49% - интеграционное тестирование, 35% - "сквозное" тестирование, 35% - производительность, 1% - другое, 13% - нет.

Для 77% опрошенных тестирование является неотъемлемой частью процесса разработки в команде.

Как в вашей компании осуществляется разработка и проведение тестов?
61% - совместно (одними и теми же людьми), 29% - раздельно (разными людьми), 9% - затрудняюсь с ответом.

Три четверти респондентов утверждают, что в их проектах на десять разработчиков приходится меньше трех SQA-специалистов. Только у 3% опрошенных на 10 программистов приходится 9 и больше тестировщиков.

via Открыть/Комментировать

2020-10-07 12:19:36 Как правильно следовать технике TDD:

1. Написать код
2. Написать тесты
3. С помощью git rebase -i поменять коммиты местами Открыть/Комментировать

2020-09-24 14:19:32 Есть популярный тест для серверного ПО, когда программа эксплуатируется в течение продолжительного времени под нагрузкой. Такой тест позволяет выявлять проблемы, которые имеют накопительный эффект, например утечку ресурсов (файловые дескрипторы, память и т.д.). У меня две истории про такие баги, которые были найдены уже при эксплуатации.

Первая история:

MIM-104 "Патриот" — американский зенитный ракетный комплекс (ЗРК), используемый армией США и их союзниками. В программном обеспечении, отвечающем за ведение цели, присутствовал баг, из-за которого со временем внутренние часы постепенно отходили от истинного значения времени. Системное время хранилось как integer в 24-битном регистре с точностью до одной десятой секунды. Поэтому на каждом такте по 0.1 сек "терялась" часть времени. При рассчете данные переводились в числа типа real .

Число 1/10 равно 1/24 + 1/25 + 1/28 + 1/29 + 1/212 + 1/213 + ... Другими словами, бинарное разложение 1/10 = 0.0001100110011001100110011001100... Поэтому 24-битный регистр в системе Patriot хранил вместо этого 0.00011001100110011001100 внося ошибку равную 0.0000000000000000000000011001100... в двоичном исчислении, или примерно 0.000000095 в десятичном. За сто часов работы набегает 0.000000095×100×60×60×10 = 0.34 секунды.

Ракета, которая попала в ЗРК Патриот летела со скоростью 1676 метров в секунду, и проходила за 0.34 секунды больше полукилометра. Этого было более чем достаточно, чтобы пройти радиус поражения Патриотов. Забавно, что кривое вычисление времени пофиксили в некоторых частях программы, но не во всех.

Подробный отчёт: https://msquair.files.wordpress.com/2015/05/patriot-timing-error.pdf

Вторая история:

Производитель самолётов Boeing сильно пострадал в 2015 году от проблемы с его авиалайнерами 787 Dreamliner. Она была связана с конкретным временем непрерывной работы: тогда была обнаружена ошибка переполнения памяти, из-за которой генераторы 787 Dreamliner отключались после 248 дней непрерывной работы. Было обнаружено, что программный счётчик в прошивке генераторов переполнялся конкретно после этого точного промежутка времени. И это не единственная программная ошибка, которую нашли в 787 Dreamliner за последние годы.

Рекомендации персоналу, обслуживающему самолеты, от FAA - https://s3.amazonaws.com/public-inspection.federalregister.gov/2015-10066.pdf

#bugstory Открыть/Комментировать