Обычно я здесь пишу про тестирование на этапе разработки. Оказ | Протестировал

Обычно я здесь пишу про тестирование на этапе разработки. Оказывается тестирование на этапе эксплуатации ПО становится всё более популярным, если судить по частоте появления каких-то специализированных инструментов для этого. И это помимо негативного тестирования продакшена типа chaos monkey.

Вот некоторые из таких инструментов:

Тестирование состояния серверов во время эксплуатации: testinfra и serverspec, проверяют, что параметры серверов находятся в нужном состоянии. Хотя я честно говоря не очень понимаю зачем это нужно, ведь при использовании подхода infrastructure-as-a-code Puppet, Ansible, CFEngine гарантируют, что сервер находится в нужно состоянии и из-за иммутабельности всех операций, которые они делают, их можно и для проверки инфраструктуры использовать.

Тестирование образов Docker. Вообщем-то проблемы могут быть такие же как и с неправильной настройкой сервера. Некорректно изменили Dockerfile сервис перестал слушать на сетевом интерфейсе или что-нибудь ещё. Видел пачку таких инструментов, но сходу ничего не нагуглил, комбинация слов "dockerfile" и "testing" выводит слишком много нерелевантного в поисковой выдаче (может подписчики подскажут).

Тестирование конфигураций для ПО. Достаточно почитать постмортемы для багов в продакшене из-за некорректной конфигурации и становится понятно, что conftest не такой уж и бесполезный инструмент. Вот натурально, тесты для файлов для традиционных форматов конфигураций: JSON, INI, YAML и ещё около пары десятков форматов. По теме тестирования конфигураций: Early detection of configuration errorsto reduce failure damage, постмортем аварии в инфраструктуре Одноклассников из-за ошибки в конфигурации.