Тестировщик с семилетним стажем проверяет тезис о кризисе качества ПО

Черный экран после обновления Windows, откат, облегчение. С такой истории начинается статья инженера по тестированию из Cloud.ru, который проверяет софт уже семь лет. Вывод он формулирует осторожно: один болезненный сбой, даже пережитый лично, ничего не говорит о состоянии всей индустрии. Заголовок при этом задает вопрос в лоб: «Мировой кризис качества ПО: все правда так плохо?» В опубликованном анонсе ответа нет, полный текст лежит на Хабре. Мы не будем пересказывать то, чего не видели, и сопоставим вопрос с данными, которые уже есть в открытом доступе.

Что говорят цифры

У тезиса «софт стал хуже» есть сильные аргументы. В июле 2024 года ошибочное обновление CrowdStrike вывело из строя около 8,5 млн устройств на Windows, по оценке Microsoft. Авиакомпании, банки и больницы получили одну и ту же ошибку одновременно. В 2012 году Knight Capital потеряла около $440 млн примерно за 45 минут из-за неверно развернутого кода. А консорциум CISQ оценил совокупные потери США от плохого качества ПО в $2,41 трлн за 2022 год. К этой оценке стоит относиться как к модели, а не как к бухгалтерскому отчету, но порядок величины показателен.

У скептиков свои контраргументы. Мы видим больше сбоев, потому что софта стало несравнимо больше, а любой инцидент мгновенно попадает в соцсети. Статистику «до и после» собрать трудно: единой метрики качества ПО не существует.

Почему личный опыт обманывает

Позиция тестировщика здесь методологически точная. Сбой после обновления запоминается, тысячи спокойно прошедших апдейтов остаются незамеченными. Это классическая ошибка доступности: яркий случай воспринимается как тенденция. Работа QA как раз и состоит в том, чтобы заменять впечатления измерениями.

Измерять есть что:

• доля релизов, потребовавших отката или хотфикса;
• время восстановления после инцидента (MTTR);
• частота отказов при изменениях (change failure rate);
• число критических дефектов, дошедших до продакшена;
• стоимость простоя на час для конкретного бизнеса.

По этим показателям индустрия расходится, а не движется в одну сторону. Команды с зрелым CI/CD и автоматизированным тестированием выпускают релизы чаще и стабильнее. Остальные получают рост скорости ценой надежности.

Где вмешивается ИИ

Отчет DORA 2024 показал неприятную корреляцию: рост использования ИИ-инструментов на 25% сопровождался снижением стабильности поставки примерно на 7,2% и падением пропускной способности на 1,5%. Корреляция не доказывает причину, но сигнал важен: код пишется быстрее, а проверка не ускоряется в том же темпе. Ревью и тесты становятся узким местом, и именно здесь работа тестировщика ценится выше, чем раньше.

Как использовать этот вопрос на практике

Не принимайте решений по заголовкам про «кризис». Если вы отвечаете за продукт, посчитайте собственные метрики: change failure rate и MTTR за последние два квартала дадут больше, чем любые отраслевые оценки. Если вы внедряете ИИ-ассистентов для кода, закладывайте рост нагрузки на ревью и автотесты одновременно с ростом скорости разработки. А для обновлений критичной инфраструктуры сохраняйте поэтапную выкатку и проверенный план отката. Именно он вернул автору статьи рабочий компьютер.