Трагедия на британской почте. Последние 20 лет компания Post O | Тру финансы

Трагедия на британской почте. Последние 20 лет компания Post Office пользовалась софтом, который из-за внутренней ошибки ложно сигнализировал о кражах и растратах, совершённых сотрудниками. Суммы "выявленных нарушений" порой превышали сотню тысяч фунтов стерлингов.

За это время было вынесено 39 обвинительных судебных приговоров. Некоторые сотрудники занимали деньги и закладывали свои дома, чтобы избежать этого. Один сотрудник даже совершил самоубийство.
Общее число жертв системы - свыше 2,5 тысяч человек.

20 лет жила полной жизнью и творила беспредел ошибка в системе. И все эти 20 лет эту ошибку можно было отследить и найти, потому что она была заложена в прозрачном и доступном наборе скриптов и правил. Ни многократный аудит системы, ни большое количество "выявленных" растрат не приводили к её нахождению долгие годы. Системе верили и не искали в её логике поимке этого жука.

Что же будет с системами, построенными на нейросетях? В них обязательно должны присутствовать алгоритмы, описывающие, почему предлагается то или иное решение. Иначе трагедия на британской почте может повториться.