🔥 Самый дорогой компьютерный баг в истории: $5.18 млн/сек, $8.65 млрд за 28 минут

Чуть более 10 лет назад, 1 августа 2012 года, произошел самый дорогой софтверный баг в истории, оставивший в прошлом компанию Knight Capital. За 28 минут они потеряли $8.65 млрд — это примерно $5.18 млн в секунду.

Об этом случае вспомнил Теодор Смит из PHP Experts.

Как это случилось

Разработчики Knight Capital срочно переносили своего высокочастотного торгового бота на новый сервис NYSE, который должен был запуститься через 33 дня.

Они работали по 80 часов в неделю, чтобы успеть к дедлайну. В коде бота они оставили старые методы и классы, чтобы избежать необходимости пересборки.

Также разработчики убрали старый тестовый код и вставили новый рабочий. Тесты прошли успешно, и утром 1 августа в 8:00 код развернули в продакшн. Всё выглядело отлично.

Катастрофа

Во время утреннего совещания в 9:30 рынок открылся и бот начал безудержно покупать акции по самым высоким ценам. За две минуты системы Knight Capital обнаружили, что деньги компании стремительно исчезают.

Связаться с разработчиками не удавалось, так как они находились в удаленном офисе и оставили свои телефоны на столах.

Через 11 минут боты уже скупили акции на сумму свыше $3 млрд, а компания оказалась на грани краха.

Единственным решением оказалось физическое уничтожение серверов в дата-центре с помощью топоров. Торги прекратились через 28 минут, оставив бумажные убытки в $10.8 млрд.

Почему это произошло

Расследование показало, что ошибка была вызвана неправильным вводом данных при релизе. Один из операторов ввел неверную команду rsync, из-за чего один из серверов остался с тестовым кодом, который скупал акции по самым высоким ценам.

После выявления ошибки разработчики решили откатиться к предыдущему релизу, что лишь усугубило ситуацию. В итоге за 28 минут было потеряно $8.65 млрд.

Последствия

Эта катастрофа привела к потере всех корпоративных клиентов Knight Capital и компания закрылась через несколько недель.