Сбой Cloudflare оказался результатом некорректной обработки ошибок 🤦‍♂️

Команда Cloudflare опубликовала детали инцидента, который вывел из строя значительную часть их сети на 3+ часа.

После изменения структуры БД в ClickHouse удвоился размер файла с параметрами антибот-системы. Причина — в базе появились дублирующиеся таблицы, а SQL-запрос собирал данные «со всех столбцов по ключу» без фильтрации дубликатов.

В результате по всем узлам распространился файл, который стал больше установленного лимита памяти.

⚙️ Почему трафик встал

Код обработчика должен был:

▪️обнаружить превышение лимита,
▪️сохранить старую версию файла,
▪️отправить сигнал мониторингу,
▪️продолжить работу.

Но вместо graceful-fallback происходила паника — трафик переставал пробрасываться.

Причина проста: в Rust-коде использовали метод unwrap() с типом Result. Если Result не в состоянии Ok, unwrap() вызывает аварийное завершение. Это приемлемо в тестах, но не должно использоваться в проде.

📌 Итог

▪️дубликаты в БД → раздувшийся конфиг,
▪️превышение лимита → unwrap() → panic,
▪️паника в обработчике на всех узлах → глобальный outage.

🤌 Бонусы для подписчиков:
— Скидка 40% на все курсы Академии
— Розыгрыш Apple MacBook
— Бесплатный тест на знание математики

🐸 Библиотека программиста

Advent of Code: попробуй свой силы 🎄

В этом году адвент-календарь с задачами и головоломками по программированию рассчитан на 12 дней. Решать их можно на любом языке программирования.

А если хочется размять голову перед стартом, можно изучить прошлогодние головоломки, — здесь есть пример на SQL 🥷

🔹 Курс «Алгоритмы и структуры данных»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib

🐸 Библиотека программиста