☁️ Cloudflare увеличила глобальную мощность сканирования безопасности в 10 раз

Cloudflare объявила о масштабной оптимизации своего сервиса Security Insights, который предоставляет рекомендации по безопасности для каждого аккаунта. Инженерам удалось увеличить пропускную способность сканирования с 10 до 100 операций в секунду — десятикратный прирост. Ранее сканирование проводилось раз в одну-две недели, из-за чего новые уязвимости оставались незамеченными до 14 дней. Теперь частота проверок удвоена для всех клиентов, а автоматическое сканирование включено по умолчанию для миллионов бесплатных аккаунтов.

Основные технические изменения затронули архитектуру на базе Apache Kafka и Go-микросервисов. Вместо увеличения числа партиций Kafka (что нагрузило бы брокер) команда внедрила пакетную обработку сообщений с параллельным выполнением в goroutine. Для борьбы с head-of-line blocking — когда одно медленное сканирование блокирует очередь — была реализована схема «быстрой» и «медленной» полос: короткие задачи обрабатываются мгновенно, а сложные получают выделенные ресурсы. Также оптимизированы запросы к Postgres: вместо 500 000 отдельных INSERT-запросов на один чекер теперь используется массовая вставка данных.

#Cloudflare #SecurityInsights #Infrastructure #ApacheKafka