Какая боль, какая боль Аргентина-Ямайка 5:0

Сегодня футбол если не обрушил, то сильно потрепал интернет по всей стране. Уже звучат привычные обвинения в адрес операторов, ищут виновных. Про ироничные сравнения с Токио молчу.

Смотрим, что было по факту.

1. Как работает интернет в обычные дни.
Мы привыкли к маркетинговым тарифам в сотни Мбит/с. Но в реальности среднее потребление одной квартиры вечером всего 3-4 Мбит/с. Половина трафика идёт через Google и FNA (читай Instagram), часть через ТОИТ и пиринги, оставшееся через внешние каналы. Поэтому оператор резервирует на аплинке на абонента около 2 Мбит/с, и этого обычно хватает.

Сегодня всё было иначе. Ютубы и Инстаграмы отошли на второй план, а всем нужен был один футбол. Каналы, рассчитанные на «обычный вечер», массово не выдержали.

2. CDN как спасение… и их пределы.
CDN нужны, чтобы не тянуть один и тот же поток из-за границы. Локальный сервер получает одну копию, а дальше раздаёт её тысячам абонентов. Сегодня эти сервера работали на 100% мощности, но запросов оказалось столько, что пошёл трафик из-за рубежа (так работают CDN: если один сервер не выдерживает, ему помогают другие). По оценкам, зарубежного cdn-трафика было в 3–4 раза больше казахстанского. В итоге, похоже, «захлебнулись» и внешние каналы.

3. Наши внутренние вещатели и онлайн-сервисы.
Тоже не справились: ресурсов, которых хватало в штатном режиме, сегодня не хватило. Плюс ошибки в архитектуре, и использование тех же перегруженных CDN.

4. Закрытая пиринговая политика.
Некоторые операторы держат свои CDN только для своих абонентов. Для других операторов они не предоставляют ни пиринга, ни доступа. Локально это понятное бизнес-решение, но глобально это минус для всего рынка. Сегодня, похоже, такие сети тоже захлебнулись.

5. Что реально помогало.
Нас очень спас наш замечательный ТОИТ, который выстрелил до 400 Гбит/с, обеспечив операторам дополнительную «широкую» связанность. Очень сильно помогли операторы, которые отдавали свой CDN-трафик безвозмездно другим операторам (через ТОИТ и пиринги). Тут хочется отметить трёх героев дня:
• TNS Plus
• NLS Kazakhstan
• Optinet

Причём две последние это региональные компании. Им отдельное уважение. Я буду ходатайствовать, чтобы их наградили хотя бы благодарственными письмами от министерства.

Итог. Сегодня у нас случился «DDOS наоборот»: нестандартное и не запланированное поведение пользователей. Виновных искать бессмысленно, потому что операторы не могут держать резервы «на всякий случай», иначе интернет стоил бы совсем других денег. А под одно событие инфраструктуру не перестроишь.

Это урок для всей отрасли. Ирония в том, что на CAPIF мы буквально недавно обсуждали пиринг, интерконнект и CDN. Кто считал это скучной говорильнёй, вот вам реальный пример и быстрая карма 🙂

Когда эмоции улягутся, напишу, как быть готовыми к таким кейсам в будущем. Как минимум, подстраховаться.