Yandex Infrastructure
4.82K subscribers
1.1K photos
74 videos
358 links
Рассказываем как мы делаем внутреннюю инфраструктуру Яндекса

Сайт: https://infra.yandex.ru
Чат для общения: https://t.me/ya_infra
Вакансии: https://yandex.ru/jobs/services/infrastructure
Download Telegram
Фильтровать DDoS-атаки можно по-разному

Можно, например, взять старенький и пыльный Linux-сервер из лабораторного стенда, задействовать eBPF и XDP и навайбкодить ко всему этому панель управления. Так сделал наш коллега, старший сетевой инженер Cloud Network Operations & Design. Чтобы отсеивать атаки на комьюнити с ивентовыми играми, он разработал собственное решение — XDP Anti-DDoS.


Теперь он может мониторить параметры работы прокси-сервера и, главное, фильтровать мощные и комбинированные атаки без импакта.

⏩️ Детали — в карточках.

❤️ — крутой кейс

#YInfra_petprojects
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
13⚡11🔥8
This media is not supported in your browser
VIEW IN TELEGRAM
Девятый nexthop уже на горизонте — открываем регистрацию

26 ноября Yandex Infrastructure уже в девятый раз собирает инженеров, архитекторов и разработчиков. Никакой воды, только хардкор: сети для ИИ, автоматизация, сетевая разработка и оптимизация на максималках.

📍 Встречаемся в Москве или в онлайне из любой точки мира.
🔥189⚡7
This media is not supported in your browser
VIEW IN TELEGRAM
❤66👍5
❓Всем ли надо стремиться быть тимлидами? 
И нормально ли, если вы не хотите им быть? 

Привет! Это Антон Кортунов, технический лидер в Yandex Infrastructure. Ответ на первый вопрос — нет. Ответ на второй — абсолютно да. Ведь есть и другие варианты. Например, вырасти в технического лидера. Подробнее рассказываю в кружке выше. 

➡️ И в блиц-интервью с infra.conf'26.
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥8❤6
🔄 Представьте 80-миллиардный бакет

Как думаете, за сколько его реально обработать? Возьмём 50 миллисекунд как время получения ответа.

⚡️— 22 часа
❤️ — 10 дней
👍— честно, сложно даже представить
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21⚡15❤3❤‍🔥1
❗️Всего лишь 22 часа займёт обработка 80-миллиардного бакета

А всё благодаря механизму S3 Inventory. Он сам собирает метаданные из исходного бакета, обрабатывает их и выгружает в целевой бакет пользователя. 

Привет! Это Артём Мурашко, разработчик в Yandex Infrastructure. Я уже четвёртый год работаю с Yandex Object Storage — объектным хранилищем Яндекса. 

➡️ Читайте в блоге Yandex Infrastructure, как мы вместе с командой выстроили систему сбора метаданных, с какими сложностями столкнулись и как нам удаётся листить миллиарды объектов за такое короткое время.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥13👍74⚡1
❤️ Что происходит, когда поток данных нужно обрабатывать в реальном времени, под высокой нагрузкой и без права на потерю или повторную обработку?

Мы открыли код YTsaurus Flow — фреймворка, который берёт на себя состояние, отказоустойчивость и координацию распределённой обработки.

Теперь можно не только почитать, как это устроено, но и заглянуть внутрь самого инструмента: исходный код доступен под Apache 2.0.
Please open Telegram to view this post
VIEW IN TELEGRAM
8🔥4❤‍🔥2
Forwarded from Яндекс
В ночь с 7 на 8 октября дата-центр Яндекса в Сасово был серьезно повреждён из-за атаки БПЛА. Его работа полностью остановлена. Сегодня утром произошла атака на ещё один наш дата-центр, в Калуге. Часть инфраструктуры вышла из строя. Ни в Сасово, ни в Калуге сотрудники не пострадали. Сейчас на месте работают экстренные службы и наши специалисты. 

Дата-центры — «железное сердце» Яндекса. Их работоспособность критична для сервисов, которые стали частью повседневной жизни людей. Миллионы пользователей проверяют пробки и строят маршруты, слушают музыку, смотрят кино, заказывают продукты и получают ответы на вопросы. Наши технологии помогают вести бизнес сотням тысяч компаний: принимать заказы, обслуживать клиентов, взаимодействовать с партнёрами.

Мы понимаем, что для наших пользователей, клиентов и партнёров каждый сбой — это нарушенные планы и невозможность сделать то, что было частью повседневной жизни или работы.

Команды Яндекса ночью и днём делают всё возможное, чтобы обеспечить работу сервисов и помочь тем, кого затронул инцидент. Сейчас это наша самая важная задача, но, к сожалению, она непростая.

Спасибо нашим сотрудникам — тем, кто находится на площадках, и тем, кто продолжает работать над восстановлением сервисов. Спасибо партнёрам за терпение и сотрудничество, а пользователям — за понимание.

Мы продолжаем оценивать состояние инфраструктуры — пока назвать сроки восстановления работы оборудования в дата-центрах очень сложно. Будем рассказывать о ситуации по мере появления информации.

Команда Яндекса ❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12472👍12❤‍🔥1
Forwarded from Яндекс
Инфраструктура наших дата-центров повреждена, поэтому в работе сервисов Яндекса могут быть сбои. Специалисты делают всё возможное, чтобы как можно скорее всё починить.

Повреждения также затронули работу службы поддержки. Если не удаётся связаться с нами через приложения, пожалуйста, пишите в официальные аккаунты сервисов Яндекса в соцсетях. Сейчас обращений много, поэтому ответ может занять больше времени, чем обычно. Мы постараемся помочь каждому как можно скорее.

Спасибо за терпение и поддержку!
Команда Яндекса ❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
118❤46❤‍🔥9⚡1🔥1
Please open Telegram to view this post
VIEW IN TELEGRAM
116❤83⚡11
Forwarded from Яндекс
Яндекс переносит суперкомпьютеры «Ляпунов», «Галушкин» и «Червоненкис» на новые площадки

После запуска оборудование снова войдёт в инфраструктуру сервисов Яндекса. Кроме того, на нём продолжат обучать фундаментальные языковые модели.
❤6840👍17⚡1