Технозаметки Малышева
13.4K subscribers
5.78K photos
2.19K videos
44 files
5.67K links
Новости инноваций из мира Искусственного Интеллекта. 🤖 [РКН: 7021469833 ]

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸: https://pay.cloudtips.ru/p/c8960bbb
Download Telegram
OpenAI на PostgreSQL обрабатывают миллионы запросов в секунду

OpenAI рассказали, как один инстанс PostgreSQL тянет нагрузку от 800 миллионов пользователей ChatGPT.

Архитектура: один primary сервер на Azure PostgreSQL + почти 50 read-реплик по всему миру.
Лаг репликации - почти нулевой, p99 латентность - низкие десятки миллисекунд, доступность 99.999%.

Главная проблема - MVCC PostgreSQL создаёт копию всей строки при каждом апдейте.
При высокой нагрузке на запись это генерирует мёртвые кортежи и раздувает индексы.

Ключевые решения:
- PgBouncer для пула соединений — время подключения упало с 50 до 5 мс
- Нагрузку с частой записью вынесли в CosmosDB (там уже разбито на сегменты)
- Блокировка кэша — при ошибке только один запрос идёт в базу, остальные ждут
- Изоляция нагрузки — критичные и фоновые запросы на разных серверах
- Ограничение частоты запросов на всех уровнях: приложение, пул соединений, прокси, запросы
- Разрешены только лёгкие изменения схемы — те, что не требуют перезаписи таблицы целиком (например, добавление колонки). С таймаутом 5 секунд (если легкие изменения не завершаются за это время - откат).
- Новые таблицы запрещены — всё новое идёт в сегментированные системы

Единственный критический инцидент за год — при запуске генератора изображений, когда 100+ млн пользователей пришло за неделю и поток записи вырос в 10 раз.

детали читаем тут

#PostgreSQL #OpenAI #SWE
———
@tsingular
1🔥10✍6❤4👍3