OpenAI на PostgreSQL обрабатывают миллионы запросов в секунду
OpenAI рассказали, как один инстанс PostgreSQL тянет нагрузку от 800 миллионов пользователей ChatGPT.
Архитектура: один primary сервер на Azure PostgreSQL + почти 50 read-реплик по всему миру.
Лаг репликации - почти нулевой, p99 латентность - низкие десятки миллисекунд, доступность 99.999%.
Главная проблема - MVCC PostgreSQL создаёт копию всей строки при каждом апдейте.
При высокой нагрузке на запись это генерирует мёртвые кортежи и раздувает индексы.
Ключевые решения:
- PgBouncer для пула соединений — время подключения упало с 50 до 5 мс
- Нагрузку с частой записью вынесли в CosmosDB (там уже разбито на сегменты)
- Блокировка кэша — при ошибке только один запрос идёт в базу, остальные ждут
- Изоляция нагрузки — критичные и фоновые запросы на разных серверах
- Ограничение частоты запросов на всех уровнях: приложение, пул соединений, прокси, запросы
- Разрешены только лёгкие изменения схемы — те, что не требуют перезаписи таблицы целиком (например, добавление колонки). С таймаутом 5 секунд (если легкие изменения не завершаются за это время - откат).
- Новые таблицы запрещены — всё новое идёт в сегментированные системы
Единственный критический инцидент за год — при запуске генератора изображений, когда 100+ млн пользователей пришло за неделю и поток записи вырос в 10 раз.
детали читаем тут
#PostgreSQL #OpenAI #SWE
———
@tsingular
OpenAI рассказали, как один инстанс PostgreSQL тянет нагрузку от 800 миллионов пользователей ChatGPT.
Архитектура: один primary сервер на Azure PostgreSQL + почти 50 read-реплик по всему миру.
Лаг репликации - почти нулевой, p99 латентность - низкие десятки миллисекунд, доступность 99.999%.
Главная проблема - MVCC PostgreSQL создаёт копию всей строки при каждом апдейте.
При высокой нагрузке на запись это генерирует мёртвые кортежи и раздувает индексы.
Ключевые решения:
- PgBouncer для пула соединений — время подключения упало с 50 до 5 мс
- Нагрузку с частой записью вынесли в CosmosDB (там уже разбито на сегменты)
- Блокировка кэша — при ошибке только один запрос идёт в базу, остальные ждут
- Изоляция нагрузки — критичные и фоновые запросы на разных серверах
- Ограничение частоты запросов на всех уровнях: приложение, пул соединений, прокси, запросы
- Разрешены только лёгкие изменения схемы — те, что не требуют перезаписи таблицы целиком (например, добавление колонки). С таймаутом 5 секунд (если легкие изменения не завершаются за это время - откат).
- Новые таблицы запрещены — всё новое идёт в сегментированные системы
Единственный критический инцидент за год — при запуске генератора изображений, когда 100+ млн пользователей пришло за неделю и поток записи вырос в 10 раз.
детали читаем тут
#PostgreSQL #OpenAI #SWE
———
@tsingular
1🔥10✍6❤4👍3