‏💾 توسعه سیستم ذخیره‌سازی در مقیاس اگزابایت توسط OpenAI

‏شرکت OpenAI به دلیل محدودیت‌های فیزیکی در مراکز داده، در حال ساخت یک سیستم ذخیره‌سازی اختصاصی برای پاسخگویی به رشد کاربران خود است. زیرساخت فعلی این شرکت با نام Habitat، هم‌اکنون ۵۰۰ پتابایت داده را در ۴۰ منطقه مدیریت می‌کند و روزانه به بیش از یک میلیارد کاربر خدمات می‌دهد.

‏مدیران این پروژه با چالش مدیریت محدودیت‌های فضا، برق و سیستم‌های سرمایشی روبرو هستند. آن‌ها باید بین ذخیره داده‌ها در نزدیکی کاربران برای کاهش تأخیر یا اختصاص این منابع به اجرای مدل‌های هوش مصنوعی، یکی را انتخاب کنند.

‏سیستم جدید با هدف کاهش نیاز به فضای ذخیره‌سازی فلش طراحی شده و از ترکیب موارد زیر بهره می‌برد:

‏* RocksDB Cloud متعلق به سرویس Rockset
‏* هم‌شبیه‌سازی بر پایه پروتکل Raft

‏این راهکار با فدا کردن بخشی از توان عملیاتی در لحظه، امکان مقیاس‌پذیری زیرساخت را برای حجم عظیم‌تر داده فراهم می‌کند.

🔗 ادامه مطلب در سایت

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#Habitat #RocksDB_Cloud