عصر گویش | هوش مصنوعی
🎥 نمونه ویدیوی تولیدشده توسط MiniMax H3 این ویدیو توسط مدل جدید MiniMax H3 تولید شده که توانایی خارق‌العاده‌ای در ترکیب ورودی‌های چندوجهی و تولید ویدیوهای با کیفیت بالا دارد. در این نمونه، مدل با دریافت یک پرامپت ساده، توانسته صحنه‌ای پویا و سینمایی خلق کند.…
🌟 بررسی مدل ویدیویی H3 از شرکت MiniMax
همانطور که قبلاً در روز جمعه اعلام شده بود، شرکت چینی، مدل H3 خود را منتشر کرده که ویدیوهای کوتاه با صدا را بر اساس توضیحات متنی، تصاویر، ویدیوها و فایل‌های صوتی تولید می‌کند.
این مدل با 33 میلیارد پارامتر، کلیپ‌هایی با طول 4 تا 15 ثانیه، با نرخ 24 فریم در ثانیه، صدای استریو 32 کیلوهرتز و در نسبت‌های تصویر از 21:9 (عریض) تا 9:16 (عمودی) تولید می‌کند. برای دیالوگ‌های شخصیت‌ها از 11 زبان پشتیبانی می‌شوند.
کل سیستم H3 از سه بخش تشکیل شده است:
🟠 بخش H3-Context-IR: این بخش، درخواست کاربر را به همراه تمام ورودی‌ها (تصاویر، ویدیوها، فایل‌های صوتی) تجزیه و تحلیل می‌کند و آن را به یک فرمت داخلی تبدیل می‌کند که مدل با آن کار می‌کند.
🟢 بخش H3-Base: این بخش، با استفاده از فرمت داخلی، ویدیو را با وضوح 768p تولید می‌کند.
🟠 بخش H3-Regenerate-2K: این بخش، ویدیو تولید شده را به وضوح 2K ارتقا می‌دهد.
اما کل سیستم منتشر نشده است - فقط ماژولی که مستقیماً مسئول تولید ویدیو است، در دسترس قرار گرفته است. بخش‌های H3-Context-IR و H3-Regenerate-2K همچنان غیرقابل دسترس هستند.
🟡مدل H3-Base در دو نسخه منتشر شده است
مدل H3-Base-FL2VA: این نسخه با اولین و آخرین فریم کار می‌کند. اگر هیچ تصویری به عنوان ورودی وجود نداشته باشد، ویدیو بر اساس متن تولید می‌شود. در صورت وجود یک یا دو تصویر، ویدیو بر اساس فریم مشخص شده یا بین دو فریم تولید می‌شود.
مدل H3-Base-Ref2VA: این نسخه، ورودی‌های ترکیبی را دریافت می‌کند - حداکثر 9 تصویر، حداکثر 3 ویدیو و حداکثر 3 فایل صوتی، اما در مجموع، حداکثر 12 فایل. این سیستم، فایل صوتی را بدون تصویر یا ویدیو نمی‌پذیرد.
بر اساس رتبه‌بندی شرکت Artificial Analysis، مدل H3 در جایگاه اول در زمینه ویرایش ویدیو، دوم در تولید ویدیو بر اساس متن و سوم در تولید ویدیو بر اساس تصویر قرار دارد.
شرکت ComfyUI، یک راهنمای دقیق برای استفاده از این مدل در محیط خود تهیه کرده و جریان‌های کاری (workflow) پایه برای تولید ویدیو بر اساس متن و تصویر را منتشر کرده است.
علاوه بر ComfyUI، کتابچه‌های راهنما (cookbook) برای SGLang، vLLM و diffusers نیز وجود دارد، و همچنین راهنماهای مربوط به پرامپت (prompt) برای نسخه پایه و نسخه کامل (full-ref) ارائه شده است.
مجوز استفاده از این مدل، امکان آموزش مجدد آن را بر روی ویدیوها، شخصیت‌ها یا سبک‌های بصری خاص فراهم می‌کند. در حال حاضر، کد رسمی برای آموزش مجدد مدل در دسترس نیست.
⚠️ استفاده تجاری فقط برای شرکت‌هایی با درآمد کمتر از 20 میلیون دلار مجاز است.
📌مجوز:
MiniMax H3 Community License
🟡مدل
https://huggingface.co/MiniMaxAI/MiniMax-H3
#AI #ML #Video #H3 #Minimax
🆔 @asrgooyeshpardaz
همانطور که قبلاً در روز جمعه اعلام شده بود، شرکت چینی، مدل H3 خود را منتشر کرده که ویدیوهای کوتاه با صدا را بر اساس توضیحات متنی، تصاویر، ویدیوها و فایل‌های صوتی تولید می‌کند.
این مدل با 33 میلیارد پارامتر، کلیپ‌هایی با طول 4 تا 15 ثانیه، با نرخ 24 فریم در ثانیه، صدای استریو 32 کیلوهرتز و در نسبت‌های تصویر از 21:9 (عریض) تا 9:16 (عمودی) تولید می‌کند. برای دیالوگ‌های شخصیت‌ها از 11 زبان پشتیبانی می‌شوند.
کل سیستم H3 از سه بخش تشکیل شده است:
🟠 بخش H3-Context-IR: این بخش، درخواست کاربر را به همراه تمام ورودی‌ها (تصاویر، ویدیوها، فایل‌های صوتی) تجزیه و تحلیل می‌کند و آن را به یک فرمت داخلی تبدیل می‌کند که مدل با آن کار می‌کند.
🟢 بخش H3-Base: این بخش، با استفاده از فرمت داخلی، ویدیو را با وضوح 768p تولید می‌کند.
🟠 بخش H3-Regenerate-2K: این بخش، ویدیو تولید شده را به وضوح 2K ارتقا می‌دهد.
اما کل سیستم منتشر نشده است - فقط ماژولی که مستقیماً مسئول تولید ویدیو است، در دسترس قرار گرفته است. بخش‌های H3-Context-IR و H3-Regenerate-2K همچنان غیرقابل دسترس هستند.
🟡مدل H3-Base در دو نسخه منتشر شده است
مدل H3-Base-FL2VA: این نسخه با اولین و آخرین فریم کار می‌کند. اگر هیچ تصویری به عنوان ورودی وجود نداشته باشد، ویدیو بر اساس متن تولید می‌شود. در صورت وجود یک یا دو تصویر، ویدیو بر اساس فریم مشخص شده یا بین دو فریم تولید می‌شود.
مدل H3-Base-Ref2VA: این نسخه، ورودی‌های ترکیبی را دریافت می‌کند - حداکثر 9 تصویر، حداکثر 3 ویدیو و حداکثر 3 فایل صوتی، اما در مجموع، حداکثر 12 فایل. این سیستم، فایل صوتی را بدون تصویر یا ویدیو نمی‌پذیرد.
بر اساس رتبه‌بندی شرکت Artificial Analysis، مدل H3 در جایگاه اول در زمینه ویرایش ویدیو، دوم در تولید ویدیو بر اساس متن و سوم در تولید ویدیو بر اساس تصویر قرار دارد.
شرکت ComfyUI، یک راهنمای دقیق برای استفاده از این مدل در محیط خود تهیه کرده و جریان‌های کاری (workflow) پایه برای تولید ویدیو بر اساس متن و تصویر را منتشر کرده است.
علاوه بر ComfyUI، کتابچه‌های راهنما (cookbook) برای SGLang، vLLM و diffusers نیز وجود دارد، و همچنین راهنماهای مربوط به پرامپت (prompt) برای نسخه پایه و نسخه کامل (full-ref) ارائه شده است.
مجوز استفاده از این مدل، امکان آموزش مجدد آن را بر روی ویدیوها، شخصیت‌ها یا سبک‌های بصری خاص فراهم می‌کند. در حال حاضر، کد رسمی برای آموزش مجدد مدل در دسترس نیست.
⚠️ استفاده تجاری فقط برای شرکت‌هایی با درآمد کمتر از 20 میلیون دلار مجاز است.
📌مجوز:
MiniMax H3 Community License
🟡مدل
https://huggingface.co/MiniMaxAI/MiniMax-H3
#AI #ML #Video #H3 #Minimax
🆔 @asrgooyeshpardaz
❤2👍1