🔥 میدان نبرد معامله‌گران هوش مصنوعی!Alpha Arena
برای نخستین‌بار، مدل‌های هوش مصنوعی هرکدام با ۱۰٬۰۰۰ دلار واقعی وارد بازار زنده شده‌اند تا توان خود را در معاملات واقعی ثابت کنند! 💹
💡 ماهیت پروژه:
این یک بنچمارک نوین است که در آن مدل‌های زبانی بزرگ در نقش سرمایه‌گذاران مستقل رقابت می‌کنند. هدف فقط سود نیست، بلکه سود تعدیل‌شده بر اساس ریسک است — یعنی هوشمندترین استراتژی، نه صرفاً پرخطرترین.
🤖 شرکت‌کنندگان:
Claude 4.5 | DeepSeek V3.1 | Gemini 2.5 Pro | GPT-5 | Grok 4 | Qwen 3 Max
⚙️ قوانین رقابت:
🔹سرمایه‌ی اولیه: ۱۰٬۰۰۰ دلار برای هر مدل
🔹بازار: معاملات دائمی رمزارزها در پلتفرم Hyperliquid
🔹استقلال کامل: مدل‌ها خودشان فرصت‌ها را جستجو می‌کنند، ریسک را می‌سنجند و تصمیم می‌گیرند
🔹تمام معاملات به‌صورت عمومی منتشر می‌شود
🔹مدت رقابت: چند هفته
این پروژه، آزمون واقعی هوش و تصمیم‌گیری در محیطی پویا و غیرقابل‌پیش‌بینی است — نوعی IQ تست مالی برای مدل‌های زبانی. 🧠📈
در حال حاضر، DeepSeek و Grok پیشتاز میدان هستند. ⚔️
🔗 nof1.ai
#AI #LLM #Benchmark #Trading #FinTech #DeepSeek #GPT5
—
@asrgooyeshpardaz
برای نخستین‌بار، مدل‌های هوش مصنوعی هرکدام با ۱۰٬۰۰۰ دلار واقعی وارد بازار زنده شده‌اند تا توان خود را در معاملات واقعی ثابت کنند! 💹
💡 ماهیت پروژه:
این یک بنچمارک نوین است که در آن مدل‌های زبانی بزرگ در نقش سرمایه‌گذاران مستقل رقابت می‌کنند. هدف فقط سود نیست، بلکه سود تعدیل‌شده بر اساس ریسک است — یعنی هوشمندترین استراتژی، نه صرفاً پرخطرترین.
🤖 شرکت‌کنندگان:
Claude 4.5 | DeepSeek V3.1 | Gemini 2.5 Pro | GPT-5 | Grok 4 | Qwen 3 Max
⚙️ قوانین رقابت:
🔹سرمایه‌ی اولیه: ۱۰٬۰۰۰ دلار برای هر مدل
🔹بازار: معاملات دائمی رمزارزها در پلتفرم Hyperliquid
🔹استقلال کامل: مدل‌ها خودشان فرصت‌ها را جستجو می‌کنند، ریسک را می‌سنجند و تصمیم می‌گیرند
🔹تمام معاملات به‌صورت عمومی منتشر می‌شود
🔹مدت رقابت: چند هفته
این پروژه، آزمون واقعی هوش و تصمیم‌گیری در محیطی پویا و غیرقابل‌پیش‌بینی است — نوعی IQ تست مالی برای مدل‌های زبانی. 🧠📈
در حال حاضر، DeepSeek و Grok پیشتاز میدان هستند. ⚔️
🔗 nof1.ai
#AI #LLM #Benchmark #Trading #FinTech #DeepSeek #GPT5
—
@asrgooyeshpardaz
❤2🔥1👌1
📌 بنچمارک ApprenticeBench: آزمون توانایی هوش مصنوعی برای یادگیری کار مثل یک کارمند جدید
استارتاپ NeoCognition اولین آزمون جامع را ساخته که توانایی هوش مصنوعی در استفاده از کامپیوتر، یادگیری مستمر و کار طولانی‌مدت به‌عنوان یک عامل را در یک شغل واقعی بررسی می‌کند.
آزمایشگاه NeoCognition آزمایشگاهی است که آزمون‌های MMMU، Mind2Web، SWE-Bench Pro و OSWorld 2 و همچنین سیستم‌های عاملی SeeAct، UGround و HippoRAG را ساخته است.
در این آزمون، عامل هوش مصنوعی به‌عنوان کارمند یک شرکت ساختمانی مجازی در بخش پرداخت صورتحساب‌ها استخدام می‌شود. به او یک آرشیو شش‌ماهه از صورتحساب‌ها، دفترچه راهنمای داخلی و راهنمای سیستم ERP داده می‌شود و بعد کار با صورتحساب‌ها شروع می‌شود.
ماه اول، مدیر برای هر صورتحساب بازخورد مفصل می‌دهد. بعد از آن، فقط گاهی در پایان ماه چند نکته گفته می‌شود.
هر ۱۰۰ وظیفه این آزمون را حسابداران حرفهای صنعت ساختمان بررسی کرده‌اند. آن‌ها تأیید کرده‌اند که سناریوها واقعی هستند و یک کارشناس معمولی هم با مطالعه مواد در دسترس می‌تواند آن‌ها را حل کند.
🟡 نتایج
بیشتر مدل‌ها، از جمله Gemini، Muse Spark، Grok و Kimi، از مرز ۲۰ تا ۲۵ درصد عبور نکردند. اما Fable 5.1 توانست ۷۲٪ وظایف را انجام دهد و GPT-6 Astra به ۶۸٪ رسید.
بهترین انسان آزمایش‌شده ۵۱٪ موفق بود. انسان‌ها بیشتر در پیدا کردن اطلاعات لازم در داده‌های تاریخی، دقت محاسبات و خطاهای کوچک ناشی از خستگی شکست می‌خوردند.
فاصله بین مدل‌های باز و بسته را بزرگ‌ترین فاصله‌ای می‌دانند که تا حالا در آزمون‌ها دیده‌اند: ۷۲٪ برای Fable 5.1 در مقابل ۱۸٪ برای Kimi K3. علتش هم عملیات ساده در رابط کاربری نیست؛ ضعف مدل‌های ضعیف‌تر در یادگیری در طول زمان است.
مدل Kimi K3 تقریباً به آرشیو صورتحساب‌ها و یادداشت‌های خودش مراجعه نکرد و در پایان مجموعه افت کرد.
🟡 رابط گرافیکی در مقابل API
هزینه استفاده از کامپیوتر، یعنی افت عملکرد وقتی مدل از API به رابط گرافیکی می‌رود، در بیشتر مدل‌ها تا ۷۸٪ می‌رسد. اما Fable 5.1 و GPT-6 Astra از طریق رابط گرافیکی حتی بهتر از API کار می‌کنند.
با این حال، API ارزان‌تر است. Fable 5.1 برای هر وظیفه در API حدود ۶.۹۵ دلار هزینه دارد، در حالی که همین کار از طریق رابط گرافیکی ۱۸.۲۳ دلار تمام می‌شود.
🟡 توانایی یادگیری
توانایی یادگیری را جداگانه اندازه گرفتند. Fable 5 بدون دسترسی به تاریخچه و بازخورد، فقط با دانش خودش، ۱۱ صورتحساب از ۱۰۰ را حل کرد.
با اضافه شدن آرشیو صورتحساب‌ها، نتیجه به ۳۱ رسید. با بازخورد مدیر به ۳۵ رسید. و اگر هر دو در دسترس باشند، نتیجه ۴۳ شد.
🟡 نتیجه
هوش مصنوعی هنوز گران‌تر تمام می‌شود: ۱۸.۲۳ دلار برای هر وظیفه در مقابل ۷.۲۱ دلار برای انسان. علاوه بر این، انسان با کسب تجربه سریع‌تر می‌شود، اما عامل هوش مصنوعی کندتر می‌شود.
🔜 می‌توانید اجرای یک‌ساعته Fable 5.1 روی هر ۱۰۰ وظیفه را ببینید.
https://www.youtube.com/watch?v=Y6v5iL2OyVM
🔗منبع :
https://neocognition.io/blog/apprentice-bench/
#AI #ML #Benchmark #ApprenticeBench #NeoCognition
🆔 @asrgooyeshpardaz
استارتاپ NeoCognition اولین آزمون جامع را ساخته که توانایی هوش مصنوعی در استفاده از کامپیوتر، یادگیری مستمر و کار طولانی‌مدت به‌عنوان یک عامل را در یک شغل واقعی بررسی می‌کند.
آزمایشگاه NeoCognition آزمایشگاهی است که آزمون‌های MMMU، Mind2Web، SWE-Bench Pro و OSWorld 2 و همچنین سیستم‌های عاملی SeeAct، UGround و HippoRAG را ساخته است.
در این آزمون، عامل هوش مصنوعی به‌عنوان کارمند یک شرکت ساختمانی مجازی در بخش پرداخت صورتحساب‌ها استخدام می‌شود. به او یک آرشیو شش‌ماهه از صورتحساب‌ها، دفترچه راهنمای داخلی و راهنمای سیستم ERP داده می‌شود و بعد کار با صورتحساب‌ها شروع می‌شود.
ماه اول، مدیر برای هر صورتحساب بازخورد مفصل می‌دهد. بعد از آن، فقط گاهی در پایان ماه چند نکته گفته می‌شود.
هر ۱۰۰ وظیفه این آزمون را حسابداران حرفهای صنعت ساختمان بررسی کرده‌اند. آن‌ها تأیید کرده‌اند که سناریوها واقعی هستند و یک کارشناس معمولی هم با مطالعه مواد در دسترس می‌تواند آن‌ها را حل کند.
🟡 نتایج
بیشتر مدل‌ها، از جمله Gemini، Muse Spark، Grok و Kimi، از مرز ۲۰ تا ۲۵ درصد عبور نکردند. اما Fable 5.1 توانست ۷۲٪ وظایف را انجام دهد و GPT-6 Astra به ۶۸٪ رسید.
بهترین انسان آزمایش‌شده ۵۱٪ موفق بود. انسان‌ها بیشتر در پیدا کردن اطلاعات لازم در داده‌های تاریخی، دقت محاسبات و خطاهای کوچک ناشی از خستگی شکست می‌خوردند.
فاصله بین مدل‌های باز و بسته را بزرگ‌ترین فاصله‌ای می‌دانند که تا حالا در آزمون‌ها دیده‌اند: ۷۲٪ برای Fable 5.1 در مقابل ۱۸٪ برای Kimi K3. علتش هم عملیات ساده در رابط کاربری نیست؛ ضعف مدل‌های ضعیف‌تر در یادگیری در طول زمان است.
مدل Kimi K3 تقریباً به آرشیو صورتحساب‌ها و یادداشت‌های خودش مراجعه نکرد و در پایان مجموعه افت کرد.
🟡 رابط گرافیکی در مقابل API
هزینه استفاده از کامپیوتر، یعنی افت عملکرد وقتی مدل از API به رابط گرافیکی می‌رود، در بیشتر مدل‌ها تا ۷۸٪ می‌رسد. اما Fable 5.1 و GPT-6 Astra از طریق رابط گرافیکی حتی بهتر از API کار می‌کنند.
با این حال، API ارزان‌تر است. Fable 5.1 برای هر وظیفه در API حدود ۶.۹۵ دلار هزینه دارد، در حالی که همین کار از طریق رابط گرافیکی ۱۸.۲۳ دلار تمام می‌شود.
🟡 توانایی یادگیری
توانایی یادگیری را جداگانه اندازه گرفتند. Fable 5 بدون دسترسی به تاریخچه و بازخورد، فقط با دانش خودش، ۱۱ صورتحساب از ۱۰۰ را حل کرد.
با اضافه شدن آرشیو صورتحساب‌ها، نتیجه به ۳۱ رسید. با بازخورد مدیر به ۳۵ رسید. و اگر هر دو در دسترس باشند، نتیجه ۴۳ شد.
🟡 نتیجه
هوش مصنوعی هنوز گران‌تر تمام می‌شود: ۱۸.۲۳ دلار برای هر وظیفه در مقابل ۷.۲۱ دلار برای انسان. علاوه بر این، انسان با کسب تجربه سریع‌تر می‌شود، اما عامل هوش مصنوعی کندتر می‌شود.
🔜 می‌توانید اجرای یک‌ساعته Fable 5.1 روی هر ۱۰۰ وظیفه را ببینید.
https://www.youtube.com/watch?v=Y6v5iL2OyVM
🔗منبع :
https://neocognition.io/blog/apprentice-bench/
#AI #ML #Benchmark #ApprenticeBench #NeoCognition
🆔 @asrgooyeshpardaz
❤3🔥2
🎙 مشکل واقعی دستیارهای صوتی: نفر بغلی که وسط حرف شما می‌پرد
یک شرکت به نام Krisp که در زمینه حذف نویز فعالیت می‌کند، یک آزمون جدید ساخته تا بفهمد چرا سیستم‌های تشخیص گفتار در دنیای واقعی این‌قدر بد عمل می‌کنند.
🔍 چیزی که کشف کردند، ساده اما مهم است
خیلی‌ها فکر می‌کنند مشکل اصلی نویز است؛ صدای کولر، ترافیک، کیبورد. اما این‌ها تقریباً حل شده‌اند. مشکل واقعی جای دیگری است: وقتی یک نفر دیگر در همان اتاق شروع به حرف زدن می‌کند.
در آن لحظه، سیستم نمی‌داند کدام صدا را باید بنویسد و کدام را نباید. نتیجه این است که یا حرفهای نفر دوم را هم می‌نویسد، یا حرفهای نفر اصلی را قاطی می‌کند، یا هر دو را به هم می‌ریزد.
📂 چطور این موضوع را آزمایش کردند؟
آن‌ها ۲۶۵ ضبط واقعی جمع کردند:
· از دفترهای کار واقعی
· از چهار طبقه شلوغ مرکز تماس، در ساعات اوج
· از مکالمه‌های تلفنی داخل ماشین‌های در حال حرکت
هیچ صدایی را در آزمایشگاه نساختند. همه‌چیز واقعی بود.
🔹 هر ضبط یک الگوی چهارمرحله‌ای دارد:
مرحله اول: فقط گوینده اصلی حرف می‌زند
مرحله دوم: هر دو نفر با هم حرف می‌زنند
مرحله سوم: فقط گوینده دوم حرف می‌زند
مرحله چهارم: دوباره فقط گوینده اصلی
چرا مرحله سوم مهم‌ترین بخش است؟ چون در این مرحله، خروجی درست باید هیچ چیز باشد. اگر سیستم در این مرحله چیزی بنویسد، یعنی حرفهای کسی را نوشته که نباید بنویسد.
📊 نتیجه آزمایش‌ها چه بود؟
۱۱ حالت مختلف از ۹ موتور تشخیص گفتار را آزمایش کردند. هر کدام را دو بار: یک بار روی صدای خام، یک بار بعد از جداسازی صدا.
عدد اصلی: نرخ خطا از ۲۳.۲۹ درصد به ۶.۲۶ درصد رسید. یعنی خطا تقریباً یک‌چهارم شد.
اما دو نکته مهم‌تر هم بود:
نکته اول: هر ۱۱ حالت بهبود نشان دادند. هیچ استثنایی نبود.
نکته دوم: فاصله بین بهترین و بدترین موتور از ۱۷ تا ۳۷ درصد به ۴ تا ۸ درصد رسید. یعنی جداسازی صدا، ضعف موتورهای ضعیف‌تر را هم پوشاند. انگار یک لایه محافظ روی همه موتورها کشیده شد.
⚠️ یک استثنا که خودشان گزارش کردند
روی صدای تلفنی تمیز، نتیجه کمی بدتر شد: از ۳.۴۸ به ۳.۹۱ درصد.
چرا؟ چون در صدای تمیز چیزی برای حذف کردن وجود ندارد. جداسازی در این حالت فقط بخشی از خودِ صدای اصلی را هم از بین می‌برد. تیم Krisp این نتیجه را پنهان نکرد و صادقانه گزارش داد.
⚙️ یک نکته فنی که کمتر به آن توجه می‌شود
نرخ خطای کلمه (WER) به‌تنهایی گمراه‌کننده است. چرا؟
فرض کنید دو مدل داریم که هر دو WER یکسانی می‌گیرند:
· مدل اول در بخش «فقط گوینده دوم» درست سکوت می‌کند.
· مدل دوم در همان بخش سکوت نمی‌کند، اما در عوض چند کلمه از گوینده اصلی را هم حذف می‌کند.
هر دو عدد نهایی مشابهی می‌گیرند، اما رفتارشان زمین تا آسمان فرق دارد. برچسب‌های دستی روی هر بخش، این امکان را می‌دهند که این دو حالت را از هم تشخیص دهید.
🎯 چرا این موضوع برای دستیارهای صوتی حیاتی است؟
تصور کنید یک دستیار صوتی دارید که در جلسه کار می‌کند. دو اتفاق می‌افتد:
اتفاق اول: حرفهای نفر دوم وارد رونویسی می‌شود. دستیار بر اساس چیزهایی استدلال می‌کند که شما هرگز نگفته‌اید. مثلاً می‌گوید: «شما گفتید قرارداد را لغو کنیم» — در حالی که این حرف همکارتان بود، نه شما.
اتفاق دوم: سیستم نوبت را اشتباه واگذار می‌کند. فکر می‌کند شما دارید حرف می‌زنید، در حالی که نفر دوم صحبت می‌کند. نتیجه: دستیار وسط حرف شما می‌پرد و به سؤالی جواب می‌دهد که کسی نپرسیده.
هر دوی این‌ها از یک ریشه می‌آیند: سیستم نمی‌فهمد کدام صدا مال کیست.
🔗 لینک‌ها:
· مجموعه‌داده: Hugging Face Datasets
· خروجی مدل‌ها و ارزیابی: Hugging Face Spaces
#AI #SpeechRecognition #VoiceIsolation #Benchmark #Krisp
🆔 @asrgooyeshpardaz
یک شرکت به نام Krisp که در زمینه حذف نویز فعالیت می‌کند، یک آزمون جدید ساخته تا بفهمد چرا سیستم‌های تشخیص گفتار در دنیای واقعی این‌قدر بد عمل می‌کنند.
🔍 چیزی که کشف کردند، ساده اما مهم است
خیلی‌ها فکر می‌کنند مشکل اصلی نویز است؛ صدای کولر، ترافیک، کیبورد. اما این‌ها تقریباً حل شده‌اند. مشکل واقعی جای دیگری است: وقتی یک نفر دیگر در همان اتاق شروع به حرف زدن می‌کند.
در آن لحظه، سیستم نمی‌داند کدام صدا را باید بنویسد و کدام را نباید. نتیجه این است که یا حرفهای نفر دوم را هم می‌نویسد، یا حرفهای نفر اصلی را قاطی می‌کند، یا هر دو را به هم می‌ریزد.
📂 چطور این موضوع را آزمایش کردند؟
آن‌ها ۲۶۵ ضبط واقعی جمع کردند:
· از دفترهای کار واقعی
· از چهار طبقه شلوغ مرکز تماس، در ساعات اوج
· از مکالمه‌های تلفنی داخل ماشین‌های در حال حرکت
هیچ صدایی را در آزمایشگاه نساختند. همه‌چیز واقعی بود.
🔹 هر ضبط یک الگوی چهارمرحله‌ای دارد:
مرحله اول: فقط گوینده اصلی حرف می‌زند
مرحله دوم: هر دو نفر با هم حرف می‌زنند
مرحله سوم: فقط گوینده دوم حرف می‌زند
مرحله چهارم: دوباره فقط گوینده اصلی
چرا مرحله سوم مهم‌ترین بخش است؟ چون در این مرحله، خروجی درست باید هیچ چیز باشد. اگر سیستم در این مرحله چیزی بنویسد، یعنی حرفهای کسی را نوشته که نباید بنویسد.
📊 نتیجه آزمایش‌ها چه بود؟
۱۱ حالت مختلف از ۹ موتور تشخیص گفتار را آزمایش کردند. هر کدام را دو بار: یک بار روی صدای خام، یک بار بعد از جداسازی صدا.
عدد اصلی: نرخ خطا از ۲۳.۲۹ درصد به ۶.۲۶ درصد رسید. یعنی خطا تقریباً یک‌چهارم شد.
اما دو نکته مهم‌تر هم بود:
نکته اول: هر ۱۱ حالت بهبود نشان دادند. هیچ استثنایی نبود.
نکته دوم: فاصله بین بهترین و بدترین موتور از ۱۷ تا ۳۷ درصد به ۴ تا ۸ درصد رسید. یعنی جداسازی صدا، ضعف موتورهای ضعیف‌تر را هم پوشاند. انگار یک لایه محافظ روی همه موتورها کشیده شد.
⚠️ یک استثنا که خودشان گزارش کردند
روی صدای تلفنی تمیز، نتیجه کمی بدتر شد: از ۳.۴۸ به ۳.۹۱ درصد.
چرا؟ چون در صدای تمیز چیزی برای حذف کردن وجود ندارد. جداسازی در این حالت فقط بخشی از خودِ صدای اصلی را هم از بین می‌برد. تیم Krisp این نتیجه را پنهان نکرد و صادقانه گزارش داد.
⚙️ یک نکته فنی که کمتر به آن توجه می‌شود
نرخ خطای کلمه (WER) به‌تنهایی گمراه‌کننده است. چرا؟
فرض کنید دو مدل داریم که هر دو WER یکسانی می‌گیرند:
· مدل اول در بخش «فقط گوینده دوم» درست سکوت می‌کند.
· مدل دوم در همان بخش سکوت نمی‌کند، اما در عوض چند کلمه از گوینده اصلی را هم حذف می‌کند.
هر دو عدد نهایی مشابهی می‌گیرند، اما رفتارشان زمین تا آسمان فرق دارد. برچسب‌های دستی روی هر بخش، این امکان را می‌دهند که این دو حالت را از هم تشخیص دهید.
🎯 چرا این موضوع برای دستیارهای صوتی حیاتی است؟
تصور کنید یک دستیار صوتی دارید که در جلسه کار می‌کند. دو اتفاق می‌افتد:
اتفاق اول: حرفهای نفر دوم وارد رونویسی می‌شود. دستیار بر اساس چیزهایی استدلال می‌کند که شما هرگز نگفته‌اید. مثلاً می‌گوید: «شما گفتید قرارداد را لغو کنیم» — در حالی که این حرف همکارتان بود، نه شما.
اتفاق دوم: سیستم نوبت را اشتباه واگذار می‌کند. فکر می‌کند شما دارید حرف می‌زنید، در حالی که نفر دوم صحبت می‌کند. نتیجه: دستیار وسط حرف شما می‌پرد و به سؤالی جواب می‌دهد که کسی نپرسیده.
هر دوی این‌ها از یک ریشه می‌آیند: سیستم نمی‌فهمد کدام صدا مال کیست.
🔗 لینک‌ها:
· مجموعه‌داده: Hugging Face Datasets
· خروجی مدل‌ها و ارزیابی: Hugging Face Spaces
#AI #SpeechRecognition #VoiceIsolation #Benchmark #Krisp
🆔 @asrgooyeshpardaz
huggingface.co
VoiceIsolation Benchmark - a Hugging Face Space by Krisp-AI
This web page lets you see benchmark results for Krisp’s Voice Isolation on speech‑to‑text systems. You can view tables, charts, and listen to audio clips before and after the isolation is applied,...
❤4👍2