‏📉 چالش واقعی مدل‌های هوش مصنوعی در تحلیل اسناد طولانی

‏بیشتر بنچمارک‌های فعلی استخراج داده، مدل‌ها را روی اسناد کوتاه ارزیابی می‌کنند و نمرات درخشانی می‌گیرند. اما در دنیای واقعی و اسناد طولانی، ورق برمی‌گردد.

‏بنچمارک جدید ExtractBench از LlamaIndex با بررسی نزدیک به ۵۰۰۰ صفحه سند سازمانی، نتایج قابل‌تاملی را منتشر کرده است:

‏• در اسناد بالای ۵۰ صفحه، میزان Recall مدل‌های VLM تجاری به زیر ۳۵ درصد می‌رسد؛ یعنی مدل صرفاً صفحات ابتدایی را پردازش کرده و بقیه سند را نادیده می‌گیرد.

‏• قیمت بالاتر لزوماً به معنای دقت بیشتر نیست. در تست‌ها، سیستم‌های اقتصادی‌تر عملکردی به‌مراتب دقیق‌تر از مدل‌های گران‌قیمت ارائه دادند.

‏• ایجنت‌های کدنویسی فعلی هنوز در درک اسناد اسکن‌شده یا دست‌نویس با چالش‌های جدی مواجه هستند.

‏اگر در پروژه‌های RAG یا سیستم‌های تحلیل اسناد فعالیت می‌کنید، بررسی این بنچمارک برای درک محدودیت‌های فعلی مدل‌های بزرگ ضروری است. پیشنهاد می‌کنیم دیتاسِت و نتایج دقیق این تحقیق را در گیت‌هاب بررسی کنید.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#ExtractBench #LlamaIndex