شاخص جدید هوش مصنوعی فاصله مدل‌های متن‌باز و بسته را بیشتر کرد

شرکت Artificial Analysis شاخص هوش مصنوعی خود را بازنگری کرده است که این تغییر باعث کاهش رتبه مدل Kimi K3.1 Pro و سقوط پنج پله‌ای آن در رده‌بندی شد. این مدل که در ابتدا در جایگاه چهارم قرار داشت، در نسخه پنجم این شاخص پشت سر هشت مدل بسته به رتبه نهم سقوط کرد. Artificial Analysis اکنون فاصله بین مدل‌های متن‌باز و صدر جدول را ۱۲ امتیاز برآورد می‌کند، در حالی که این رقم پیش‌تر ۳ امتیاز بود.

برای نخستین بار، ۶۰ درصد این شاخص بر پایه مجموعه‌داده‌های آزمایشی خصوصی استوار است تا از پدیده «بنج‌مکسینگ» جلوگیری شود؛ روشی که در آن مدل‌ها به‌طور اختصاصی برای پاسخ به سوالات آزمون شناخته‌شده آموزش می‌بینند. سقوط Kimi K3.1 Pro نشان می‌دهد که شاخص پیشین برخی مدل‌ها را بهتر از آنچه واقعاً هستند نشان می‌داده است. مدل Grok 4.7 نیز ۱۲ امتیاز از دست داد.

ناتان لامبرت، پژوهشگر هوش مصنوعی، بر این باور است که بنچ‌مکسینگ تنها بخشی از ماجرا است. بسیاری از دستاوردهای آموزشی امروزی در محیط‌های یادگیری تقویتی با وظایفی مشابه بنچمارک‌ها رخ می‌دهند. حفظ عملکرد در چندین حوزه به صورت همزمان نیازمند زیرساخت‌های پیچیده یادگیری تقویتی است و همه آزمایشگاه‌ها به آن دسترسی ندارند.

استفاده از مجموعه‌داده‌های آزمایشی بسته نقاط ضعفی نیز دارد، زیرا افراد خارج از مجموعه دیگر نمی‌توانند خطاهای موجود در پرامپت‌ها را شناسایی کنند. آزمون دانش AA-Omniscience ثابت می‌کند که چنین خطاهایی وجود دارند و Artificial Analysis ناچار شد سوالات مبهم و دارای اشکال را در نسخه جدید شاخص بازبینی کند.