درخشش جمنای ۴ کربن؛ هوش مصنوعی پرقدرت گوگل تقریبا هم‌سطح کلاد اما بسیار ارزان‌تر است
درخشش جمنای ۴ کربن؛ هوش مصنوعی پرقدرت گوگل تقریبا هم‌سطح کلاد اما بسیار ارزان‌تر است
بر اساس بنچمارک‌های رسمی، جمنای ۴ کربن با فاصله‌ای اندک از کلاد اپوس ۵٫۵، هزینه ی هر پردازش را به کمتر از یک‌سوم می‌رساند.
مدل جمنای ۴ کربن در تازه‌ترین ارزیابی مدل‌های مرزی نتوانست صدر جدول را تصاحب کند، اما ترکیب عملکرد نزدیک به رهبر بازار و هزینه ی بسیار پایین‌تر، جایگاه متفاوتی برای مدل تازه ی گوگل ساخته است. نتایج نشان می‌دهند رقابت مدل‌های هوش مصنوعی دیگر تنها بر سر بیشترین امتیاز نیست و هزینه ی انجام کار نیز به معیاری تعیین‌کننده تبدیل شده است.
معیار GDPx مدل‌های مرزی بزرگ گوگل، اوپن‌ای‌آی، آنتروپیک و متا را بر اساس امتیاز و هزینه ی اجرای هر وظیفه کنار یکدیگر قرار می‌دهد.
GDPx از ۲۰۶ وظیفه در مجموعه‌ای گسترده از حوزه‌های حرفه‌ای تشکیل شده است. امور مالی، علم مواد، امنیت سایبری، مهندسی نرم‌افزار، حقوق و زیست‌شناسی بخشی از موضوعات آزمون را پوشش می‌دهند. گستردگی وظایف باعث می‌شود نتیجه صرفا بازتاب توانایی مدل در تولید متن عمومی یا پاسخ‌گویی به پرسش‌های رایج نباشد.
صدر جدول به کلاد اپوس ۵٫۵ از آنتروپیک رسید و جمنای ۴ کربن با فاصله‌ای نسبتا محدود پشت سر آن قرار گرفت. اختلاف امتیاز دو مدل اندک توصیف شده، اما شکاف هزینه بسیار بزرگ‌تر بود. اجرای هر وظیفه با کلاد حدود ۵۱ دلار هزینه داشت، درحالی‌که هزینه ی جمنای ۴ کربن کمی بیش از ۱۶ دلار برای هر وظیفه محاسبه شد.
بنابراین هزینه ی مدل گوگل به کمتر از یک‌سوم رقیب صدرنشین می‌رسد. چنین اختلافی در استفاده‌های پرتعداد، آزمایش‌های تکرارشونده و سامانه‌های سازمانی می‌تواند اثر مالی قابل‌توجهی داشته باشد، حتی اگر کلاد همچنان امتیاز نهایی بالاتری ثبت کرده باشد.
مدل GPT-6 Astra رتبه ی بعدی جدول را به دست آورد، ولی هم امتیاز پایین‌تری از جمنای ۴ کربن ثبت کرد و هم هزینه ی بیشتری روی دست کاربران گذاشت. میانگین هزینه ی اجرای هر وظیفه با مدل اوپن‌ای‌آی حدود ۵۴ دلار گزارش شد که از هر دو مدل اپوس ۵٫۵ و جمنای ۴ کربن بالاتر بود.
مقایسه ی سه مدل، تفاوت میان رهبر عملکرد و رهبر ارزش اقتصادی را روشن می‌کند. اپوس ۵٫۵ بیشترین امتیاز کلی را دارد، جمنای ۴ کربن با هزینه‌ای به‌مراتب کمتر به آن نزدیک شده و GPT-6 Astra با وجود هزینه ی بالاتر، پایین‌تر از هر دو قرار گرفته است.
حذف چند حوزه، چگونه رتبه‌بندی را تغییر داد؟
SemiAnalysis نسخه ی دیگری از رتبه‌بندی را نیز منتشر کرد که وظایف امنیت سایبری، زیست‌شناسی و هم‌ترازی هوش مصنوعی در آن کنار گذاشته شده بودند. حذف سه حوزه، آرایش مدل‌های بالای جدول را تغییر داد و GPT-6 Astra را به رتبه ی نخست رساند.
در رتبه‌بندی تعدیل‌شده، GPT 6.1 Sol و اپوس ۵٫۵ نیز بالاتر از جمنای ۴ کربن ایستادند. پژوهشگران SemiAnalysis گفته‌اند نتیجه ی دوم با برداشت‌های ذهنی آنان از توانایی مدل‌ها هماهنگی بیشتری دارد.
گزارش، محدودیت‌های ایمنی کلاد و مدل‌های GPT را یکی از عوامل مؤثر بر جابه‌جایی نتایج می‌داند. محافظ‌های ایمنی ممکن است مدل را از تکمیل بعضی وظایف امنیت سایبری، زیستی یا مرتبط با هم‌ترازی بازدارند. درنتیجه، امتیاز خام همیشه فقط توان فنی مدل را اندازه نمی‌گیرد و گاهی میزان آمادگی آن برای پاسخ‌گویی به درخواست‌های حساس را نیز بازتاب می‌دهد.
مدل مرزی قبلی گوگل با نام جمنای ۴ آرگون در هر دو نسخه ی رتبه‌بندی جایگاه هشتم را کسب کرده بود. آرگون بالاتر از Muse Wonder متعلق به متا و پایین‌تر از Wonder Full قرار گرفت.
هزینه ی آرگون در آزمون GDPx تنها اندکی پایین‌تر از جمنای ۴ کربن بود. فاصله ی محدود هزینه، همراه با جایگاه بهتر کربن، نشان می‌دهد مدل تازه ی گوگل نسبت به آرگون بهبود محسوسی در نسبت امتیاز به هزینه ارائه می‌کند.
تمرکز صرف بر امنیت سایبری تصویر دیگری می‌سازد. هر دو مدل گوگل در وظایف مرتبط با امنیت سایبری از مدل‌های اوپن‌ای‌آی و آنتروپیک امتیاز بیشتری گرفتند، اما از خانواده ی Muse متعلق به متا عقب ماندند. طبق یافته ی معیار GDPx، مدل‌های Muse در حوزه ی امنیت سایبری با فاصله‌ای معنادار بهترین عملکرد را ثبت کرده‌اند.
به‌نظر شما عملکرد بهتر مهم‌تر است یا هزینه ی کمتر؟ دیدگاهتان را بنویسید.