بنچمارک جدید نشان داد: هیچ هوش مصنوعی در محیط‌های کاری واقعی موفق نیست

موسسه تحلیل‌گر SemiAnalysis با معرفی بنچمارک جدیدی به نام GDPx، ادعاهای مطرح‌شده درباره توانمندی‌های هوش مصنوعی در محیط‌های کاری واقعی را به چالش کشیده است. برخلاف بنچمارک‌های معمول که هوش مصنوعی را با پرسش و پاسخ می‌سنجند، GDPx مدل‌ها را در محیط‌های کاری واقعی قرار می‌دهد تا وظایفی نظیر طراحی تراشه، معاملات کمی و عملیات‌های حقوقی را در نرم‌افزارهای تخصصی انجام دهند. نتایج به دست آمده بسیار ناامیدکننده است؛ هیچ مدلی موفق به کسب امتیاز بالاتر از ۱۲ درصد نشده است.

در این ارزیابی، مدل Claude Opus 5.5 با کسب ۱۲ درصد در صدر قرار گرفته است، در حالی که مدل Gemini 4 Carbon با هزینه بسیار کمتر، امتیاز ۱۰.۹ درصد را به دست آورده و GPT-6 Astra نیز با ۹.۶ درصد در رتبه‌های بعدی قرار دارد. این بنچمارک که شامل ۲۰۶ وظیفه در ۱۱ حوزه تخصصی است، نشان می‌دهد که در بسیاری از زمینه‌ها مانند امور مالی و حقوقی، مدل‌ها حتی قادر به تکمیل یک وظیفه کامل نیستند، زیرا یک خطای کوچک در محاسبات، کل خروجی را بی‌اثر می‌کند.

یافته‌های این گزارش نشان می‌دهد که فیلترهای ایمنی شرکت‌ها نیز تأثیر چشمگیری بر نتایج دارند. در برخی حوزه‌ها، فیلترهای امنیتی مانع از تکمیل درست وظایف توسط مدل‌ها می‌شوند. به عنوان مثال، در حوزه امنیت سایبری، اکثر اجراها قوانین رفتاری را نقض کردند. با این حال، برخی از منتقدان معتقدند که بنچمارک GDPx نیز خالی از ایراد نیست و به دلیل محدودیت در تعداد نمونه‌های تست و شرایط ناهمگون اجرای مدل‌ها، ممکن است نتیجه‌گیری‌ها دقیق نباشد.

یکی از نقاط قوت این بنچمارک، محرمانه بودن وظایف آن است که باعث می‌شود شرکت‌های هوش مصنوعی نتوانند مدل‌های خود را برای تقلب در آزمون بهینه‌سازی کنند. با این حال، SemiAnalysis اذعان کرده است که برای ارزیابی نتایج در برخی حوزه‌های تخصصی از خودِ مدل‌های هوش مصنوعی استفاده کرده، که این موضوع بحث‌هایی را در مورد دقت داوری ایجاد کرده است. در مجموع، این نتایج نشان می‌دهد که علیرغم هیاهوی زیاد، فاصله میان مدل‌های کنونی و جایگزینی کامل نیروی کار انسانی در محیط‌های تخصصی، همچنان بسیار زیاد است.