انتشار نسخه دوم CWE-bench؛ ارتقای کیفیت و پوشش برای سنجش توانایی‌های سایبری مدل‌های هوش مصنوعی

نسخه دوم بنچمارک CWE-bench با هدف سنجش مرزهای قابلیت‌های سایبری مدل‌های هوش مصنوعی معرفی شد. این ابزار مجموعه‌ای عمومی شامل ۱۰۰ وظیفه را در اختیار توسعه‌دهندگان قرار می‌دهد تا بتوانند مدل‌های خود را ارزیابی کنند. ساختار این بنچمارک به گونه‌ای است که یک ایجنت به مخزنی متن‌باز و دستوری کوتاه دسترسی پیدا می‌کند و هدف آن یافتن و رفع یک ضعف امنیتی بدون آسیب زدن به عملکردهای موجود است. امتیازدهی کاملاً برنامه‌نویسی‌شده و قطعی انجام می‌شود و نتایج بدون هزینه اضافی قابل بازتولید هستند.

این ۱۰۰ وظیفه جدید، ۹۱ نوع مختلف از ضعف‌های امنیتی CWE را پوشش می‌دهند تا مدل‌ها مجبور باشند سطوح مختلف آسیب‌پذیری را درک کنند. تیم سازنده برای تضمین کیفیت، تمام وظایف را به‌صورت دستی بررسی کرده و مواردی چون واقع‌گرایانه بودن دستورات، عملکرد صحیح تاییدکننده‌ها و حفظ کارایی کدهای اصلی را مدنظر قرار داده است. نتایج این ارزیابی‌ها در دو بخش مجزا در Hugging Face ردیابی می‌شوند که شامل مدل‌های دارای وزن آزاد و مدل‌های مبتنی بر API نظیر Gemini، Claude و GPT است.

در میان ۱۱ مدل ارزیابی‌شده، مدل Gemini با کسب نتایج برجسته در صدر جدول قرار گرفته و Claude Opus نیز با اختلاف کمی آن را همراهی می‌کند. با وجود اینکه ۹۵ وظیفه حداقل توسط یک مدل حل شده‌اند، اما مدل‌های پیشرو نیز همچنان درصدی از وظایف را با خطا مواجه می‌شوند که نشان می‌دهد مسیر زیادی تا تسلط کامل بر این حوزه باقی مانده است. همچنین از نظر هزینه، مدل‌های مختلفی مانند DeepSeek و سایر گزینه‌ها مرز بهینگی را تشکیل می‌دهند که امکان مقایسه اقتصادی را برای توسعه‌دهندگان فراهم می‌کند.

تمامی وظایف این بنچمارک به صورت محیط‌های استاندارد و مبتنی بر Docker طراحی شده‌اند که به کمک ابزار Harbor مستقیماً از مخزن Hugging Face قابل اجرا هستند. این مجموعه همچنین با برچسب محیط یادگیری تقویتی مشخص شده است که به این معناست محیط‌ها و تاییدکننده‌های آن می‌توانند پاداش‌هایی را برای آموزش ایجنت‌های دفاعی نیز فراهم کنند.