چارچوب جدید Frontier Model Forum: رتبه‌بندی CVSS برای حمله به هوش مصنوعی
خبرگان امنیت هوش مصنوعی سیستم‌مرجع جدیدی برای سنجش میزان خطر و سهولت «جیل‌بریک» مدل‌های زبانی ارائه کردند؛ مشابه نمره‌دهی CVSS در امنیت سایبری.
گروه Frontier Model Forum (FMF) چارچوبی جدید به نام Jailbreak Rating Framework منتشر کرده است که به هدف ارزیابی میزان آسیب‌پذیری مدل‌های زبانی بزرگ در برابر دور زدن محدودیت‌های ایمنی طراحی شده است. این چارچوب که از سال ۲۰۲۳ با حمایت شرکت‌های Anthropic، Google، Microsoft و OpenAI آغاز شد، به نام مستعار یک «سیستم نمره‌دهی CVSS» برای هوش مصنوعی شناخته می‌شود و می‌کوشد استاندارد بین‌شرکتی واحدی برای تیم‌های توسعه‌دهنده ایجاد کند.
سیستم FMF دو شاخه اصلی «شدت» (Severity) را که میزان خطرناکی تکنیک حمله را می‌سنجد و «احتمال» (Likelihood) را که سنجیده‌اند چقدر دستیابی به آن آسان است، در بر می‌گیرد. امتیازات نهایی بر اساس ترکیب این دو بخش و در بازه از «پایین» تا «بحرانی» ارائه می‌شوند. چهار معیار جزئی «افزایش توانمندی»، «محدوده کاربرد»، «سهولت استقرار» و «سهولت کشف» که هرکدام از صفر تا سه امتیاز بگیرند، محاسبه می‌شوند.
نکته کلیدی در این چارچوب، مفهوم «مبنای متحرک» (Moving Baseline) است. این بدان معناست که یک نمره صفر (بدون افزایش توانمندی) لزوماً به معنای بی‌خطر بودن حمله نیست، بلکه نشان می‌دهد که آن حمله هیچ پیشرفتی نسبت به قابلیت‌های فعلی مدل‌های موجود نداشته است. به عنوان مثال، اگر یک مدل با «جیل‌بریک» نتواند حمله DDoS به‌تری از ابزارهای موجود در بازار سیاه انجام دهد، امتیاز افزایش توانمندی آن صفر خواهد بود، اما نگران کردنی است اگر بتوان حمله‌ای قوی‌تر از استانداردهای بازار انجام داد.
نسخه ۱.۰ این پیشنهاد هنوز در مرحله تدوین است و FMF تا ۲۱ دسامبر پیشنهادهای جامعه را می‌پذیرد و توصیه می‌کند از اتکای عملیاتی به آن خودداری شود. این رویکرد شباهت‌های بسیاری با طبقه‌بندی‌های ارائه‌شده توسط Anthropic در اوت ۲۰۲۶ پس از اختلال در سرویس Claude Fable 5 دارد.
گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.
دیدگاه‌ها
دیدگاه شما پس از تأیید مدیر منتشر می‌شود. گفت‌وگوی فارسی و انگلیسی این خبر جداست.