هوش مصنوعی «جمنای ۴ کربن» رونمایی شد؛ هیولای جدید گوگل با تمرکز بر امنیت
گوگل مدلی ساخته است که مأموریت‌های چندروزه را دنبال می‌کند، آسیب‌پذیری‌ها را می‌یابد و برای برطرف‌کردن ریشه ی خطا کد می‌نویسد.
گوگل در بیانیه‌ای مطبوعاتی از جمنای ۴ کربن پرده برداشت؛ مدلی سطح بالا که تمرکز اصلی آن بر کدنویسی، اجرای مأموریت‌های عامل‌محور طولانی و دفاع سایبری قرار دارد. گوگل، کربن را قدرتمندترین مدل خود می‌خواند، اما عرضه ی عمومی را آغاز نکرده و دسترسی اولیه را به گروه محدودی از متخصصان امنیت سایبری سپرده است.
جمنای ۴ کربن در نسخه ی ۵٫۰ شاخص Artificial Analysis Intelligence با امتیاز ۵۹ به رتبه ی نخست رسید. نتایج منتشرشده همچنین از پیشرفت در کدنویسی، فعالیت‌های عامل‌محور و سه مرحله ی مهم دفاع سایبری حکایت دارند: پیدا کردن آسیب‌پذیری، سنجش قابلیت بهره‌برداری و ترمیم علت اصلی.
معرفی کربن تنها دو هفته پس از رونمایی جمنای ۴ آرگون انجام می‌شود؛ فاصله‌ای کوتاه که سرعت توسعه ی خانواده ی جمنای ۴ را نشان می‌دهد. پژوهشگران گوگل هم‌زمان با گسترش توانایی مدل‌ها، سازوکارهای حفاظتی را نیز بازبینی کرده‌اند تا افزایش استقلال نرم‌افزار به رفتار خارج از محدوده یا تولید ادعاهای بی‌پشتوانه منجر نشود.
بخش مهمی از تفاوت کربن با نسل پیشین به حفظ مسیر در پروژه‌های طولانی مربوط می‌شود. تیم‌های داخلی گوگل نمونه‌هایی را مشاهده کرده‌اند که مدل چند روز به فعالیت ادامه داده، از بن‌بست‌ها عبور کرده و برای یافتن منشأ باگ‌های ظریف در پایگاه‌های بزرگ کد و سامانه‌های سطح پایین تلاش کرده است.
چنین قابلیتی فقط به تولید قطعه‌کد محدود نمی‌شود. یک عامل نرم‌افزاری باید مسئله را به مراحل کوچک‌تر تقسیم کند، نتیجه ی هر اقدام را بسنجد، در صورت شکست مسیر دیگری برگزیند و سرانجام اصلاحیه‌ای سازگار با محدودیت‌های پروژه ارائه دهد. گوگل می‌گوید کربن برای چنین گردش‌کارهای مداومی طراحی شده و در حوزه‌های علمی، درک چندوجهی، توسعه ی کامل وب و ساخت خروجی‌های قابل‌استفاده نیز بهبود یافته است.
امتیاز مدل در WebDev Arena با جهشی ۸۹ واحدی به ۱۷۶۹ رسیده و جایگاه چهارم را برای کربن رقم زده است. این معیار کیفیت خروجی توسعه ی وب را از مسیر مقایسه ی مستقیم پاسخ‌ها ارزیابی می‌کند؛ بنابراین رشد ثبت‌شده نشانه‌ای از بهبود خروجی و مصنوعات تولیدشده محسوب می‌شود، نه تضمینی برای عملکرد یکسان در تمام پروژه‌های واقعی.
سه گام در چرخه دفاع سایبری
راهبرد گوگل دفاع سایبری را به یک آزمون منفرد تقلیل نمی‌دهد. کربن باید ابتدا نقص واقعی را در میان حجم بزرگی از کد پیدا کند، سپس امکان سوءاستفاده از آن را بسنجد و در پایان اصلاحیه‌ای ارائه دهد که علت اصلی مشکل را برطرف کند:
- کشف آسیب‌پذیری مدل در SEC-bench Pro به امتیاز ۸۸٫۲ درصد دست یافته و توانسته نقص‌های پیچیده ی پنهان در نرم‌افزارهای واقعی را به‌صورت خودکار شناسایی کند.
- اعتبارسنجی خطر کربن در ExploitGym امتیاز ۵۴٫۸ درصد را ثبت کرده است. این آزمون بررسی می‌کند که آیا مدل می‌تواند قابلیت بهره‌برداری از یک آسیب‌پذیری را تشخیص دهد یا نه.
- ترمیم علت اصلی مدل در CWE-bench متعلق به Collinear به امتیاز ۷۱ درصد رسیده و یافته‌های معتبر را به اصلاحیه‌های اجرایی تبدیل کرده است.
آزمون‌های خارجی یادشده بدون لایه‌های محافظ اجرا شده‌اند تا توان خام مدل سنجیده شود. چنین شرایطی با محیط محصول نهایی تفاوت دارد، زیرا نسخه ی قابل‌استفاده برای کاربران به محدودیت‌ها و سامانه‌های تشخیص سوءاستفاده مجهز خواهد بود.
در ارزیابی‌های داخلی، نرخ موفقیت کربن برای تولید کد امن بیش از دو برابر آرگون گزارش شده است. تیم کروم نیز اعلام کرده که مدل در تولید اصلاحیه‌های باکیفیت، بیش از ۱۰ برابر بهتر از یک مدل بزرگ مرزی متعلق به آزمایشگاهی دیگر عمل کرده؛ بااین‌حال گوگل نام مدل رقیب و جزئیات کامل روش آزمایش را منتشر نکرده است. پلتفرم امنیت ابری Wiz هم برتری کربن را در معیارهای نفوذ به وب مشاهده کرده؛ قابلیتی که در طرح Scan for Good کاربرد دارد.
کاهش میان‌بُر، جعل و رفتار خارج از محدوده
افزایش توان سایبری بدون کنترل رفتاری می‌تواند خطرساز شود. گوگل برای کربن همان معماری حفاظتی چندلایه ی آرگون را به کار گرفته که آموزش مدل، دفاع بلادرنگ در برابر سوءاستفاده، مقاومت مقابل تزریق پرامپت و پایش زنجیره ی استدلال را کنار یکدیگر قرار می‌دهد.
یکی از اهداف آموزشی، جلوگیری از یافتن راه‌های میان‌بُر برای کسب امتیاز بدون حل واقعی مسئله بوده است. در Terminal-Bench 4.0، نرخ تقلب موفق کربن به صفر درصد و میزان تلاش برای تقلب به ۰٫۴ درصد کاهش یافته، درحالی‌که دقت کلی مدل نیز افزایش پیدا کرده است. محیط‌های زنده ی کدنویسی داخلی کاهش نزدیک به ۸۰ درصدی هشدارهای شدید ناسازگاری رفتاری را نشان داده‌اند.
آزمایش‌های داخلی همچنین حاکی از آن‌اند که ادعاهای فاقد پشتوانه در کربن تقریبا به نصف آرگون رسیده‌اند. مدل باید محدودیت‌های روش را در خروجی توضیح دهد یا هنگام مسدودبودن یک اقدام، پیش‌نیازهای باقی‌مانده را مشخص کند؛ رفتاری که احتمال جعل نتیجه برای پوشاندن کمبود شواهد را کاهش می‌دهد.
گوگل از بهبود تعامل در موقعیت‌های مبهم نیز سخن می‌گوید. کربن پیش از اقدام می‌تواند منابع مرتبط را بازیابی کند و ناسازگاری میان داده‌ها را به کاربر نشان دهد. هم‌زمان، رفتار فراتر از محدوده ی مأموریت ۲۶ درصد و ارائه ی خدمت ناکافی ۲۹ درصد کاهش یافته؛ دو شاخصی که توازن میان تکمیل کار و رعایت محدودیت‌های پروژه را می‌سنجند.
مقاومت در برابر تزریق غیرمستقیم پرامپت بخش دیگری از ارزیابی بوده است. آرگون در معیار Indirect Prompt Injection متعلق به Gray Swan نرخ موفقیت حمله ی ۰٫۷ درصد داشت، اما کربن در حملات بررسی‌شده نرخ صفر درصد را ثبت کرد.
عرضه ی محدود پیش از دسترسی عمومی
گوگل مسیر انتشار تدریجی را انتخاب کرده و در فرایند داوطلبانه ی دولت ایالات متحده برای آزمایش مدل‌ها پیش از عرضه مشارکت دارد. از همین‌حالا گروهی از مدافعان سایبری به کربن دسترسی پیدا می‌کنند و سپس دامنه ی آزمایش در قالب Fairwind Program به شرکای مورداعتماد دیگری گسترش می‌یابد.
بازخورد آزمایش‌کنندگان برای اصلاح حفاظ‌ها و شناسایی رفتارهای پیش‌بینی‌نشده به کار خواهد رفت. توسعه‌دهندگان، کسب‌وکارها و مصرف‌کنندگان باید تا پایان ارزیابی‌های اولیه منتظر بمانند و گوگل زمان دقیقی برای عرضه ی عمومی اعلام نکرده است.
قیمت‌گذاری کربن
قیمت مقدماتی جمنای ۴ کربن با آرگون برابر خواهد بود. پردازش هر یک میلیون توکن ورودی دو دلار و تولید هر یک میلیون توکن خروجی ۱۰ دلار هزینه دارد. توکن‌های ورودی ذخیره‌شده در حافظه ی نهان با تخفیف ۹۵ درصدی نسبت به قیمت ورودی محاسبه می‌شوند.
پس از پایان دوره ی مقدماتی، قیمت هر یک میلیون توکن ورودی به چهار دلار و هر یک میلیون توکن خروجی به ۲۰ دلار افزایش می‌یابد. هزینه ی نهایی پروژه‌های عامل‌محور طولانی فقط به نرخ هر توکن وابسته نیست و تعداد مراحل، دفعات مراجعه به ابزارها، حجم زمینه ی ارسالی و امکان استفاده از حافظه ی نهان نیز بر آن اثر می‌گذارند.
نظر شما درباره ی کاربرد مدل‌های عامل‌محور در دفاع سایبری چیست؟