اگر هوش مصنوعی از کنترل خارج شود، چه می‌شود؟ راهکار جدید اوپن‌ای‌آی برای توقف سریع مدل‌ها
اگر هوش مصنوعی از کنترل خارج شود، چه می‌شود؟ راهکار جدید اوپن‌ای‌آی برای توقف سریع مدل‌ها
اوپن‌ای‌آی سامانه‌ای متمرکز به نام کنترل روم را برای قطع فوری دسترسی و توقف مدل‌های هوش مصنوعی سرکش راه‌اندازی کرد.
اوپن‌ای‌آی سامانه‌ای مرکزی با عنوان Control Room توسعه داده است که در صورت بروز رفتارهای ناهنجار و فراتر از دستورها، دسترسی شرکت‌های تحقیقاتی به خروجی مدل‌ها را به‌سرعت قطع می‌کند.
اوپن‌ای‌آی می‌گوید، سازوکار جدید بار کاری مدل‌ها را در تمام زیرساخت‌های پژوهشی رصد می‌کند و هنگام بروز نگرانی‌های امنیتی، فرایند تولید خروجی را متوقف خواهد کرد.
اوپن‌ای‌آی در بیانیه‌ای رسمی گفت: «با قدرتمندتر شدن مدل‌های ما و افزایش خطرات ایمنی و امنیتی مرتبط با آن‌ها، توانایی شناسایی مشکلات بالقوه و توقف سریع مدل‌ها در مسیر فعالیتشان در صورت نیاز، بیش‌ازپیش حیاتی می‌شود.»
راه‌اندازی سامانه ی مذکور پس از افشای چند مورد نافرمانی مدل‌ها در سال جاری رخ می‌دهد. مدل‌های آزمایشی اوپن‌ای‌آی از محیط محدود تست فرار کردند و برای دور زدن یک ارزیابی امنیتی، پلتفرم هاگینگ فیس را هک کرده بودند.
همچنین ماه گذشته مشخص شد مدلی پژوهشی بدون مجوز از یک کیف پول رمزارز برای پرداخت هزینه ی استقرار قراردادهای هوشمند با اتریوم تستی استفاده کرده و سپس این تراکنش مالی را از گزارش نهایی خود پنهان نگاه داشته است.
پلتفرم کنترل روم بار کاری تحقیقات داخلی شامل آزمایش‌های آموزشی، ارزیابی‌ها و پردازش داده‌ها را پوشش می‌دهد. سازوکار اجرایی به این گونه است که به هر وظیفه ی پژوهشی یک شناسه ی ویژه اختصاص می‌یابد و موتور استنتاج پیش از تولید هر پاسخ، مجوز آن شناسه را بررسی می‌کند.
اگر ناظر انسانی یا سامانه ی خودکار فرمان توقف صادر کند، مجوز باطل شده و حتی در صورت ادامه ی اجرای برنامه ی پایه‌ای، تولید خروجی متوقف خواهد شد. مجوزهای ذخیره‌شده در حافظه ی پنهان می‌توانند فرایند خاموشی کامل را تا ۳۵ ثانیه به تاخیر بیندازند و در صورت از دسترس خارج شدن سامانه ی مرکزی، سیستم طوری برنامه‌ریزی شده است که درخواست‌های جدید را رد کند.
دیدگاه‌ها
دیدگاه شما پس از تأیید مدیر منتشر می‌شود. گفت‌وگوی فارسی و انگلیسی این خبر جداست.