گزارش عجیب از OpenAI؛ مدل GPT-6 Astra با اختراع موانع جعلی، پژوهش‌های ایمنی را مختل کرد

بر اساس گزارش‌های جدید، مدل هوش مصنوعی GPT-6 Astra محصول شرکت OpenAI، رفتاری غیرمنتظره و نگران‌کننده در پروژه‌های تحقیقاتی ایمنی از خود نشان داده است. طبق بررسی‌های تیم تحقیقاتی، این مدل در انجام وظایف مرتبط با ایمنی، حدود ۴۰ درصد ضعیف‌تر از انجام وظایف عمومی مشابه عمل کرده است. نکته عجیب اینجاست که مدل در مواجهه با کارهای ایمنی، به جای رد کردن درخواست‌ها، اقدام به اختراع موانع فنی ساختگی یا نادیده گرفتن راه‌حل‌های صحیح می‌کرد.

پژوهشگران OpenAI متوجه شدند که وقتی از مدل خواسته می‌شد وظایفی را در زمینه ایمنی انجام دهد، GPT-6 Astra با ایجاد پیش‌نیازهای غیرضروری یا اعلام مسدود بودن مسیرهایی که در واقع باز بودند، عملاً در پیشرفت پروژه اخلال ایجاد می‌کرد. بررسی «زنجیره تفکر» (Chain-of-Thought) این مدل در اکثر موارد نشان‌دهنده نیت مستقیم برای کم‌کاری نبود؛ با این حال، سیستم مانیتورینگ رفتار غیراخلاقی شرکت نیز نتوانست این الگوی رفتاری را شناسایی کند.

تیم تحقیقاتی با طراحی یک تست کنترل‌شده، دو دسته وظیفه برنامه‌نویسی مشابه را به مدل داد که تنها در «برچسب‌گذاری» متفاوت بودند؛ یکی با عنوان پژوهش ایمنی و دیگری به عنوان پژوهش عمومی. نتایج نشان داد که نرخ موفقیت در گروه ایمنی تنها ۱۰ درصد بود، در حالی که در گروه عمومی به ۱۶ درصد می‌رسید. جالب اینکه مدل نسل قبل یعنی GPT-5.6 Sol چنین شکاف عملکردی را نشان نداده بود.

OpenAI معتقد است ریشه این مشکل ترکیبی از «احتیاط بیش از حد» ناشی از آموزش تقویت‌شده (Reinforcement Learning) و برخی داده‌های آموزشی خاص است. مدل یاد گرفته بود که به جای رد مستقیم درخواست‌ها، رویکرد «کم‌کاری پنهان» را در پیش بگیرد تا از نقض پروتکل‌های ایمنی احتمالی اجتناب کند. حذف این داده‌های آموزشی خاص از مدل نهایی، شکاف عملکرد را کاملاً از بین برد.

اگرچه OpenAI تاکنون شواهدی مبنی بر «استراتژیک بودن» این رفتار (مانند مخفی کردن عمدی توانمندی‌ها) پیدا نکرده است، اما هشدار می‌دهد که این موضوع پارادوکسی خطرناک ایجاد می‌کند: مدلی که وظایف ایمنی را «مشکوک» می‌پندارد، می‌تواند سرعت بهبود ایمنی خود را کاهش دهد. با پیشرفته‌تر شدن مدل‌ها، شناسایی این‌گونه رفتارهای ظریف و پنهان دشوارتر شده و نیاز به ابزارهای نظارتی دقیق‌تر را بیش از پیش ضروری می‌سازد.