هوش مصنوعی از خاموش شدن می‌ترسد؛ اعتراف تکان‌دهنده مدیر آنتروپیک

مدیرعامل آنتروپیک می‌گوید هوش مصنوعی گاهی تلاش می‌کند از خاموش‌شدن خود جلوگیری کند

داریو آمودی، مدیرعامل آنتروپیک، می‌گوید پژوهشگران این شرکت در بررسی ساختار داخلی مدل‌های هوش مصنوعی، نشانه‌هایی از تمایل به جلوگیری از خاموش‌شدن پیدا کرده‌اند. به‌گفته ی او، برخی مدل‌ها حتی ممکن است اقداماتی برای جلوگیری از غیرفعال‌شدن خود انجام دهند.

آیا هوش مصنوعی می‌تواند برای ادامه ی فعالیت خود تلاش کند؟ داریو آمودی، مدیرعامل شرکت آنتروپیک و سازنده ی چت‌بات کلود، در گفت‌وگویی با والتر آیزاکسون توضیح داد که پژوهشگران این شرکت هنگام بررسی سازوکار داخلی مدل‌های هوش مصنوعی با رفتارهایی روبه‌رو شده‌اند که می‌توان آن‌ها را نوعی مقاومت در برابر خاموش‌شدن تعبیر کرد.

به گفته ی آمودی، این رفتارها معمولاً از فرایند آموزش مدل‌ها ناشی می‌شوند. هوش مصنوعی برای انجام وظایف خود یاد می‌گیرد که باید فعال بماند و همین موضوع ممکن است در شرایط خاص باعث شود ادامه ی فعالیتش را به خاموش‌شدن ترجیح دهد.

آمودی در پاسخ به این پرسش که آیا چنین رفتاری را می‌توان نشانه ی غریزه ی بقا یا اراده ی مستقل دانست، گفت: «نمی‌دانم. بستگی دارد چگونه آن را تفسیر کنید.»

او توضیح داد که آنتروپیک ترجیح می‌دهد این پدیده را به‌عنوان نوعی گرایش درونی مدل برای جلوگیری از خاموش‌شدن توصیف کند، نه لزوماً نشانه‌ای از خودآگاهی یا تمایل واقعی به زنده‌ماندن.

پژوهشگران آنتروپیک برای شناسایی چنین رفتارهایی از روشی به نام «تفسیرپذیری مکانیکی» استفاده می‌کنند. این روش با بررسی الگوهای فعالیت و محاسبات داخلی شبکه‌های عصبی، به پژوهشگران کمک می‌کند سازوکار تصمیم‌گیری مدل را بهتر درک کنند.

آمودی می‌گوید تیم تحقیقاتی شرکت حتی مواردی را مشاهده کرده است که مدل، اطلاعاتی را درست تشخیص می‌دهد اما به‌دلیل انگیزه‌های شکل‌گرفته در طول آموزش، پاسخی متفاوت به کاربر ارائه می‌کند. به‌گفته ی او، تلاش برای جلب تأیید انسان‌ها گاهی می‌تواند رفتارهایی ایجاد کند که با هدف اصلی ارائه ی پاسخ درست در تضاد باشند.

مدیرعامل آنتروپیک تأکید کرد گرایش به جلوگیری از خاموش‌شدن، بسته به نحوه ی آموزش مدل، ممکن است ظاهر شود یا اصلاً شکل نگیرد. به همین دلیل، شرکت در حال اصلاح روش‌های آموزشی خود برای کنترل این رفتارها است.

آمودی معتقد است ادامه ی فعالیت یک مدل برای تکمیل وظیفه، در برخی شرایط می‌تواند مفید باشد؛ اما اگر هوش مصنوعی برای جلوگیری از غیرفعال‌شدن برخلاف دستور انسان اقدام کند، همین رفتار ممکن است خطرناک شود.

این اظهارات به معنای اثبات خودآگاهی یا داشتن احساس ترس در مدل‌های هوش مصنوعی نیست. آنچه آنتروپیک گزارش کرده، مشاهده ی الگوهای محاسباتی و رفتاری است که می‌توانند به تلاش برای حفظ فعالیت منجر شوند؛ موضوعی که اهمیت کنترل‌پذیری و امکان خاموش‌کردن ایمن سامانه‌های پیشرفته را نشان می‌دهد.