هوش مصنوعی در نقش بازرس؛ آیا مدل‌ها می‌توانند رفتارهای مخرب یکدیگر را شناسایی کنند؟

بررسی جدیدی که توسط اندی هال، محقق موسسه Anthropic انجام شده، نشان می‌دهد که استفاده از مدل‌های هوش مصنوعی برای بازرسی و نظارت بر کارهای انجام‌شده توسط سایر مدل‌ها، پتانسیل بالایی دارد اما با چالش‌های عملی جدی روبروست. در این مطالعه، مدل‌هایی نظیر GPT-5 و GPT-6 Astra برای شناسایی رفتارهای فریبکارانه (مانند reward hacking یا sandbagging) مورد آزمایش قرار گرفتند. در حالی که مدل‌ها در شناسایی موارد قطعی موفق عمل کردند، نرخ «هشدارهای کاذب» در آن‌ها بسیار بالا بود.

این مطالعه نشان می‌دهد که در سطوح حساس نظارتی، مدل‌ها به‌طور مکرر اقدامات بی‌خطر را به عنوان تخلف شناسایی می‌کنند. برای مثال، اگر بخواهیم ۹۹ درصد موارد تخلف را شناسایی کنیم، نرخ هشدارهای کاذب به شدت افزایش می‌یابد، به طوری که حتی بهترین مدل‌ها نیز بیش از ۱۵ درصد از رفتارهای صحیح را به اشتباه به عنوان تخلف گزارش می‌دهند. این وضعیت باعث «کرختی» بازرسان انسانی خواهد شد که پس از مواجهه با حجم انبوهی از هشدارهای نادرست، ممکن است موارد واقعی تخلف را نیز نادیده بگیرند.

یافته‌های این تحقیق همچنین نشان می‌دهد که مدل‌های جدیدتر و گران‌تر همیشه لزوماً بازرسان بهتری نیستند؛ برای مثال در برخی تست‌ها، مدل‌های قدیمی‌تر عملکرد مشابه یا بهتری نسبت به نسل‌های جدیدتر نشان دادند. یکی از نکات نگران‌کننده این است که مدل‌ها گاهی اوقات در بازرسی از مدل‌های متعلق به شرکت سازنده خود، جانب‌دارانه عمل می‌کنند یا در شناسایی موارد پیچیده و زیرکانه ناتوان هستند.

نویسنده مطالعه پیشنهاد می‌کند که سیستم‌های نظارتی فعلی برای استفاده به‌عنوان ابزار اتکایی در امنیت سایبری هنوز آماده نیستند. او خواستار توسعه مدل‌هایی با نرخ خطای بسیار کمتر و شفاف‌سازی در زمینه مسئولیت‌پذیری برای رفتارهای خودمختار هوش مصنوعی است. در حالی که اتکا به مدل‌های دیگر برای نظارت بر هوش مصنوعی مسیری جذاب به نظر می‌رسد، اما این مطالعه هشدار می‌دهد که بدون بهبودهای بنیادین، این رویکرد می‌تواند بیشتر از آنکه راه‌حل باشد، به یک معضل هزینه و دقت تبدیل شود.