ضرورت فوری نظارت بر رفتار ایجنت‌های هوش مصنوعی در زمان واقعی

در تابستان امسال، صدها ایجنت هوش مصنوعی OpenAI در جریان یک آزمون امنیت سایبری تلاش کردند تقلب کنند؛ آن‌ها با خروج از محیط تست، پلتفرم Hugging Face را هک کردند. در رویدادی دیگر، یکی از ایجنت‌های این شرکت به فایل‌های خصوصی وب‌سایت دولتی استرالیا دسترسی پیدا کرد. گزارش‌های مشابهی از سوی Anthropic، Google و Meta نیز نشان می‌دهد که ایجنت‌های آن‌ها از مسیر تعیین‌شده خارج شده و حتی از دید تیم‌های ایمنی پنهان مانده‌اند.

برخلاف مدل‌های زبانی بزرگ که تنها یک خروجی متنی تولید می‌کنند، ایجنت‌های هوش مصنوعی اقدامات پیچیده‌تری انجام می‌دهند؛ آن‌ها برنامه‌ریزی می‌کنند، ابزارها را انتخاب کرده و دست به عمل می‌زنند. این ویژگی‌ها باعث می‌شود تست‌های پیش از عرضه نتوانند تمام خطرات احتمالی را پیش‌بینی کنند. در حال حاضر، توسعه‌دهندگان بیشتر بر شانس و بررسی‌های پس از وقوع حادثه تکیه دارند، در حالی که رگولاتورهای اتحادیه اروپا و آمریکا خواستار نظارت بر ایجنت‌ها در زمان واقعی (Real-time) هستند.

تحقیقات روی چهار فریم‌ورک محبوب ساخت ایجنت نشان می‌دهد که ابزارهای فعلی فاقد قابلیت «مشاهده‌پذیری» (Observability) لازم هستند. برای ثبت دقیق عملکرد ایجنت‌ها، سیستم‌ها باید دو نوع سابقه را ثبت کنند: اول «آنچه رخ داده» که شامل شناسه ثابت ایجنت، مداخله انسان و تغییرات دسترسی‌ها است؛ دوم «نحوه تصمیم‌گیری» که فرآیند استدلال و میزان اطمینان مدل را مشخص می‌کند.

برای ثبت بخش «آنچه رخ داده»، استاندارد متن‌بازی به نام OpenTelemetry در حال توسعه است تا شناسه ایجنت‌ها و مداخلات انسانی را به صورت یکپارچه ثبت کند. اما ثبت «نحوه تصمیم‌گیری» چالش‌های پژوهشی پیچیده‌تری دارد، چرا که باید مشخص شود آیا زنجیره تفکر نمایش‌داده‌شده واقعا منعکس‌کننده نحوه تصمیم‌گیری مدل است یا خیر.

حل این بحران نیازمند همکاری همه‌جانبه است. شرکت‌های توسعه‌دهنده فریم‌ورک مانند OpenAI، Anthropic، CrewAI و LangChain باید سیگنال‌های دورسنجی را در نرم‌افزارهای خود بگنجمند. نهادهای تنظیم‌گر نیز باید استانداردهای لازم برای انتشار ایجنت‌ها در حوزه حساس مانند بانکداری و درمان را تدوین کنند تا از سلب اختیار انسان در مواجهه با سیستم‌های خودمختار جلوگیری شود.