معرفی ThinkingBox؛ بنچمارکی برای سنجش قابلیت اطمینان واقعی عاملیت‌های هوش مصنوعی در محیط‌های کاری

یک مشتری با مشکل ارسال کالا مواجه است و عاملیت هوش مصنوعی پس از انجام مراحل بررسی، تیکت پشتیبانی را به عنوان حل‌شده می‌بندد؛ اما بررسی پایگاه داده نشان می‌دهد که مشکل اصلی کالا همچنان حل نشده باقی مانده است. این شکاف میان پاسخ ظاهری مدل و وضعیت واقعی پایگاه داده، دقیقاً همان چیزی است که بنچمارک جدید ThinkingBox آن را اندازه‌گیری می‌کند. این ابزار که حاصل همکاری مایکروسافت و Hugging Face است، عاملیت‌های هوش مصنوعی را در بیش از ۵۰۷ جریان کاری تجاری حالت‌مند می‌سنجد.

بر اساس ارزیابی‌های انجام‌شده روی ۱۲ مدل زبان بزرگ مختلف، مشخص شد که بسیاری از مدل‌ها می‌توانند یک کار را به طور تصادفی یک بار به درستی انجام دهند، اما تکرار همان فرآیند در ۲۰ بار متوالی با افت شدید عملکرد همراه است. نتایج نشان می‌دهد که حدود چهار پنجم خطاها مربوط به نحوه مدیریت ابزار و بازیابی از خطاها است، نه توانایی استدلال مدل. معیارهایی نظیر هزینه به ازای هر وظیفه قابل اعتماد نشان می‌دهند که ارزان‌ترین راه برای دریافت یک پاسخ صحیح، لزوماً بهینه‌ترین راه برای دستیابی به یک خروجی پایدار نیست.

ابزار ThinkingBox هم‌اکنون به همراه مجموعه داده‌های مرتبط از طریق پلتفرم Hugging Face و رابط OpenEnv در دسترس پژوهشگران قرار گرفته است. این ابزار به توسعه‌دهندگان اجازه می‌دهد تا پیش از متعهد شدن به تغییرات پایگاه داده، وضعیت نهایی سیستم را بررسی کرده و با دسته‌بندی خطاهای ابزار و سیستم، ضریب اطمینان عاملیت‌های هوش مصنوعی را در محیط‌های سازمانی افزایش دهند.