معیار جدید متن‌باز نشان می‌دهد: استدلال، بزرگ‌ترین گلوگاه هوش مصنوعی در مدیریت ابر است

ابزار جدیدی به نام CloudOpsBench به‌عنوان یک معیار متن‌باز معرفی شده است که نحوه مدیریت وظایف رایج DevOps در فضای ابری توسط ایجنت‌های هوش مصنوعی را اندازه‌گیری می‌کند. این ابزار مواردی از قبیل رفع مشکلات سرویس‌ها، حذف منابع، محدودسازی دسترسی‌ها، انتشار به‌روزرسانی‌ها و خارج کردن پروژه‌ها از سرویس را ارزیابی می‌کند. نسخه ۱.۰ این معیار شامل ۴۵ وظیفه روی پلتفرم AWS است و توسط مهندسان باتجربه DevOps توسعه یافته است.

نتایج ارزیابی‌ها نشان می‌دهد که حتی بهترین مدل‌های هوش مصنوعی نیز در بسیاری از این وظایف ناکام می‌مانند. مدل Claude Fable 5.1 موفق شد ۶۰ درصد از وظایف را حل کند، در حالی که GPT-6 Astra توانست ۵۳ درصد را به سرانجام برساند. بنا بر گفته تیم تحقیقاتی دانشگاه میشیگان به سرپرستی انگ چن، مشکل اصلی کمبود دانش نیست، بلکه ضعف در استدلال است. حدود ۸۰ درصد از خرابی‌ها ناشی از این است که ایجنت‌ها دامنه وظیفه را به اشتباه قضاوت می‌کنند، تمام سرویس‌های مرتبط را بررسی نمی‌کنند یا خیلی زود متوقف می‌شوند. نزدیک به ۲۰ درصد از خطاها نیز شامل اقدامات نادرست با پیامدهای جبران‌ناپذیر برای زیرساخت است.

تمامی این وظایف به‌طور یکسان هم در فضای واقعی ابری AWS و هم در یک شبیه‌ساز اجرا می‌شوند و برنامه‌هایی برای توسعه پشتیبانی از GCP، Azure و OCI نیز در دست اقدام است. این پروژه روی گیت‌هاب با مجوز Apache 2.0 منتشر شده و تحلیل دقیق خرابی‌ها نیز در دسترس علاقه‌مندان قرار دارد.