تلاش رسانه Tom's Hardware برای بنچمارک پردازنده‌ها در بن‌بست‌های هوش مصنوعی عاملیت محور

مفهوم هوش مصنوعی عاملیت‌محور (Agentic AI) طی شش ماه گذشته توجه زیادی را در دنیای پردازنده‌ها به خود جلب کرده است، اما هنوز بنچمارک‌های دقیق و تکرارپذیری برای ارزیابی عملکرد سخت‌افزارها در این حوزه وجود ندارد. در همین راستا، رسانه Tom's Hardware رویکرد جدیدی را برای سنجش توان پردازنده‌ها و حافظه اصلی در مدیریت چرخه‌های عاملیت‌محور به‌صورت مستقل از شتاب‌دهنده‌های گرافیکی آغاز کرده است.

در ساختار هوش مصنوعی عاملیت‌محور، مدل‌های زبانی بزرگ از ابزارها که معمولاً توابع پایتون (Python) هستند، برای انجام وظایفی مانند خواندن فایل، جستجو در کد یا اجرای دستورات استفاده می‌کنند. از آنجا که حل یک مسئله اغلب نیازمند فراخوانی متعدد و چرخه‌ای این ابزارها است، فرایند به صورت یک حلقه (Loop) شکل می‌گیرد. آزمون‌های اولیه نشان داده‌اند که در اجرای یک عامل منفرد، اکثر زمان پردازش روی GPU صرف می‌شود و پردازنده فشار زیادی را تحمل نمی‌کند؛ بنابراین، این بنچمارک جدید بر عنصر هم‌زمانی (Concurrency) و اجرای هم‌زمان چندین عامل در پردازش‌های مجزا تمرکز دارد.

مکانیزم این بنچمارک به این صورت است که عامل‌های ساخته‌شده با فریم‌ورک LangGraph، مجموعه‌ای از ۳۰ وظیفه را به جای ارتباط مستقیم با سرور هوش مصنوعی، از طریق یک پروکسی اجرا می‌کنند. تمامی درخواست‌ها و پاسخ‌های مدل ثبت می‌شوند تا در مراحل بعدی بتوان با بازپخش (Replay) آن‌ها، نیاز به GPU را به‌طور کامل حذف کرد. در این حالت، فراخوانی ابزارها، کمپایل کد و سایر وظایف پردازشی به صورت زنده روی پردازنده اجرا می‌شوند و تطابق آن‌ها با پاسخ‌های ثبت‌شده بررسی می‌گردد.

معیار اصلی خروجی این بنچمارک «تعداد نشست در ثانیه» (Sessions per Second) است. در این ارزیابی، دو شاخص اصلی محاسبه می‌شود: «بیشینه توان عملیاتی» که بالاترین نرخ نشست ثبت‌شده را نشان می‌دهد، و «توان عملیاتی ایده‌آل» که نقطه‌ای است که کندترین ۵ درصد نشست‌ها بیش از ۱.۵ برابر زمان پایه طول نکشند. این بنچمارک هم به‌صورت بازپخش منجمد (بدون GPU) و هم به‌صورت اجرای زنده قابل استفاده است.

در حال حاضر شش شخصیت عاملی شامل تحقیقات، تحلیل، برنامه‌نویسی و پشتیبانی تعریف شده‌اند. از محدودیت‌های فعلی این روش می‌توان به اجرای آزمون‌ها روی پلتفرم‌های محدود، عدم پشتیبانی کامل از تعاملات چند مرحله‌ای (Multi-turn)، هزینه‌های بالای استفاده از APIهای ابری و پیچیدگی‌های مربوط به محیط‌های ایزوله (Sandboxing) اشاره کرد که توسعه‌دهندگان در تلاش برای رفع آن‌ها هستند.