هوش مصنوعی در برنامه‌نویسی هنوز به انسان نیاز دارد؛ شکست در ۷۵ درصد پروژه‌های واقعی

پژوهشگران شرکت Alibaba به همراه تیمی از دانشگاه‌های آسیایی با طراحی یک بنچمارک جدید تحت عنوان Co-Design Bench، توانایی واقعی «عوامل هوشمند کدنویس» (Coding Agents) را به چالش کشیده‌اند. نتایج این بررسی نشان می‌دهد که با وجود پیشرفت‌های چشمگیر، این ابزارها در محیط‌های عملیاتی و پیچیده همچنان فاصله زیادی با بی‌نقص بودن دارند. در واقع، حتی قدرتمندترین مدل آزمایش‌شده یعنی GPT-6 Astra، تنها در حدود یک‌چهارم از وظایف محوله موفق به ارائه راه‌حل نهایی و بدون نقص شده است.

این بنچمارک از درخواست‌های واقعی کاربران برای تغییرات نرم‌افزاری الهام گرفته شده است؛ مواردی که پیش‌تر در عمل باعث سردرگمی یا شکست مدل‌های هوش مصنوعی شده بودند. برخلاف تست‌های سنتی که مدل‌ها در آن‌ها به امتیازهای بالای ۹۹ درصد دست می‌یافتند، Co-Design Bench سناریوهای پیچیده‌ای را شامل می‌شود که نیاز به ترکیب چندین نوع تغییر در طراحی، تعامل کاربر و محتوای نرم‌افزار دارند. نویسندگان این پژوهش معتقدند که بنچمارک‌های فعلی برای مدل‌های مدرن بیش از حد ساده شده‌اند و دیگر معیار دقیقی برای سنجش توانایی واقعی آن‌ها نیستند.

طبق گزارش، مدل GPT-6 Astra توانسته است حدود ۷۰ درصد از نیازهای هر وظیفه را برآورده کند، اما تنها در ۲۶.۴ درصد موارد خروجی نهایی کاملاً درست و بدون نیاز به دستکاری بوده است. این یعنی در اکثر پروژه‌ها، اگرچه هوش مصنوعی بخش عمده کار را انجام می‌دهد، اما یک یا چند بخش ناقص باقی می‌ماند که عملاً کاربر را مجبور به اصلاح دستی کد می‌کند. مدل‌های دیگری مانند Claude Opus 5، Qwen3.8-Max و Grok 4.6 نیز در رده‌های بعدی قرار گرفتند، اما هیچ‌کدام عملکرد خیره‌کننده‌ای در پروژه‌های بزرگ نداشتند.

نکته کلیدی این گزارش، نقش «محیط کاری» یا همان Harness در عملکرد مدل‌هاست. بررسی‌ها نشان داد که نوع برنامه‌ای که کدها را اجرا و تست می‌کند، به اندازه خودِ مدل در نتیجه نهایی تأثیرگذار است. بنابراین، برای شرکت‌هایی که قصد دارند از این عوامل کدنویس در پروژه‌های خود استفاده کنند، تنها تمرکز بر انتخاب «بهترین مدل» کافی نیست؛ بلکه باید جفتِ «مدل و محیط کاری» را با هم تست کنند.

در نهایت، این مطالعه تأکید می‌کند که علی‌رغم هزینه‌های بالای پردازشی، افزایش توان محاسباتی به تنهایی نمی‌تواند ضعف‌های ساختاری مدل‌ها در حل مسائل ترکیبی را برطرف کند. فاصله میان امتیازهای بنچمارک‌های آزمایشگاهی و واقعیتِ کاربرد در دنیای برنامه‌نویسی همچنان قابل توجه است و باید با احتیاط بیشتری به ادعاهای هوش مصنوعی در حوزه توسعه نرم‌افزار نگریست.