سیستم تحقیقاتی خودکار ERNIE Evolve بایدو، رکوردهای NanoChat و NanoGPT را شکست

شرکت بایدو به‌تازگی ERNIE Evolve را معرفی کرده است؛ یک سیستم تحقیقاتی خودکار که برای بهبود کدهای آموزشی و استنتاج مدل‌های هوش مصنوعی طراحی شده است. این سامانه با دریافت یک مخزن کد، هدف و معیارهای ارزیابی، قادر است مسیرهای تحقیقاتی را انتخاب، کدها را ویرایش و آزمایش‌ها را اجرا کند. تنها تغییراتی که بتوانند از یک ارزیاب مخفی و یک بازبین عبور کنند، در پروژه نهایی اعمال می‌شوند.

این سیستم از دو حلقه تو در تو استفاده می‌کند؛ حلقه بیرونی تصمیم می‌گیرد چه چیزی را بررسی کند و حلقه درونی وظیفه توسعه و آزمایش بهبودها را بر عهده دارد. طبق نتایج منتشر شده، این سیستم موفق شد در سه بنچمارک عمومی شامل NanoChat AutoResearch، NanoGPT Speedrun و SOL-ExecBench بهترین نتایج را ثبت کند. برای مثال، در NanoGPT Speedrun، این سیستم توانست رکورد زمانی را به ۳۸.۹ ثانیه کاهش دهد.

علاوه بر بنچمارک‌های عمومی، بایدو از ERNIE Evolve برای بهینه‌سازی مدل ERNIE-5.5-Flash استفاده کرد که هنوز در مرحله توسعه است. در بخش مهندسی تولید، این سیستم موفق شد سرعت تولید متن در سخت‌افزار Kunlunxin P800 را تا ۶۲۳.۶ درصد نسبت به حالت پایه افزایش دهد. همچنین، خروجی استنتاج قطعی (Deterministic) تا ۳۳.۷ درصد بهبود یافت.

بایدو اعلام کرده است که هدف از ساخت این سیستم، گامی عملی در مسیر «خودبهبودی بازگشتی» (Recursive Self-Improvement) است، جایی که سیستم‌های هوش مصنوعی نرم‌افزاری که برای ساخت و اجرای خودشان استفاده می‌شود را بهبود می‌بخشند. با اینکه جزئیات فنی و نتایج بر روی گیت‌هاب قرار گرفته است، اما کدهای اصلی این سیستم همچنان به‌صورت تجاری و بسته باقی مانده‌اند.