انقلاب در معماری سامانه‌های AI؛ ارائه Together Compiler با 2.6 برابر سرعت بیشتر

ایزو Together AI با معرفی سامانه‌ای به نام Together Compiler (TKCC) گامی بزرگ در جهت بهینه‌سازی چرخه استنباض مدل‌های زبانی برداشته است. هدف اصلی این سامانه، رفع مشکل پوسیدگی تنظیمات اولیه است؛ تیم این شرکت معتقد است که ترافیک محاسباتی هرگز ثباتی ندارد و تنظیماتی که یک‌بار انجام می‌شود، به سرعت منقضی می‌گردد. در واقع، طول ورودی‌ها در کشورهای مختلف از 97K تا 70K توکن متفاوت است و یکی از مشتریان در سه روز شاهد رشد طول ورودی از 18K به 33K بوده است.

این سامانه به جای راه‌اندازی مجدد کل سیستم، یک موتور پایدار (Persistent Engine) استفاده می‌کند. افراد هوشمند (Agents) پیشنهاداتی برای بازنویسی فرایند فوروارد مدل ارائه می‌دهند که بر روی بسترهای RPC بررسی و در صورت اثربخشی، جایگزین می‌شوند. این روش باعث شده تا تکمیل هریک از تنظیمات کمتر از 24 ساعت زمان ببرد و بهره‌وری آزمایش‌های خودکار را به بیش از 252 برابر رویت‌شدگان دست‌های متمرکز‌های قدیمی برساند.

Performance experiments on various hardware configurations reveal significant overall results relative to the benchmarks of the InferenceX standard. In the setup of the B200 model, a performance boost of up to 2.6x has been recorded compared to previous limitations. One of the strong points of this model is the independence of the hardware, which operates based on specific parameters and does not specifically depend on any known brand, and it has generally been approved in more technical performance tests.

This method ultimately achieves competitive performance by having less reliance on specific instructions and providing a more robust execution environment. This unique approach allows the system to be more effective in handling data of different types and in performing calculations with greater accuracy than previously believed.