مدل استدلال‌گر LFM2.5-24B-A2B برای اجرای سریع و خصوصی ایجنت‌ها روی دستگاه معرفی شد

مدل LFM2.5-24B-A2B یک مدل استدلال‌گر ۲۴ میلیارد پامتری است که تنها ۲ میلیارد پارامتر فعال در هر توکن دارد و به طور ویژه برای اجرای سریع و خصوصی ایجنت‌ها روی دستگاه طراحی شده است. این مدل پیش از پاسخ‌دهی فکر می‌کند، از ابزارها استفاده می‌کند و وظایف چندمرحله‌ای را درون پلتفرم‌های محبوب ایجنت انجام می‌دهد. از آنجا که تنها ۲ میلیارد پارامتر در هر توکن فعال است، هزینه توکن‌های استدلال بسیار پایین بوده و امکان اجرای مداوم ایجنت‌ها روی سخت‌افزار شخصی فراهم می‌شود.

این مدل بر اساس معماری نسخه‌های قبلی ساخته شده و پنجره زمینه آن از ۳۲K به ۱۳۱K توکن افزایش یافته است. همچنین با گسترش توکنایزر درون‌برنامه‌ای، واژگان آن به ۱۲۸K توکن رسیده است تا عملکرد بهتری در زبان‌های غیرلاتین داشته باشد. فرآیند پیش‌آموزش این مدل روی حدود ۳۳ تریلیون توکن انجام شده و در مراحل آموزش میانی و پس‌آموزش، تمرکز ویژه‌ای روی استدلال، ریاضی، کدنویسی، پیروی از دستورالعمل‌ها و فرایندهای ایجنتی شده است.

در ارزیابی‌های انجام‌شده روی ۱۶ بنچمارک مختلف شامل استفاده از ابزار، جریان‌های کاری ایجنتی، دانش، ریاضی و کدنویسی، LFM2.5-24B-A2B به عنوان کوچک‌ترین مدل در گروه خود عملکردی رقابتی با مدل‌های دارای پارامترهای فعال و کل بسیار بیشتر به نمایش گذاشت. این مدل در بنچمارک‌های استفاده از ابزار و پیروی از دستورالعمل‌ها نتایج برجسته‌ای کسب کرد و در وظایفی مانند AutomationBench امتیازات بالایی به دست آورد.

این مدل از روز اول در اکوسیستم استنتاج شامل llama.cpp، MLX، vLLM، SGLang و ONNX پشتیبانی می‌شود. سرعت استنتاج آن روی تراشه Apple M5 Max به ۱۸۴ توکن در ثانیه می‌رسد و روی پردازنده‌های گرافیکی قدرتمند عملکرد خیره‌کننده‌ای ارائه می‌دهد. مدل‌های LFM2.5-24B-A2B و نسخه پایه آن به صورت متن‌باز روی پلتفرم هاکینگ فیس در دسترس توسعه‌دهندگان قرار گرفته‌اند.