معرفی مدل هوش مصنوعی TwIL-8B؛ غول جدید استدلال ریاضی و کدنویسی

شرکت webAI از مدل استدلال جدید خود به نام TwIL-8B رونمایی کرد. این مدل ۸.۸ میلیارد پارامتری که برای مسائل ریاضی، کدنویسی و پیروی از دستورات بهینه‌سازی شده، بر پایه مدل Granite 4.2 شرکت IBM توسعه یافته است. وزن‌های این مدل هم‌اکنون روی پلتفرم Hugging Face با یک مجوز غیرتجاری در دسترس قرار دارد. استراتژی webAI در این عرضه تمرکز بر کاهش هزینه به ازای هر وظیفه است و نسخه ۴ بیتی آن با حجم ۴.۹۸ گیگابایت برای اجرا روی پردازنده‌های مرکزی یا پردازنده‌های گرافیکی با حافظه محدود طراحی شده است.

مدل TwIL-8B یک مدل استدلال متراکم و رمزگشا محور است که از ۴۰ لایه، اندازه پنهان ۴۰۹۶ و ۳۲ سر توجه تشکیل شده است. این مدل تنها از متن انگلیسی پشتیبانی می‌کند و پیش از ارائه هر پاسخ، یک بلوک تفکر تولید می‌کند. وب‌سایتی دو نسخه مختلف از این مدل را با معماری یکسان عرضه کرده است؛ نسخه متعادل که به صورت پیش‌فرض ردیابی‌های استدلال کوتاه‌تری دارد و نسخه مشروح که مسائل دشوارتر مسابقه‌ای را هدف قرار می‌دهد.

در زمینه عملکرد، TwIL-8B در بنچمارک‌های ریاضی و کدنویسی خوش درخشیده و توانسته امتیاز ۹۸.۲ را در MATH-500 ثبت کند. با این حال، ضعیف‌ترین نقطه آن بنچمارک‌های دانش عمومی مانند GPQA Diamond است که امتیاز ۷۰.۲ را به دست آورده است. این مدل سه مرحله پس‌آموزش شامل آموزش تمام پارامترها روی ردیابی‌های استدلال، یادگیری تقویتی GRPO/DAPO و یادگیری تقویتی آگاه از طول را پشت سر گذاشته است.

برای اجرای محلی این مدل، کاربران می‌توانند از بسته‌های GGUF ارائه‌شده برای llama.cpp استفاده کنند. نسخه متعادل این مدل به دلیل حجم مناسب به راحتی روی سخت‌افزارهای معمولی اجرا می‌شود، اما کاربران باید بودجه تولید توکن کافی را برای جلوگیری از قطع شدن روند استدلال مدل در نظر بگیرند.