معرفی ERNIE 5.5 Flash Base؛ مدل زبانی جدید و قدرتمند بایدو با ۲۸۰ میلیارد پارامتر

شرکت بایدو به تازگی مدل زبانی ERNIE 5.5 Flash Base را به عنوان نسخه پیش‌آموزشی مدل جدید خود منتشر کرد. این مدل از معماری نوآورانه Mixture-of-Experts (MoE) بهره می‌برد و دارای ۲۸۰ میلیارد پارامتر است که در هر توکن، ۱۴ میلیارد پارامتر آن فعال می‌شود. بایدو این مدل را بدون انجام آموزش‌های پس‌از‌تولید (Post-training) عرضه کرده تا فضایی کاملاً باز و منعطف برای تیم‌های توسعه‌دهنده جهت انجام تنظیمات دقیق (Fine-tuning) یا آموزش‌های تقویتی فراهم کند. این مدل از ۱۲۸ هزار توکن در فاز آموزش و تا یک میلیون توکن برای استنتاج پشتیبانی می‌کند. از نظر فنی، این مدل از ترکیبی از معماری‌های Heavily Compressed Attention (HCA) و Multi-head Latent Attention استفاده می‌کند. طبق گزارش‌های داخلی بایدو، این مدل در بنچمارک‌های اصلی مانند MMLU-Pro امتیاز ۷۸.۴ را کسب کرده که آن را در جایگاه بالاتری نسبت به رقبایی مانند DeepSeek-V4-Flash-Base قرار می‌دهد. وزن‌های این مدل هم‌اکنون در پلتفرم‌های Hugging Face و ModelScope در دسترس قرار گرفته و از ابزارهای استنتاجی مانند SGLang و vLLM پشتیبانی می‌کند.