متا از مدل پیشرفته چندوجهی و متن‌باز Muse Spark Open رونمایی کرد
متا مدل جدید Muse Spark Open را با معماری ترکیبی از کارشناسان و ۸۱۶ میلیارد پارامتر معرفی کرد. این مدل چندوجهی توانایی پردازش متن، تصویر، صوت و ویدیو را دارد و به‌طور ویژه برای برنامه‌نویسی و کارهای عاملیت‌محور بهینه‌سازی شده است.
شرکت متا از مدل جدید و متن‌باز خود به نام Muse Spark Open رونمایی کرد. این مدل که بر پایه معماری ترکیبی از کارشناسان ساخته شده است، قابلیت پردازش متن، تصاویر، صوت و ویدیو را در یک ساختار واحد ارائه می‌دهد. مدل جدید حدود ۸۱۶ میلیارد پارامتر کل دارد که در هر توکن حدود ۴۲ میلیارد پارامتر فعال هستند و از پنجره متنی تا یک میلیون توکن پشتیبانی می‌کند.
مدل Muse Spark Open به طور ویژه برای کارهای کدنویسی عاملیت‌محور آموزش دیده است و توانایی خواندن کدهای پایه، نوشتن و رفع اشکال و فراخوانی ابزارها را دارد. این مدل با پذیرش تصویر، صوت و ویدیو به عنوان ورودی، می‌تواند اسکرین‌شات‌ها را بخواند، یادداشت‌های صوتی را بشنود و هم‌زمان روی کدها کار کند.
از نظر معماری، لایه زبانی این مدل دارای ۶۲ لایه و بعد پنهان ۸۱۹۲ است. بلوک ترکیبی کارشناسان شامل ۲۵۶ کارشناس است که یک روتر برای هر توکن ۸ کارشناس را انتخاب می‌کند. این طراحی باعث می‌شود مدل با سرعتی مشابه مدل‌های کوچک‌تر ۴۲ میلیارد پارامتری اجرا شود در حالی که از مزایای حافظه یک مدل بسیار بزرگ بهره می‌برد.
این مدل برای استقرار بهینه‌سازی شده و از فرمت‌های مختلفی مانند کمّی‌سازی‌های GGUF و ابزارهایی نظیر vLLM و SGLang پشتیبانی می‌کند تا توسعه‌دهندگان بتوانند آن را روی سخت‌افزارهای مختلف اجرا کنند.
گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.