مدل متن‌باز Beam با ۵۰۱ میلیارد پارامتر و قابلیت پردازش زمینه طولانی معرفی شد

منبع: Hugging Face Blog روش تهیه خبر
مدل متن‌باز Beam با ۵۰۱ میلیارد پارامتر و قابلیت پردازش زمینه طولانی معرفی شد

آزمایشگاه Reflection از مدل هوش مصنوعی جدید Beam با ۵۰۱ میلیارد پارامتر و پنجره متنی یک میلیون توکنی رونمایی کرد. این مدل ترکیبی از کارشناسان، تحت مجوز Apache 2.0 عرضه شده و برای کارهای عاملی و برنامه‌نویسی بهینه شده است.

مدل Beam به عنوان نخستین محصول آزمایشگاه آمریکایی Reflection روی پلتفرم هَگینگ‌فیس منتشر شد. این مدل از معماری ترکیبی از کارشناسان (MoE) با ۵۰۱ میلیارد پارامتر کل و ۲۳ میلیارد پارامتر فعال در هر توکن بهره می‌برد و از یک پنجره متنی یک میلیون توکنی پشتیبانی می‌کند. مدل یادشده تحت مجوز باز Apache 2.0 منتشر شده و برای وظایف برنامه‌نویسی و کارهای عاملی طراحی شده است.

از نظر معماری، Beam دارای ۵۲ لایه است که از مکانیزم توجه ترکیبی (ترکیبی از پنجره لغزان و توجه سراسری) استفاده می‌کند. این طراحی به مدل اجازه می‌دهد تا متون بسیار طولانی را با کارایی بالا پردازش کند. سیستم مسیریابی کارشناسان در این مدل مشابه رویکرد DeepSeek-V3 است و تنها کسری از پارامترها را برای پردازش هر توکن فعال می‌کند که سرعت اجرای آن را به مدل‌های کوچک‌تر نزدیک می‌سازد.

این مدل از روز نخست در کتابخانه‌های محبوب مانند transformers، vLLM و SGLang پشتیبانی می‌شود. کاربران می‌توانند با استفاده از فرمت‌های مختلف ذخیره‌سازی نظیر FP8 و NVFP4، مدل را روی سخت‌افزارهای گوناگون از جمله پردازنده‌های گرافیکی انویدیا مستقر کنند. همچنین ابزارهای جانبی برای رمزگشایی حدسی و سفارشی‌سازی مدل از طریق تنظیم دقیق و یادگیری تقویتی در اختیار توسعه‌دهندگان قرار گرفته است.

آزمایشگاه Reflection برای تشویق جامعه توسعه‌دهندگان، برنامه‌های حمایتی مختلفی را برای پروژه‌هایی که از مدل Beam استفاده کنند تدارک دیده است. این مدل گزینه‌ای قدرتمند برای سازمان‌هایی است که به دنبال داشتن یک مدل مقیاس‌پذیر بزرگ روی زیرساخت‌های اختصاصی خود هستند.

گزارش اصلی و جزئیات بیشتر در Hugging Face Blog. مشاهده خبر در منبع اصلی

گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.