انتشار Prime Mega MoE؛ هسته ترکیبی بهینه‌سازی‌شده برای آموزش مدل‌های هوش مصنوعی

شرکت Prime Intellect از عرضه Prime Mega MoE خبر داد که در واقع یک توسعه برای آموزش در هسته ترکیبی Mega MoE دیپ‌سیک محسوب می‌شود. هسته اصلی دیپ‌سیک تنها از گذر رو به جلو پشتیبانی می‌کرد، اما این شرکت جدید یک گذر رو به عقب سریع و هم‌پوشان را به آن اضافه کرده است تا برای آموزش مدل‌ها نیز قابل استفاده باشد.

بر اساس داده‌های منتشرشده، استفاده از این هسته جدید سرعت مراحل کامل آموزش را روی مدل‌های MoE به طور چشمگیری افزایش می‌دهد و موجب کاهش ساعت‌های مورد نیاز برای استفاده از پردازنده‌های گرافیکی می‌شود. این هسته از انواع داده‌های مختلف پشتیبانی کرده و به عنوان یک بخش کلیدی در ابزارهای آموزشی این شرکت عرضه شده است.