مدل‌های MoE چگونه «مسیر» خود را انتخاب می‌کنند؟ مقایسه فنی DeepSeek، Qwen، Mixtral و Llama 4

مدل‌های Mixture-of-Experts (MoE) با وجود اشتراک در مفهوم اصلی، در جزئیات فنی مسیریابی توکن‌ها با یکدیگر اختلاف نظر دارند. این تفاوت‌ها شامل تعداد متخصصان (از ۸ تا ۳۸۴ مورد)، پارامتر Top-k (از ۱ تا ۸) و روش‌های مختلف فعال‌سازی یا غیرفعال‌سازی متخصصان مشترک است. این تنوع در طراحی باعث شده تا هر مدل رفتار و کارایی منحصربه‌فردی از خود نشان دهد. در بررسی ۱۰ مدل شاخص، از Qwen3.6-35B-A3B با ۳۵ میلیارد پارامتر تا غول ۱.۶ تریلیون پارامتری DeepSeek-V4-Pro، تفاوت‌های چشمگیری مشاهده می‌شود. برای نمونه، مدل gpt-oss-120b به لطف فرمت MXFP4 روی یک کارت گرافیک ۸۰ گیگابایتی اجرا می‌شود، در حالی که مدل‌هایی مثل DeepSeek-V4-Pro برای اجرا به زیرساخت‌های چند پردازنده گرافیکی نیاز دارند. داده‌ها نشان می‌دهد که افزایش تعداد متخصصان می‌تواند در برخی مدل‌ها مانند Kimi K2 باعث کاهش نیاز به محاسبات سنگین شود. مدل‌های خانواده DeepSeek استانداردهای جدیدی در مسیریابی تعریف کرده‌اند. DeepSeek-V3 از تابع Sigmoid برای امتیازدهی به متخصصان استفاده می‌کند و برای متعادل‌سازی بار پردازشی، رویکردی بدون aux-loss را در پیش گرفته است. در نسخه جدیدتر یعنی DeepSeek-V4-Pro، تعداد متخصصان به ۳۸۴ افزایش یافته و تابع امتیازدهی به sqrtsoftplus تغییر کرده است. همچنین استفاده از hash routing در لایه‌های ابتدایی، از نوآوری‌های مهم این مدل است. از سوی دیگر، مدل Llama 4 Maverick با طراحی خاص خود در هر لایه MoE تنها یک متخصص فعال را انتخاب می‌کند که یادآور ساختار Switch Transformer است. این جزئیات فنی برای مهندسان و توسعه‌دهندگانی که قصد پیاده‌سازی یا مستقر کردن این مدل‌ها را دارند، حیاتی است، چرا که مستقیماً بر میزان حافظه مصرفی و ترافیک شبکه بین پردازنده‌ها تأثیر می‌گذارد.