راهنمای جامع مسیریابی MoE در سال ۲۰۲۶؛ چگونه مدل‌های هوش مصنوعی تصمیم می‌گیرند؟

در دنیای مدل‌های زبانی بزرگ، معماری Mixture-of-Experts یا به اختصار MoE به یک استاندارد طلایی تبدیل شده است. قلب تپنده این معماری، «مسیریاب» یا Router است؛ مکانیزمی که با دقت تصمیم می‌گیرد هر توکن ورودی به کدام زیرمجموعه از شبکه‌های عصبی (متخصص‌ها) فرستاده شود. انتخاب استراتژی مناسب برای این کار، تفاوت بین یک مدل کارآمد و مقرون‌به‌صرفه با مدلی سنگین و کند را رقم می‌زند. در حال حاضر، این تصمیم‌گیری‌ها مستقیماً بر کیفیت خروجی، توازن بار روی پردازنده‌ها و هزینه‌های عملیاتی سرورها تأثیرگذار هستند.

مطالعات جدید نشان می‌دهد که در سال ۲۰۲۶، استراتژی‌های مسیریابی پیچیده‌تر و هوشمندتری جایگزین روش‌های سنتی شده‌اند. یکی از روش‌های غالب، استفاده از امتیازدهی Sigmoid به همراه متعادل‌سازی بایاس (Bias-based balancing) است که به مدل‌های متن‌باز اجازه می‌دهد بدون نیاز به توابع زیان کمکی، توزیع بار متوازنی داشته باشند. این روش اکنون در مدل‌های پیشرویی مانند DeepSeek-V3 و V4، GLM-4.5 و Kimi K2 به کار گرفته شده و توانسته است چالش‌های مربوط به اتلاف گرادیان را تا حد زیادی برطرف کند.

در سوی دیگر، روش‌هایی مانند Softmax top-k همچنان به عنوان یک خط پایه (Baseline) در مدل‌هایی نظیر Mixtral استفاده می‌شوند. با این حال، رویکردهای نوآورانه‌تری مثل Shared-expert (متخصص‌های اشتراکی) که در مدل‌های DeepSeek و Qwen دیده می‌شود، سعی دارند دانش عمومی را در بخش‌های همیشه فعال متمرکز کنند تا متخصص‌های تخصصی‌تر بتوانند روی جزئیات متمرکز شوند. این تفکیک وظایف به بهینه‌سازی منابع کمک شایانی کرده است.

البته همه استراتژی‌ها بی‌نقص نیستند. برای مثال، رویکرد Expert-choice که توسط گوگل معرفی شد، اگرچه توازن بار را به شکلی ایده‌آل برقرار می‌کند، اما به دلیل ماهیت ساختاری‌اش می‌تواند باعث نشت اطلاعات از توکن‌های آینده به گذشته در مدل‌های علّی (Causal) شود. این مسئله باعث شده تا استفاده از آن در مدل‌های تولید متن کاربردی با احتیاط بیشتری صورت گیرد و عمدتاً در محیط‌های تحقیقاتی باقی بماند.

در نهایت، توسعه‌دهندگان و تیم‌های هوش مصنوعی معمولاً هنگام انتخاب مدل، از مسیریاب پیش‌فرض آن بهره می‌برند، اما درک این سازوکار برای بهینه‌سازی در زمان استنتاج (Inference) ضروری است. تنظیماتی نظیر تعداد متخصص‌ها در هر توکن (Experts per token) و متد Top-k، پارامترهای کلیدی هستند که می‌توانند خروجی نهایی را تغییر دهند. برای پروژه‌های جدید پیش‌آموزش، به نظر می‌رسد ترکیب Sigmoid و متعادل‌سازی بایاس، فعلاً به عنوان گزینه برتر پذیرفته شده است.