معرفی روش HOPE؛ راهکار جدید برای بهینه‌سازی و هرس هوشمند مدل‌های زبانی بزرگ

مدل‌های Mixture-of-Experts یا به‌اختصار MoE، امروزه پایه و اساس بسیاری از مدل‌های زبانی بزرگ (LLM) پیشرفته هستند، اما با یک چالش اساسی روبرو هستند: حافظه بسیار زیادی که اشغال می‌کنند. در این مدل‌ها، حتی زمانی که تنها بخش کوچکی از شبکه برای یک توکن خاص فعال است، تمام متخصصان (Experts) باید در حافظه بارگذاری شوند. برای مثال، در مدل Qwen3.5-122B، حدود ۹۵ درصد از فضای حافظه ۲۵۰ گیگابایتی به این متخصصان اختصاص دارد، در حالی که در لحظه پردازش، تنها ۸ متخصص در هر لایه فعال می‌شوند.

تیم تحقیقاتی Hugging Face با معرفی متد جدیدی تحت عنوان HOPE (مخفف Higher-Order Pruning of Experts)، رویکردی متفاوت برای حل این مشکل ارائه کرده است. روش‌های سنتیِ هرس کردن یا Pruning، متخصصان را به‌صورت مستقل ارزیابی و آن‌هایی که امتیاز کمتری دارند را حذف می‌کردند. اما مشکل اینجاست که در واقعیت، متخصصان در گروه‌هایی همکاری می‌کنند و حذف یکی از آن‌ها ممکن است عملکرد کل گروه را مختل کند. HOPE اولین روش مرتبه دومی است که تعاملات زوجی بین متخصصان را در نظر می‌گیرد.

این الگوریتم با جمع‌آوری ماتریس تعاملات (F-matrix) در حین یک مرحله کالیبراسیون، مشخص می‌کند که کدام متخصصان وابستگی بیشتری به یکدیگر دارند. در آزمایش‌های انجام شده، روش HOPE در نرخ هرس ۵۰ درصد، عملکرد خیره‌کننده‌ای از خود نشان داد و توانست در وظایف برنامه‌نویسی ایجنتیک (Agentic Coding)، تا ۶.۱ درصد بهتر از بهترین روش‌های پیشین عمل کند. به گفته محققان، این روش در زمان هرس کردن سنگین که برای بهینه‌سازی مدل‌های عظیم جهت اجرا در محیط‌های محدود ضروری است، برتری محسوسی نسبت به سایر راهکارها دارد.

استفاده از این روش شامل سه مرحله اصلی کالیبراسیون، حل مسئله (QP Solver) و هرس کردن نهایی است. این ابزار از مدل‌های محبوبی نظیر Qwen3، Qwen3.5 و GLM-4.5 پشتیبانی می‌کند. اگرچه روش‌های مرتبه اول در نرخ‌های هرس پایین (۱۰ تا ۲۰ درصد) همچنان رقابتی هستند، اما HOPE در سناریوهای واقعی که نیاز به صرفه‌جویی حداکثری در حافظه دارند، گزینه‌ای قدرتمند برای توسعه‌دهندگان محسوب می‌شود.