راهنمای جامع مفاهیم کلیدی مدل‌های زبانی بزرگ؛ از وزن‌ها تا استنتاج

با گسترش سخت‌افزارهای اجرای محلی مدل‌های هوش مصنوعی، مجموعه‌ای از اصطلاحات، مخفف‌ها و تعاریف جدید پدید آمده است. درک این اصطلاحات به کاربران کمک می‌کند تا در زمان بارگیری و شخصی‌سازی مدل‌ها عملکرد بهتری داشته باشند. در اینجا به بررسی چند مفهوم کلیدی در دنیای مدل‌های زبانی بزرگ (LLM) می‌پردازیم.

مدل همان مدل زبانی بزرگ است که از مجموعه‌های آموزشی شامل حجم عظیمی از داده‌های متنی روی وب، کتاب‌ها و صوت و تصویر محاسبه شده است. وزن‌ها در واقع نشان‌دهنده میزان قدرت اتصال بین بخش‌های مختلف توکن‌ها هستند و تعیین می‌کنند که توکن‌ها چگونه به یکدیگر مربوط می‌شوند. تعداد وزن‌ها که معمولاً با میلیاردها پارامتر سنجیده می‌شود، نشان‌دهنده پیچیدگی مدل است. مدل‌های متن‌باز این امکان را به کاربران می‌دهند تا وزن‌ها را به دلخواه خود تغییر دهند.

کمیت‌سازی فرآیندی است که طی آن دقت وزن‌های مدل پس از آموزش کاهش می‌یابد تا حجم آن کوچک‌تر شده و روی سخت‌افزارهای مصرفی قابل اجرا باشد. این کار تعادلی میان سرعت پردازش و دقت عددی ایجاد می‌کند. پنجره متنی نیز فضای تفکر مدل است که شامل تمام سوالات، پاسخ‌ها، دستورات سیستم و فایل‌های آپلود شده می‌شود و بر حسب توکن اندازه‌گیری می‌شود.

کش KV مجموعه داده‌ای است که روابط بین توکن‌ها را در طول یک نشست ذخیره می‌کند و قابل استفاده مجدد است. این کش از محاسبه مجدد روابط جلوگیری کرده و سرعت پاسخ‌دهی را افزایش می‌دهد. مدل‌های ترکیبی یا MoE نیز از زیرمدل‌هایی تشکیل شده‌اند که تنها بخش‌هایی از آن‌ها در هر زمان فعال می‌شوند تا دقت و سرعت افزایش یابد. در نهایت، استنتاج شامل دو مرحله پیش‌پر کردن (Prefill) و رمزگشایی (Decode) است که طی آن مدل ورودی‌ها را پردازش کرده و پاسخ نهایی را تولید می‌کند.