چارچوب «خواب» گوگل برای یادگیری مستمر مدل‌های زبانی بزرگ
محققان گوگل چارچوب جدیدی موسوم به خواب را برای مدل‌های زبانی بزرگ معرفی کرده‌اند که به آن‌ها اجازه می‌دهد بدون فراموشی فاجعه‌بار، اطلاعات جدید را به دست آورند. این رویکرد الهام‌گرفته از ساختار حافظه مغز انسان است.
محققان گوگل ریسرچ چارچوب نوآورانه‌ای را برای یادگیری مستمر مدل‌های زبانی بزرگ (LLM) معرفی کرده‌اند که مشکل فراموشی فاجعه‌بار و محدودیت‌های دانش ایستا را برطرف می‌کند. مدل‌های زبانی پس از آموزش اولیه معمولاً ثابت می‌مانند و به‌روزرسانی مداوم پارامترهای آن‌ها باعث افت عملکرد در وظایف قبلی می‌شود.
با الهام از نحوه پردازش و تثبیت حافظه در مغز انسان طی استراحت، این چارچوب جدید یک چرخه دوره‌ای شامل تعامل فعال و تثبیت آفلاین حافظه را به مدل معرفی می‌کند. در فاز آفلاین که به خواب تشبیه شده است، مدل از بلوک‌های حافظه از پیش تخصیص‌یافته استفاده می‌کند و وزن‌های خود را با کمک نمونه‌های تمرینی خودساخته به‌روز می‌کند.
این چارچوب از دو مرحله کلیدی یعنی تثبیت حافظه و رؤیاپردازی تشکیل شده است که به مدل امکان می‌دهد بدون نیاز به تغییر کدهای اصلی، دانش جدید را جذب کند. نتایج ارزیابی‌ها نشان می‌دهد که این روش در وظایفی مانند ترجمه چندمرحله‌ای، درک متن‌های طولانی تا ۱۰ میلیون توکن و استدلال ریاضی عملکرد بسیار بهتری نسبت به روش‌های سنتی ثبت کرده است.
گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.