معرفی StateBench؛ بنچمارکی برای سنجش ردیابی تغییرات حالت در مدل‌های زبانی

پژوهشگران بنچمارک جدیدی به نام StateBench را برای سنجش توانایی مدل‌های زبانی در ردیابی وضعیت اطلاعات در اسناد طولانی معرفی کرده‌اند. این بنچمارک بررسی می‌کند که مدل‌ها چگونه اطلاعات مربوط به موجودیت‌ها را با تکامل یافتن متن در اسناد طولانی پیگیری می‌کنند؛ مهارتی که در کارهایی نظیر خواندن کد، پیگیری داستان‌ها و ردیابی متغیرها اهمیت بالایی دارد.

StateBench شامل چهار سطح دشواری مختلف از جمله مسائل پیش‌پاافتاده، غیردوره ای، قابل حل و مسائل متناهی عمومی است که پیچیدگی‌های مختلفی از عملیات تخصیص متغیرها را بازسازی می‌کنند. ارزیابی مدل‌های مختلف نشان داد که معماری‌های بازگشتی و ترکیبی مانند Gated DeltaNet در مقایسه با مدل‌های سنتی ترنسفورمر، توانایی بسیار بهتری در عمومی‌سازی و حل سطوح دشوارتر ردیابی حالت در توالی‌های بسیار طولانی دارند. مدل‌های ترنسفورمر حتی با آموزش مستقیم نیز در حل سطوح پیچیده این بنچمارک با شکست مواجه می‌شوند.