پژوهش جدید: توسعه سریع مدل‌های زبانی از تحقیقات علمی جلو زده است

پژوهشگران دانشگاه استنفورد، اوون کوئین و جیمز زو، در پژوهشی تازه ۵۰ ادعای پرکاربرد درباره مدل‌های زبانی بزرگ را روی ۲۰ مدل مختلف آزمایش کردند و متوجه شدند که ۴۴ درصد از این یافته‌ها در حال حاضر منقضی شده‌اند. از میان ۲۲ موردی که تاریخ انقضای تخمینی داشتند، میانگین طول عمر یافته‌ها فقط ۱۵.۷ ماه به دست آمد.

این دو محقق مدل‌های عرضه‌شده بین ژوئیه ۲۰۲۴ تا سپتامبر ۲۰۲۶ توسط هشت توسعه‌دهنده مختلف را بررسی کردند. اثر اصلی پشت یافته‌های منقضی‌شده تا حد زیادی از بین رفته و ۳۴ درصد دیگر نیز به طور قابل‌توجهی ضعیف شده‌اند. تنها ۱۶ درصد از ادعاها کماکان معتبر باقی مانده‌اند و ۶ درصد نیز قوی‌تر شده‌اند. پس از گذشت یک سال، ۱۶ درصد از ادعاها منقضی شده بودند و این رقم پس از دو سال به ۳۹ درصد افزایش یافت.

بر اساس این مطالعه، ادعاهایی که به کارهای «غیرممکن» برای مدل‌ها مربوط می‌شوند، سریع‌تر از بقیه تاریخ‌مصرفشان تمام می‌شود. پنج مورد از نه یافته مرتبط با استدلال منقضی محسوب می‌شوند و هیچ‌کدام دوام نیاورده‌اند. مواردی مانند شمارش حروف در یک کلمه، انجام محاسبات ریاضی در سیستم‌های عددی ناآشنا، از دست دادن اطلاعات در میان متون طولانی و عقب‌نشینی از پاسخ‌های درست هنگام پافشاری کاربر از این جمله‌اند. پژوهشگران حدس می‌زنند که این نوع خطاها دارای یک نتیجه «درست» هستند و به توسعه‌دهندگان هدفی مشخص برای آموزش می‌دهند.

در مقابل، ادعاها درباره ترجیحات و تمایلات مدل‌ها عمر طولانی‌تری داشته‌اند. از ۱۱ یافته‌ای که پابرجا مانده یا قوی‌تر شده‌اند، سه مورد به رفتار مدل‌های زبانی به عنوان ارزیاب مربوط می‌شود. با این حال، شکاف میان مدل‌ها حتی در یک نسل همچنان زیاد است و نتایج بر اساس زمان انتشار، شرکت سازنده یا اندازه مدل متغیر است. پژوهشگران نتیجه می‌گیرند که یافته‌های تجربی درباره مدل‌های زبانی باید به عنوان مشاهداتی درباره مدل‌های خاص در زمانی مشخص ارائه شوند، نه به عنوان حقایقی کلی.