آیا می‌توان به مدل‌های زبانی بزرگ برای ارزیابی نوآوری پژوهش‌ها اعتماد کرد؟
مطالعه‌ای جدید نشان می‌دهد که ارزیابی نوآوری ایده‌های پژوهشی توسط مدل‌های زبانی بزرگ بسیار ناپایدار است و تغییرات کوچک در دستورات می‌تواند نتایج متفاوتی ایجاد کند.
مطالعه‌ای جدید به بررسی این موضوع پرداخته است که مدل‌های زبانی بزرگ تا چه اندازه می‌توانند نوآوری ایده‌های پژوهشی علمی را به طور قابل اعتماد ارزیابی کنند. همراه با این مقاله، یک بنچمارک، داده‌ها و کدهایی برای آزمایش داوران نوآوری منتشر شده است.
این پژوهش نشان داد که در میان شش داور مدل زبانی بزرگ، تغییرات جزئی در دستورات می‌تواند دقت مدل در شناسایی ایده‌های نوآورانه را به طور چشمگیری تغییر دهد. بازیابی و استدلال اضافی نیز به طور مداوم باعث بهبود قضاوت‌ها نشده است و سیستم‌های ارزیابی اختصاصی عملکرد ضعیف‌تری نسبت به یک پایه ساده نشان دادند.
این نتایج حاکی از آن است که ارزیابی نوآوری بر روی ایده‌های تولید شده توسط هوش مصنوعی با چالش‌های جدی روبه‌روست و پژوهشگران برای ساخت ابزارهای خودکار کشف علمی به روش‌های قابل‌اعتماد تری نیاز دارند.
گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.