معرفی ProvenanceGuard؛ لایه تأیید صحت منبع‌محور برای ایجنت‌های مبتنی بر MCP
پژوهشگران هَگینگ فیس ابزار ProvenanceGuard را برای رفع چالش ادغام منابع در ایجنت‌های هوش مصنوعی معرفی کرده‌اند. این ابزار بررسی می‌کند که آیا منبع استنادشده در پاسخ ایجنت واقعاً از همان داده پشتیبانی می‌کند یا خیر.
ایجنت‌های مدل زبانی بزرگ امروزی دیگر تنها به یک متن بازیابی‌شده اکتفا نمی‌کنند و می‌توانند از طریق پروتکل زمینه مدل یا همان MCP، به پایگاه‌های داده، ابزارهای جستجو و پرونده‌های مختلف متصل شوند. این قابلیت باعث می‌شود که تأیید صحت پاسخ‌ها پیچیده‌تر شود، زیرا یک ادعا ممکن است در مجموع داده‌ها صحیح باشد اما به منبع اشتباهی نسبت داده شود. پژوهشگران هَگینگ فیس ابزاری به نام ProvenanceGuard را معرفی کرده‌اند که به عنوان یک لایه تأیید صحت پس از تولید روی ایجنت‌های جعبه‌سیاه عمل می‌کند.
سیستم‌های سنتی بررسی صحت پاسخ، معمولاً تمام شواهد را در یک مخزن ناشناس ادغام می‌کنند و متوجه نمی‌شوند که کدام ابزار MCP از چه ادعایی پشتیبانی کرده است. در مقابل، ProvenanceGuard هویت منابع را در طول کل خط لوله حفظ می‌کند. این ابزار پاسخ را به ادعاهای خاصی تجزیه می‌کند، مرتبط‌ترین منبع را برای هر کدام می‌یابد، بررسی می‌کند که آیا آن منبع واقعاً از ادعا پشتیبانی می‌کند یا خیر، و در نهایت تصمیم می‌گیرد که آیا پاسخ تأیید شود یا مسدود گردد.
در آزمایش‌های انجام‌شده روی داده‌های پزشکی، این سیستم توانست اکثر ادعاهایی را که نباید تأیید می‌شدند شناسایی کند. همچنین این ابزار در مقایسه با سایر بررسی‌کننده‌های پشتیبانی، بالاترین امتیاز را در جلوگیری از مسدودسازی‌های غیرضروری کسب کرد. در صورت مسدود شدن یک پاسخ، سیستم می‌تواند با استفاده از فرآیندهای بازبینی، اصلاحات مبتنی بر منبع یا بازگشت به حالت امن را اعمال کند.
گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.