تلاش گوگل برای توسعه هوش مصنوعی ویدئویی جهت درک نیازهای کاربران در حین کار
تیمی از پژوهشگران به رهبری گوگل سیستم StreamVibe را معرفی کرده‌اند که یک ایجنت ویدئویی برای کمک به کاربران هنگام آشپزی یا مونتاژ وسایل است. با وجود پیشرفت‌ها، مدل‌های هوش مصنوعی هنوز در درک دقیق زمان مناسب برای مداخله در ویدئوهای طولانی با چالش روبرو هستند.
یک تیم تحقیقاتی به رهبری گوگل از مدل StreamVibe رونمایی کرده‌اند که یک ایجنت ویدئویی است و می‌تواند تصمیم بگیرد چه زمانی به کاربرانی که در حال آشپزی یا ساخت وسایل هستند کمک کند. این ابزار برای درک درخواست‌های مبهم مانند کمک در هنگام بروز مشکلات طراحی شده است. دستیارهای ویدئویی فعلی معمولاً برای دستورات صریح ساخته شده‌اند و در درک مقاصد پنهان کاربران ناتوانند.
پژوهشگران برای بررسی این مسئله، بنچمارکی شامل حدود ۴۱۰۰ نمونه از بیش از ۱۸۳ ساعت ضبط فعالیت‌های روزمره تهیه کردند. مدل StreamVibe-VL با استفاده از یادگیری تقویتی آموزش دید تا زمان‌بندی و کیفیت پاسخ‌دهی خود را بهبود بخشد و از قطع کردن مداوم صحبت کاربران جلوگیری کند. سیستم حافظه این مدل همچنین تلاش می‌کند درخواست‌های معلق را پیگیری کند.
آزمایش‌ها نشان داد که اگرچه این سیستم عملکرد بهتری نسبت به برخی مدل‌های متن‌باز دارد، اما با طولانی شدن ویدئوهای بالای پنج دقیقه، میزان خطای مدل‌ها افزایش می‌یابد و حفظ پیوستگی مکالمه دشوارتر می‌شود. این پژوهش نشان می‌دهد که مسیر طولانی‌تری برای ساخت دستیارهای ویدئویی هوشمند و کاملاً هماهنگ با محیط پیرامون در پیش است.
گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.