معرفی چارچوب چندعاملی گوگل برای تولید خودکار ویدیوهای طولانی و منسجم

تولید ویدیو با استفاده از مدل‌های انتشار پیشرفت زیادی کرده است، اما تبدیل کلیپ‌های کوتاه به ویدیوهای داستانی بلند و منسجم همچنان یک چالش محسوب می‌شود. خطوط لوله خطی سنتی معمولاً دچار رانش معنایی و خطاهای آبشاری می‌شوند که نیاز به مداخله دستی دارد. گوگل برای حل این مشکل، مجموعه‌ای از چارچوب‌ها شامل یک هم‌کارگردان هوش مصنوعی، CANVAS ،A2RD و VQQA را معرفی کرده است.

این چارچوب چندعاملی به عنوان یک لایه ارکستراسیون روی مدل‌های Gemini و Veo عمل می‌کند و داستان‌سرایی طولانی را به عنوان یک مسئله بهینه‌سازی سراسری در نظر می‌گیرد. سیستم با استفاده از الگوریتم‌های یادگیری و حافظه بصری ساختاریافته، ویژگی‌های ظاهری شخصیت‌ها، موقعیت‌ها و اشیا را در طول ویدیو حفظ می‌کند تا از تغییرات ناخواسته جلوگیری شود.

همچنین با استفاده از ارزیاب‌های مبتنی بر مدل‌های بینایی-زبانی، سیستم به صورت خودکار کیفیت ویدیو را بررسی کرده و پرامپت‌ها را اصلاح می‌کند. ارزیابی‌های انجام‌شده نشان می‌دهد که این رویکرد جدید در بنچمارک‌های مختلف، ثبات چندشات و پایداری هویت شخصیت‌ها را به طور چشمگیری افزایش می‌دهد.