انویدیا از مدل‌های متن‌باز جدید Cosmos 3 برای شبیه‌سازی تعاملی جهان رونمایی کرد

شرکت انویدیا در ادامه توسعه پلتفرم جهان‌مدل خود، چهار مدل جدید از خانواده Cosmos 3 را منتشر کرده است که همگی دارای ۱۶ میلیارد پارامتر قابل آموزش هستند. این مدل‌های متن‌باز که تحت مجوز OpenMDW1.1 برای مصارف تجاری و تحقیقاتی در دسترس قرار گرفته‌اند، ابزارهای قدرتمندی برای تولید صحنه‌های رانندگی با قابلیت‌های چندحسگره و شبیه‌سازی تعاملی فراهم می‌کنند. هدف اصلی این پروژه، ایجاد محیط‌هایی است که در آن هوش مصنوعی بتواند پیامدهای تصمیمات خود را در جهان مجازی مشاهده کند.

چهار مدل ارائه شده شامل موارد زیر است: مدل Cosmos3-Nano-Transfer-Auto برای تولید داده‌های رانندگی با شرایط جوی و نوری مختلف؛ مدل Cosmos3-Nano-Sim-Auto که جریان همگام‌سازی‌شده دوربین و داده‌های LiDAR را برای شبیه‌سازی رانندگی فراهم می‌کند؛ مدل Cosmos3-Nano-Sim-Transfer که کنترل‌های شبیه‌ساز را به ویدئوهای واقع‌گرایانه تبدیل می‌کند؛ و در نهایت مدل Cosmos3-Nano-Sim-Bimanual که ویدئوها را بر اساس حرکات رباتیک پیش‌بینی می‌کند. این مدل‌ها به توسعه‌دهندگان اجازه می‌دهند تا داده‌های синтеتیک (مصنوعی) با کیفیت بالا تولید کنند.

انویدیا تأکید دارد که این مدل‌ها در حوزه‌های مختلفی مانند رباتیک و رانندگی خودران کاربرد دارند. برای مثال، در بخش رانندگی، هماهنگی بین ظاهر بصری و هندسه سه‌بعدی بسیار حیاتی است. مدل‌های جدید با اتصال دوربین‌ها به نقشه داده‌های LiDAR، به پژوهشگران کمک می‌کنند تا نحوه واکنش سیاست‌های رانندگی به تغییرات محیطی و سیگنال‌های ترافیکی را مطالعه کنند. این مدل‌ها همچنین از یک معماری Mixture-of-Transformers بهره می‌برند که با استفاده از حافظه تاریخی و کنترل‌های ورودی، قادر به تولید ویدئوهای کوتاه به صورت جریانی هستند.

برای استفاده از این مدل‌ها، پژوهشگران به سیستم‌های مبتنی بر لینوکس، پردازنده گرافیکی انویدیا و محیط Docker نیاز دارند. انویدیا همچنین دستورالعمل‌های دقیقی برای آموزش و شخصی‌سازی این مدل‌ها با داده‌های اختصاصی کاربران ارائه داده است. با انتشار این وزن‌های متن‌باز، انویدیا امیدوار است که جامعه تحقیقاتی بتواند مدل‌های هوش مصنوعی را برای درک بهتر محیط‌های پیچیده و تعاملی بهبود بخشد و محدودیت‌های فعلی در یادگیری سیاست‌های عملیاتی را کاهش دهد.