ساخت یک خانه ترسناک تعاملی با استفاده از مدل‌های متن‌باز انویدیا
یک توسعه‌دهنده با استفاده از ابزارها و مدل‌های هوش مصنوعی انویدیا، یک در گاراژ را به یک شخصیت سخنگو و غرغرو برای هالووین تبدیل کرده است. این سیستم با بهره‌گیری از مدل‌های صوتی، زبانی و بینایی به صورت محلی روی یک ورک‌استیشن اجرا می‌شود.
یک توسعه‌دهنده انویدیا پروژه‌ای تعاملی به نام MonsterHouse برای هالووین ایجاد کرده است که در آن یک در گاراژ به شکل یک شخصیت پیر و غرغرو با داستان دزدان دریایی عمل می‌کند. این سیستم با استفاده از مجموعه ابزارهای هوش مصنوعی انویدیا ساخته شده و به صورت محلی روی یک ورک‌استیشن اجرا می‌شود.
این پروژه از بخش‌های مختلفی تشکیل شده است. بخش شنیدن با استفاده از سیستم تشخیص گفتار انویدیا انجام می‌شود، در حالی که مدل زبانی کوچک Bolt E4B به عنوان مغز متفکر برای پاسخ‌دهی به کار می‌رود. برای تولید صدا از مدل Magpie TTS Zeroshot استفاده شده و انیمیشن دهان شخصیت نیز توسط Audio2Face-3D در موتور بازی‌سازی Unreal Engine پیاده‌سازی شده است. همچنین یک مدل بینایی به نام Nemotron 3 Nano Omni به همراه ابزارهای ردیابی، امکان شناسایی و واکنش به لباس‌های مختلف را فراهم می‌کنند.
سیستم به گونه‌ای طراحی شده است که با استفاده از کارت‌های گرافیک قدرتمند، پردازش‌های صوتی، زبانی و گرافیکی را به طور همزمان و با کیفیت مطلوب مدیریت کند. با استفاده از این فناوری‌ها، تعامل با بازدیدکنندگان به شکلی طبیعی و همراه با واکنش‌های صوتی و تصویری انجام می‌شود، بدون اینکه نیازی به اتصالات ابری پیچیده باشد.
گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.