جزئیات مدل صوتی چندزبانه Nemotron 3.5 انویدیا و خط لوله داده Granary v2

شرکت انویدیا مدل متن‌باز Nemotron 3.5 Transcribe را معرفی کرد که ابزاری کارآمد برای تبدیل گفتار ضبط‌شده به متن، تشخیص گوینده، ترجمه و پرسش و پاسخ صوتی است. این مدل از ۴۰ زبان پشتیبانی می‌کند، ۳۱ زبان را به انگلیسی ترجمه یا از آن ترجمه می‌کند و قابلیت تفکیک حداکثر هشت گوینده را در فایل‌های صوتی تا سقف یک ساعت دارد. توسعه‌دهندگان می‌توانند خروجی این مدل را با زبان طبیعی هدایت کنند و آن را با واژگان تخصصی حوزه‌های مختلف تطبیق دهند.

این مدل در لیدربورد Open ASR هاگ‌فیس رتبه نخست را در میان مدل‌های متن‌باز به دست آورده و در شاخص دقت Artificial Analysis عملکرد چشمگیری داشته است. نسخه کمّی‌شده این مدل به زودی عرضه می‌شود تا کاربران بتوانند آن را به صورت محلی روی سخت‌افزارهای انویدیا اجرا کنند. خط لوله داده Granary v2 نیز به همراه ابزارهای تنظیم دقیق NeMo Speech به توسعه‌دهندگان اجازه می‌دهد تا مدل را برای داده‌های خاص صنایع مختلف بهینه‌سازی کنند.

در مطالعه موردی پزشکی انجام‌شده با استفاده از این ابزارها، تنظیم دقیق مدل توانست نرخ خطای واژگانی را در مقایسه با پرامپت‌های استاندارد به میزان قابل توجهی کاهش دهد. این مدل از نشانگرهای زمانی در سطح کلمه پشتیبانی می‌کند و می‌تواند در پلتفرم‌های مختلف برای مواردی مانند رونوشت‌برداری از کلاس‌های آنلاین به کار گرفته شود.

خط لوله Granary v2 با استفاده از ابزار NeMo Curator انویدیا ساخته شده و مجموعه‌ای از داده‌های چندزبانه و دستورالعمل‌های آموزشی را فراهم می‌کند. این خط لوله داده‌ها را از مرحله آماده‌سازی صوت و تشخیص خودکار گفتار تا تولید برچسب‌های وظیفه پردازش می‌کند تا مدل خروجی‌های دقیقی ارائه دهد.

توسعه‌دهندگان می‌توانند از طریق پلتفرم‌های هاگ‌فیس و ModelScope به مدل Nemotron 3.5 Transcribe و مانیفست‌های Granary v2 دسترسی داشته باشند. این مدل از طریق vLLM و SGLang-Omni برای استقرار محلی و ابزارهای مختلف برای میزبانی ابری پشتیبانی می‌شود.