انویدیا مدل هوش مصنوعی Nemotron 3.5 Transcribe را با پشتیبانی از ۴۰ زبان معرفی کرد

شرکت انویدیا از انتشار مدل جدید Nemotron 3.5 Transcribe خبر داد؛ یک مدل زبانی گفتاری با وزن‌های آزاد که به‌طور اختصاصی برای وظایف رونوشت‌برداری یا همان تبدیل صوت به متن توسعه یافته است. این مدل توانایی پردازش ۴۰ زبان مختلف و فایل‌های صوتی تا مدت زمان یک ساعت را دارد و کاربران می‌توانند با استفاده از دستورات متنی، سبک خروجی مورد نظر خود را از میان گزینه‌هایی نظیر متن دقیق، فرم نگارشی، همراه با مشخص‌کردن گویندگان، متن‌های محتوا محور یا ترجمه‌شده انتخاب کنند. انویدیا این مدل را ابزاری تخصصی برای رونوشت‌برداری می‌داند که می‌تواند جایگزین ابزارهای جداگانه تشخیص خودکار گفتار، تفکیک گویندگان و همگام‌سازی شود.

از نظر معماری، Nemotron 3.5 Transcribe از سه بخش اصلی تشکیل شده است: یک رمزگذار موازی متخصص، یک بخش پشتیبان زبانی ترکیبی Mamba-Transformer MoE با نام Nemotron 3.5 Lightning 30B-A3B و افزونه‌های جانبی شامل یک لایه پیش‌بینی چندتومنی و یک آداپتور CTC برای همگام‌سازی زمانی کلمات. کل پارامترهای این مدل حدود ۳۴ میلیارد است که از این میان حدود ۴.۳ میلیارد پارامتر در هر زمان به صورت فعال کار می‌کنند. این ساختار به مدل اجازه می‌دهد تا روی یک کارت گرافیک H100 با ظرفیت ۸۰ گیگابایت در حالت BF16 اجرا شود، در حالی که نسخه‌های فشرده‌تر آن مانند NVFP4 حتی روی کارت گرافیک RTX 5090 نیز قابل اجرا هستند.

در ارزیابی‌های انجام‌شده، این مدل توانسته است امتیازات چشمگیری را در جدول‌های ارزیابی تبدیل صوت به متن (Open ASR) کسب کند. میانگین نرخ خطای کلمه (WER) برای زبان انگلیسی در این مدل ۴.۷۱ درصد گزارش شده است که آن را به بهترین مدل متن‌باز در این زمینه تبدیل می‌کند، هرچند برخی سرویس‌های تجاری همچنان پیشتاز هستند. در بخش چندزبانه نیز میانگین نرخ خطا به ۴.۶۲ درصد می‌رسد. همچنین استفاده از یک فهرست موجودیت‌ها می‌تواند نرخ خطای اسامی خاص را به میزان قابل توجهی کاهش دهد.

با این حال، این مدل محدودیت‌هایی نیز دارد؛ از جمله اینکه تنها به صورت آفلاین کار می‌کند و برای پخش جریانی زنده طراحی نشده است. دقت مدل در جلسات زبان ماندارین نسبتاً ضعیف ارزیابی شده است. انویدیا وزن‌های این مدل را در قالب‌های مختلف BF16، FP8، NVFP4 و GGUF تحت مجوز OpenMDW-1.1 عرضه کرده است و توسعه‌دهندگان می‌توانند از آن در چارچوب‌های نرم‌افزاری مختلف استفاده کنند.