مدل هوش مصنوعی ZONOS3-Mini؛ تبدیل متن به گفتار قدرتمند با ۱۰۰ میلیون پارامتر فعال

شرکت Zyphra از ZONOS3-Mini رونمایی کرد؛ یک مدل هوش مصنوعی متن‌به‌گفتار (TTS) که با هدف اجرای بی‌درنگ (Real-time) روی دستگاه‌های محلی طراحی شده است. این مدل از معماری sparse Mixture of Experts (MoE) بهره می‌برد که در مجموع دارای ۸۰۰ میلیون پارامتر است، اما در هر لحظه تنها ۱۰۰ میلیون پارامتر را فعال می‌کند. این طراحی بهینه باعث می‌شود ZONOS3-Mini روی لپ‌تاپ‌ها، گوشی‌های هوشمند و حتی مرورگرها به راحتی اجرا شود.

ZONOS3-Mini که تحت مجوز Apache 2.0 عرضه شده، قابلیت‌هایی نظیر شبیه‌سازی صدای «صفر-شات» (Zero-shot) و کنترل دقیق بر لحن و بیان کلمات را ارائه می‌دهد. طبق گزارش Zyphra، این مدل در شاخص ارزیابی ZTTS2-Eval رتبه نخست را در میان مدل‌های متن‌باز کسب کرده است. این مدل برای پردازش صدا از کدک جدید ZAC-1 استفاده می‌کند که نرخ خطا را به میزان قابل توجهی نسبت به مدل‌های قبلی کاهش داده است.

توسعه‌دهندگان می‌توانند از چهار روش مختلف برای پیاده‌سازی این مدل استفاده کنند: اجرای مستقیم در مرورگر از طریق WebGPU، استفاده از سرویس‌های مبتنی بر SGLang-Omni برای سرورهای NVIDIA، بهره‌گیری از MLX برای تراشه‌های اپل سیلیکون، و استفاده از C++/ggml برای پردازنده‌های مرکزی و سایر پلتفرم‌ها. با وجود نتایج درخشان در بنچمارک‌های داخلی، سازندگان یادآور شده‌اند که نتایج در حالت شبیه‌سازی صدا با استفاده از کلیپ مرجع نسبت به حالت استفاده از embedding، تفاوت‌هایی دارد.

این مدل با هدف کنترل دقیق هویت صوتی (مانند سن، جنسیت، لهجه و بافت صدا) و کنترل لحن (مانند سرعت، احساسات و تاکید بر کلمات) ساخته شده است. مدل ZONOS3-Mini با تکیه بر ۶۴ متخصص (Experts) و مسیریابی هوشمند، توانسته است ضمن کاهش نیاز به منابع سخت‌افزاری سنگین، کیفیت خروجی صدا را در سطح مدل‌های بزرگتر حفظ کند.