مدل هوش مصنوعی Audio8-TTS-Realistic برای شبیه‌سازی صدا منتشر شد

شرکت Edge0 مدل هوش مصنوعی جدیدی با عنوان Audio8-TTS-Realistic را منتشر کرده است که یک مدل متن‌باز برای شبیه‌سازی صفرشات صدا و تبدیل متن به گفتار به شمار می‌رود. این مدل ۶۰۱ میلیون پارامتری قادر است تنها با استفاده از یک کلیپ صوتی مرجع و رونوشت آن، صدای گوینده را شبیه‌سازی کند. وزن‌ها و کدهای این مدل تحت مجوز Apache 2.0 عرضه شده‌اند و برای توسعه‌دهندگان به دلیل دقت رقابتی چندزبانه و هزینه‌های پایین تنظیم دقیق و سرویس‌دهی جذاب است.

این مدل از ۲۳ زبان مختلف پشتیبانی می‌کند که شامل ۱۲ زبان بیشتر نسبت به نسخه قبلی خود است. از جمله زبان‌های جدید اضافه شده می‌توان به عربی، فنلاندی، هندی، اندونزیایی، مالایی، نروژی، پرتغالی، روسی، سوئدی، تایی، ترکی و ویتنامی اشاره کرد. مدل Audio8-TTS-Realistic از معماری دو خودرگرسیو الهام‌گرفته از Fish Audio S2 Pro بهره می‌برد که در آن بخش کند بر پایه Qwen2.5 0.5B ساخته شده و بخش سریع ۴ لایه نیز مابقی کدهای صوتی را به صورت موازی پیش‌بینی می‌کند.

تیم سازنده برای بهبود واقع‌گرایی صدا، از مراحل آموزشی خاصی شامل تنظیم دقیق نظارت‌شده چندزبانه، بهینه‌سازی سیاست ترجیحی گروهی و یک منتقد واقع‌گرایی یادگرفته‌شده استفاده کرده است. نتایج ارزیابی‌ها نشان می‌دهد که این مدل در برخی معیارها مانند CV3 توانسته مدل‌های بزرگتری نظیر Qwen3-TTS-1.7B و VoxCPM2 را پشت سر بگذارد، هرچند مدل‌های بزرگ‌تر کلاس ۴ میلیارد پارامتری همچنان در برخی بخش‌ها پیشتاز هستند.

برای راه‌اندازی و استفاده از این مدل، توسعه‌دهندگان به PyTorch نسخه ۲.۵ به بالا و Transformers نسخه ۴.۵۷ به بالا نیاز دارند. همچنین کدهای مخزن گیت‌هاب شامل بررسی‌کننده، کدک صوتی عصبی ۴۴.۱ کیلوهرتز، توکنایزر و اسکریپت‌های تنظیم دقیق است. برای سرویس‌دهی روی پردازنده گرافیکی نیز آداپتور SGLang Omni پشتیبانی می‌شود.