معرفی TorchNeuron؛ اجرای آسان‌تر مدل‌های هَگینگ‌فیس روی تراشه‌های AWS Trainium

ابزار TorchNeuron به عنوان یک بک‌اند بومی جدید برای پای‌تورچ روی پلتفرم AWS Trainium عرضه شده است که پشتیبانی کامل از حالت‌های eager، دستور torch.compile و توابع توزیع‌شده بومی را به ارمغان می‌آورد. این رویکرد جدید جایگزین وابستگی‌های پیشین به کتابخانه optimum-neuron می‌شود و به توسعه‌دهندگان اجازه می‌دهد تا با تراشه‌های Trainium دقیقاً مانند هر شتاب‌دهنده سخت‌افزاری دیگری کار کنند.

با این به‌روزرسانی، کتابخانه‌هایی نظیر Transformers، Diffusers، Accelerate و TRL به طور مستقیم از تراشه‌های Trainium پشتیبانی می‌کنند. نسل جدید تولید متن و آموزش مدل‌ها بدون نیاز به ترنرها یا پوسته‌های سفارشی خاص انجام می‌شود. به عنوان مثال، بخش عمده‌ای از مدل‌های تولید متن محبوب به صورت پیش‌فرض و تنها با تنظیم پارامتر مناسب قابل اجرا هستند.

در زمینه آموزش مدل‌ها نیز فرآیند کار با ابزارهایی مانند SFTTrainer از کتابخانه TRL بسیار ساده‌تر شده است. موازی‌سازی تانسوری و روش‌های یادگیری توزیع‌شده بدون نیاز به تنظیمات پیچیده ابزار Accelerate مدیریت می‌شوند. با این حال، استفاده از شکل‌های استاتیک و غیرفعال کردن بارگذاری ناهم‌گام وزن‌ها از جمله نکات فنی است که در این مرحله باید مدنظر قرار گیرد.

علاوه بر مدل‌های متنی، پایتون و پایپلاین‌های تولید تصویر در کتابخانه Diffusers نظیر FLUX و مدل‌های مختلف Qwen نیز از قابلیت موازی‌سازی تانسوری روی دستگاه‌های Neuron پشتیبانی می‌کنند. همچنین هسته‌های سفارشی جدید مبتنی بر رابط NKI به توسعه‌دهندگان اجازه می‌دهد تا عملیات دلخواه خود را بهینه‌سازی کرده و روی هاب به اشتراک بگذارند.