آموزش گام‌به‌گام اجرای مدل هوش مصنوعی NVIDIA Dory 4B با llama.cpp

مدل NVIDIA Dory 1.0 4B، یک مدل استدلالی کوچک اما قدرتمند است که از معماری لایه‌های مشترک استفاده می‌کند. لایه‌های میانی این مدل می‌توانند یک تا چهار بار برای هر توکن تکرار شوند که این یعنی می‌توانید بدون نیاز به آموزش مجدد، مدل را با چهار بودجه محاسباتی مختلف اجرا کنید. از آنجایی که پشتیبانی از Dory در llama.cpp هنوز در مرحله پیش‌نویس قرار دارد، برای اجرای آن نیاز به ساخت نسخه مخصوص (Fork) دارید.

در این آموزش، ابتدا محیط کار را آماده می‌کنیم. ما از همان کامیت (Commit) دقیق که در مدل‌کارت NVIDIA پیشنهاد شده استفاده می‌کنیم تا از پایداری کد مطمئن شویم. اسکریپت‌های راهنما به طور خودکار سیستم شما را شناسایی کرده و اگر در حال استفاده از مک هستید، پرچم‌های (Flags) مخصوص Metal یا اگر در Colab هستید، کرنل‌های CUDA را کامپایل می‌کند.

مرحله دوم شامل دانلود فایل GGUF مدل است. اهمیت این بخش در بررسی SHA-256 است؛ زیرا نام فایل در ریپازیتوری با دستورات پیشنهادی در مدل‌کارت متفاوت است. تایید هش فایل تضمین می‌کند که نسخه دانلودی دقیقاً همان چیزی است که انویدیا منتشر کرده است. پس از آن، ما به تحلیل معماری مدل می‌پردازیم. مدل Dory دارای ۷۲ لایه است که به گروه‌های ورودی، تکرار شونده و خروجی تقسیم می‌شوند.

بخش پایانی شامل اجرای سرور و مدیریت حافظه نهان (KV Cache) است. معماری Dory طوری طراحی شده که می‌توانید با تنظیم تعداد «حلقه‌ها» (Loops)، تعادلی بین دقت و سرعت ایجاد کنید. در طول آزمایش، ما مشاهده کردیم که بدون تعیین دستی، سرور به طور پیش‌فرض روی پرهزینه‌ترین تنظیمات (۴ حلقه) اجرا می‌شود. با استفاده از آرگومان‌های صحیح، می‌توانید این تعداد را به دلخواه تنظیم کرده و عملکرد مدل را بهینه کنید.