شاهکار خانگی؛ اجرای مدل هوش مصنوعی ۲.۸ تریلیون پارامتری بدون کارت گرافیک

اجرای مدل‌های هوش مصنوعی بزرگ که معمولاً به دیتاسنترهای گران‌قیمت نیاز دارند، در خانه تقریبا غیرممکن به نظر می‌رسد. اما یک کاربر در ردیت با استفاده از حافظه‌های «Intel Optane Persistent Memory 200» که تولید آن‌ها متوقف شده است، توانسته مدل ۲.۸ تریلیون پارامتری Kimi K3 را روی یک سیستم خانگی اجرا کند. این سیستم به جای استفاده از پردازنده گرافیکی (GPU)، تنها از یک پردازنده ۴۰ هسته‌ای نسل سوم Xeon Scalable استفاده می‌کند.

چالش اصلی این پروژه نه تنها پیچیدگی نرم‌افزاری، بلکه مدیریت دمای خیره‌کننده ماژول‌های Optane است. این کاربر هشدار داده که استفاده از خنک‌کننده فعال (Active Cooling) برای این حافظه‌ها ضروری است، زیرا در غیر این صورت گرمای تولید شده می‌تواند به حافظه‌های DRAM مجاور آسیب برساند. او برای دفع گرما از دو فن دمنده ۱۲ واتی استفاده کرده است. این حافظه‌ها برای کارکردن در شرایط جریان هوای قوی دیتاسنتر طراحی شده بودند و در شرایط خانگی، هر ماژول می‌تواند تا ۱۵ وات گرما تولید کند که در صورت استفاده از چهار ماژول، گرمای بسیار زیادی در کنار رم‌های اصلی سیستم متمرکز می‌شود.

سرعت اجرای این مدل با استفاده از این روش بسیار پایین و حدود ۰.۷۵ تا ۰.۸۵ توکن در ثانیه است. اگرچه این سرعت برای استفاده‌های بلادرنگ مناسب نیست، اما برای کارهای پردازشی که عجله‌ای در آن‌ها نیست، کارآمد به نظر می‌رسد. سازنده این سیستم قصد دارد در مراحل بعدی از پردازنده‌های گرافیکی در کنار این حافظه‌ها استفاده کند تا کارایی را افزایش دهد. این دستاورد، راهکار جایگزینی برای کسانی است که به دنبال اجرای مدل‌های بسیار بزرگ هوش مصنوعی بدون هزینه خرید کارت‌های گرافیکی گران‌قیمت هستند، هرچند که پیچیدگی فنی و خطرات سخت‌افزاری آن بسیار بالاست.