وکیل آمریکایی سرور هوش مصنوعی اختصاصی خود را با کارت‌های گرافیک دست‌دوم ساخت

یک وکیل در یک اقدام جالب‌توجه در Reddit، از راه‌اندازی یک سرور خصوصی هوش مصنوعی خبر داد که با استفاده از ۸ کارت گرافیک دست‌دوم Nvidia Tesla V100 ساخته شده است. هدف از این پروژه، پردازش پرونده‌های حقوقی و تحلیل اسناد حساس بدون نیاز به خروج داده‌ها از فضای دفتر و اتصال به سرویس‌های ابری عنوان شده است. این سیستم از دو برد ۴ کارته SXM2، چهار سوییچ PEX و کابل‌های SlimSAS بهره می‌برد.

این سرور که مدل DeepSeek V4.1 Flash را اجرا می‌کند، قادر است در کدهای برنامه‌نویسی به سرعت ۲۱۵ توکن در ثانیه و در متون حقوقی به سرعت ۱۱۸ توکن در ثانیه دست یابد. اگرچه قیمت کارت‌های گرافیک V100 32GB در بازار دست‌دوم در حال افزایش است، اما این وکیل با خرید هر برد ۴ کارته حدود ۲۴۰۰ دلار هزینه کرده است. سیستم مذکور همچنین از مادربرد Gigabyte Threadripper Pro و مجموعاً ۲۸۰۰ وات توان مصرفی بهره می‌برد.

ساخت این سرور بدون چالش نبوده است؛ سازنده با مشکلاتی نظیر داغ شدن اتصالات و خطاهای PCIe مواجه شد که منجر به سوختن یکی از کانکتورهای برق شد. پس از اعمال محدودیت‌های سخت‌افزاری و کاهش کلاک پردازنده‌های گرافیکی به ۱۵۰ وات، پایداری سیستم بهبود یافت. این وکیل اکنون از این سرور برای خلاصه‌سازی اسناد، استخراج حقایق و پیش‌نویس اولیه پرونده‌ها استفاده می‌کند.

این پروژه نشان‌دهنده یک مورد استفاده واقعی برای سخت‌افزارهای دیتاسنتر قدیمی است که راهی ارزان برای دستیابی به حافظه ویدیویی (VRAM) زیاد محسوب می‌شوند. به گفته سازنده، با این سرور شخصی، حدود ۵۰ تا ۶۰ درصد از کارهای هوش مصنوعی او اکنون به صورت آفلاین انجام می‌شود، که علاوه بر صرفه‌جویی در هزینه‌های اشتراک API، امنیت داده‌های مشتریان را نیز تضمین می‌کند.