معرفی Kinference؛ ابزار متن‌باز جدید Buoyant برای مدیریت استنتاج هوش مصنوعی
شرکت Buoyant پروژه متن‌باز Kinference را برای مدیریت استنتاج مدل‌های هوش مصنوعی روی کوبرنتیز و vLLM منتشر کرد. این ابزار با بهینه‌سازی مسیردهی و کنترل سیاست‌ها، زمان پاسخگویی (TTFT) را به طرز چشمگیری بهبود می‌بخشد.
شرکت Buoyant که پیش‌تر با پروژه Linkerd شناخته می‌شد، از انتشار ابزار متن‌باز جدیدی به نام Kinference خبر داد. این پروژه که با مجوز Apache 2.0 در گیت‌هاب قرار گرفته، به عنوان یک «صفحه کنترل» (Control Plane) برای پلتفرم‌های استنتاج هوش مصنوعی در محیط کوبرنتیز (Kubernetes) و vLLM طراحی شده است.\n\nعملکرد اصلی Kinference قرارگیری در مقابل مجموعه‌ای از پردازشگرهای vLLM است تا تصمیم بگیرد هر درخواست به کدام سمت هدایت شود. این ابزار با اعمال سیاست‌های مسیردهی، محدودیت نرخ توکن، متعادل‌سازی بار با درک حافظه کش (KV-cache) و معیارهای سنجش برای هر کاربر، لایه‌ای هوشمند را به زیرساخت هوش مصنوعی اضافه می‌کند.\n\nدر آزمایش‌های اولیه انجام‌شده توسط Buoyant، استفاده از Kinference منجر به بهبود قابل‌توجه عملکرد شده است؛ به‌طوری که میانه زمان اولین توکن (TTFT) در بارهای کاری با پیش‌زمینه مشترک تا ۹۵ درصد کاهش یافته است. این ابزار که با زبان Rust نوشته شده، به تیم‌های توسعه‌دهنده اجازه می‌دهد تا مدل‌های متن‌باز خود را با کارایی بسیار بالاتری در مقیاس‌های بزرگ مدیریت کنند. نسخه فعلی این پروژه هنوز در مرحله آلفا قرار دارد و قابلیت‌هایی همچون محدودسازی نرخ و پشتیبانی از APIهای خاص در مراحل بعدی به آن اضافه خواهد شد.
گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.