معرفی LEANN؛ اینلکس برداری متن‌باز برای اجرای جستجوی معنایی روی لپ‌تاپ
آزمایشگاه Sky Computing دانشگاه برکلی ایندکس برداری جدیدی به نام LEANN معرفی کرده است که با ذخیره‌سازی نمودار هرس‌شده و بازمحاسبه تعبیه‌ها در زمان پرس‌وجو، حجم ایندکس ویکی‌ویپدیا را از ۲۰۰ گیگابایت به ۶ گیگابایت کاهش می‌دهد. این دستاورد امکان جستجوی معنایی و بازیابی اطلاعات را روی لپ‌تاپ‌ها فراهم می‌کند.
آزمایشگاه Sky Computing دانشگاه برکلی سیستم LEANN را به عنوان یک ایندکس برداری متن‌باز معرفی کرده است که تقریباً هیچ تعبیه‌ای را ذخیره نمی‌کند. این ایندکس برداری به جای ذخیره‌سازی تعبیه‌ها روی دیسک، آن‌ها را در زمان انجام پرس‌وجو بازمحاسبه می‌کند. نتایج نشان می‌دهد که یک ایندکس ۶۰ میلیون تکه‌ای از ویکی‌پدیا حجمش از ۲۰۱ گیگابایت به ۶ گیگابایت کاهش یافته است. این مقاله پژوهشی جایزه بهترین مقاله را در کنفرانس MLSys 2026 کسب کرد.
ساختار LEANN یک ایندکس همسایه نزدیک تقریبی با ذخیره‌سازی پایین است که بر روی FAISS ساخته شده است. مشکل اصلی این است که ایندکس‌های برداری اغلب از داده‌هایی که ایندکس می‌کنند بزرگ‌تر هستند. LEANN با نگهداری یک گراف هرس‌شده، حذف بردارهای کامل و بازسازی آن‌ها بر اساس تقاضا کار می‌کند و با مجوز MIT عرضه شده است.
برای جلوگیری از کند شدن جستجو، این سیستم از تکنیک‌هایی مانند جستجوی دو مرحله‌ای، دسته‌بندی پویا و هرس حفظ‌کننده گره‌های پرتردد استفاده می‌کند. ارزیابی‌ها نشان می‌دهد که LEANN دقت مشابهی با روش‌های سنتی مانند HNSW ارائه می‌دهد، اما از کمتر از ۵ درصد فضای ذخیره‌سازی داده‌های خام استفاده می‌کند.
این ابزار به توسعه‌دهندگان اجازه می‌دهد تا جستجوی معنایی را روی داده‌های شخصی و دستگاه‌های محلی مانند لپ‌تاپ‌ها پیاده‌سازی کنند. ایندکس LEANN از برنامه‌های مختلفی پشتیبانی می‌کند و می‌تواند با مدل‌های زبانی مختلف روی سیستم‌عامل‌های گ گوناگون اجرا شود.
گزارش فارسی این خبر با کمک هوش مصنوعی و فقط بر اساس اطلاعات منتشرشده در منبع تهیه شده است.