معرفی مکانیزم توجه سلسله‌مراتب زیفرا برای پردازش کارآمد در مدل‌های هوش مصنوعی

شرکت Zyphra روش جدیدی به نام توجه سلسله‌مراتب زیفرا را معرفی کرده است که یک روش توجه پراکنده مبتنی بر ایندکسر درخت‌ساختار محسوب می‌شود. این روش برای رفع یکی از چالش‌های شناخته‌شده در توجه پراکنده توسعه یافته است؛ جایی که ایندکسر انتخاب‌کننده توکن‌ها همچنان مجبور است کل زمینه را اسناد کند. مقالات فنی زیفرا نشان می‌دهند که این روش را می‌توان روی مدل‌های از پیش آموزش‌دیده و فریز شده با حدود ۴ میلیارد توکن اعمال کرد.

بر اساس ارزیابی‌های انجام‌شده روی مدل Qwen3.6-35B-A3B، این روش در بنچمارک‌های استدلال، کدنویسی و بازیابی اطلاعات تا سقف ۲۵۶ هزار توکن عملکردی نزدیک به توجه متراکم ارائه می‌دهد. رویکرد ZHA با جستجو در یک درخت، کلیدهای مرتبط را پیدا کرده و کش کامل KV را حفظ می‌کند، در حالی که ساختار درختی تنها مشخص می‌کند که هر کوئری باید کدام کلیدهای کش‌شده را بخواند. روش‌های سنتی و ثابت مانند مدل‌های استیت-اسپیس در طول زمینه‌های طولانی اشباع می‌شوند، اما این رویکرد جدید جستجوی خود را پراکنده نگه می‌دارد.

در این روش، کلیدها به بخش‌های متوالی تقسیم شده و هر بخش به یک کلید خلاصه فشرده می‌شود تا در نهایت سطح به سطح فشرده‌سازی انجام گیرد. کوئری‌ها در زمان اجرا گره‌های سطح بالا را امتیازدهی کرده و با استفاده از رویکرد top-p، کمترین مجموعه لازم را برای پردازش حفظ می‌کنند. با این حال، کارشناسان اشاره می‌کنند که سرعت‌های بالا و بهبودهای تأخیر ذکرشده بر اساس مدل‌سازی ریاضی و روف‌لاین به دست آمده و کدهای بهینه‌سازی‌شده برای سخت‌افزارهایی مانند H100 هنوز به صورت رسمی منتشر نشده است.

نتایج بنچمارک‌های خوداظهاری شرکت نشان می‌دهد که مدل‌های مجهز به ZHA در برخی آزمون‌ها نظیر LongBench v2 عملکرد بهتری نسبت به حالت متراکم ثبت کرده‌اند، هرچند چالش‌هایی مانند افت دقت در برخی مدل‌های فاقد امبدینگ موقعیتی مطلق نیز گزارش شده است. این فناوری گامی رو به جلو در جهت کاهش هزینه‌های محاسباتی پردازش متن‌های فوق‌العاده طولانی در مدل‌های زبانی بزرگ به شمار می‌رود.