مدل بینایی-زبانی WeVisOne-VL تنسنت با قابلیت ترکیب چندین وظیفه بینایی معرفی شد

تیم WeChat Vision شرکت تنسنت از انتشار مدل بینایی-زبانی جدیدی به نام WeVisOne-VL در دو نسخه ۲ میلیارد و ۴ میلیارد پارامتری خبر داده است. این مدل پیشرفته قادر است کارهایی نظیر تشخیص، ارجاع، شمارش، اشاره، بازشناسی نوری حروف (OCR)، قطعه‌بندی و متینگ آلفا را در قالب یک مدل واحد مدیریت کند. خروجی‌های پیکسلی این سیستم توسط یک دیکدر ۹.۶ میلیون پارامتری تولید می‌شوند که نیاز به استفاده از مدل‌های مجزایی مانند SAM را برطرف می‌کند.

مدل WeVisOne-VL بر پایه Qwen3-VL توسعه یافته و تمرکز اصلی آن روی مکان‌یابی دقیق است تا چت‌های عمومی. کاربران می‌توانند گرانولاریتی خروجی را به صورت نقاط، کادرهای دوربری، ماسک‌های دودویی یا متینگ‌های آلفای پیوسته انتخاب کنند. این مدل تمام وظایف را به عنوان پیش‌بینی ساختاریافته توکن بعدی پردازش می‌کند و در صورت عدم حضور شیء مورد پرسش در تصویر، پاسخ «None» را برمی‌گرداند.

از نظر معماری، دیکدر پیکسلی این مدل از سه بخش آداپتور ویژگی‌های بصری، دیکدر کوئری هدایت‌شده با کاکدر و سر پیش‌بینی متراکم تشکیل شده است که با استفاده از ویژگی‌های ویژن تنسنت کار می‌کنند. فرآیند آموزش این مدل شامل سه مرحله تنظیم دقیق (SFT) روی حجم عظیمی از تصاویر و کادرهای مشخص‌شده بوده و نتایج بنچمارک‌های خودسنجی نشان می‌دهد که این مدل در بسیاری از ارزیابی‌ها عملکردی فراتر از مدل‌های هم‌رده به ثبت رسانده‌است.

وزن‌های مدل‌های ۲B و ۴B تحت مجوز Apache 2.0 در پلتفرم هَگینگ‌فیس در دسترس توسعه‌دهندگان قرار گرفته است و بسته‌های نرم‌افزاری آن از بک‌اند‌های Transformers و vLLM پشتیبانی می‌کنند. این مدل می‌تواند به عنوان جایگزینی یکپارچه برای چندین ابزار مجزای تشخیص و OCR در پروژه‌های توسعه‌ای مورد استفاده قرار گیرد.