معرفی مدل SL2T گوگل برای ترجمه زبان اشاره به متن

شرکت گوگل از مدل جدید و چندزبانه sign-language-to-text (SL2T) به عنوان یک دستاورد بزرگ در زمینه ترجمه زبان اشاره به متن رونمایی کرد. این فناوری جدید برای اولین بار هوش مصنوعی زبان اشاره را وارد محصولات مصرفی می‌کند و امکان دیکته زبان اشاره به متن را در برنامه‌های Gboard و Live Transcribe فراهم می‌سازد. این قابلیت ابتدا با زبان اشاره آمریکایی (ASL) به انگلیسی آغاز می‌شود و به زودی دستگاه‌ها و زبان‌های بیشتری به آن اضافه خواهند شد.

زبان‌های اشاره زبان‌های اصلی جوامع ناشنوایان در سراسر جهان هستند، اما پیشرفت هوش مصنوعی در این حوزه به دلیل چالش‌های پیچیده کند بوده است. برخلاف رونویسی گفتار که شامل نگاشت ترتیبی صدا به متن است، زبان‌های اشاره زبان‌های طبیعی مستقلی با دستور زبان و واژگان متمایز خود هستند و مدل باید یاد بگیرد که حرکت‌های فیزیکی را ببیند و درک کند. مدل SL2T با ترکیب رویکردی کاربرمحور و مقیاس‌بندی انبوه داده‌ها ساخته شده و روی بیش از ۱۰۰ هزار ساعت داده در بیش از ۵۰ زبان اشاره آموزش دیده است.

برای حفظ حریم خصوصی کاربران، این مدل زبان اشاره را به عنوان دنباله‌ای از نقاط نشانگر اسکلتی به جای ویدیوی خام پردازش می‌کند. یک مدل درون‌دستگاهی موقعیت نقاط را ردیابی کرده و تنها مختصات هندسی برای ترجمه ارسال می‌شود. این مدل مستقیماً توالی مختصات را به متن ترجمه می‌کند و بالاترین امتیاز را در معیارهای کلیدی کسب کرده است. گوگل این پروژه را با مشارکت فعال جامعه ناشنوایان و تشکیل کمیته مشاوره زبان اشاره هوش مصنوعی توسعه داده است.