غول‌های فناوری استاندارد جدیدی برای انصراف از خزیدن هوش مصنوعی پذیرفتند

شرکت‌های بزرگ حوزه هوش مصنوعی شامل OpenAI، گوگل، مایکروسافت و آنتروپیک اعلام کرده‌اند که استاندارد جدیدی را برای امکان انصراف ناشران از خزیدن محتوا توسط ربات‌های هوش مصنوعی اتخاذ خواهند کرد. این کنترل جدید به ناشران امکان می‌دهد ترجیحات آموزش هوش مصنوعی خود را در چندین خزنده مختلف اعمال کنند، به‌جای اینکه مجبور باشند آن‌ها را به‌صورت جداگانه برای هر شرکت تنظیم کنند. این پیشنهاد که با عنوان «نشانگر سیاست» شناخته می‌شود، توسط کوین کلی، سرپرست فنی استانداردها در آنتروپیک، به‌عنوان بخشی از کارگروه مهندسی اینترنت (IETF) مطرح شده است.

این نشانگر در فایل robots.txt وب‌سایت‌ها قرار خواهد گرفت که مدت‌هاست مشخص می‌کند کدام خزنده‌های وب می‌توانند یا نمی‌توانند یک سایت را برای نمایه‌سازی جستجو، بایگانی یا آموزش هوش مصنوعی خزش کنند. این اعلامیه در حالی منتشر می‌شود که ناشران با هجوم مداوم خزنده‌های هوش مصنوعی برای جمع‌آوری محتوای سایت‌ها دست‌وپنجه نرم می‌کنند. برخی سازمان‌ها پیشتر تلاش کرده بودند با استانداردهایی مانند لایسنسینگ ساده یا مسدودسازی پیش‌فرض توسط کلادفلر با این روند مقابله کنند.

شرکت‌های OpenAI، گوگل، مایکروسافت و آنتروپیک می‌گویند در صورت مشاهده این نشانگر مشترک، خزنده‌های هوش مصنوعی خود را از دسترسی به سایت منع خواهند کرد. با این حال، مایکروسافت کنترل‌های دقیق‌تری ارائه می‌دهد که به ناشران امکان می‌دهد از آموزش هوش مصنوعی یا استناد به منابع برای کاهش توهم مدل‌ها انصراف دهند، در حالی که وب‌سایت‌ها همچنان در نتایج جستجوی بینگ ظاهر خواهند شد.

در حالی که آنتروپیک در حال حاضر این نشانگر را پذیرفته است، گوگل و مایکروسافت قصد دارند سال آینده از آن پشتیبانی کنند و OpenAI اعلام کرده است که آن را در ماه‌های آینده پیاده‌سازی خواهد کرد.