پیوستن گوگل به OpenAI و انتروپیک برای ارائه ابزارهای جدید مسدودسازی خزنده هوش مصنوعی

شرکت‌های بزرگ فناوری از جمله گوگل، انتروپیک، OpenAI و مایکروسافت متعهد شده‌اند که از یک دستورالعمل جدید در فایل robots.txt پشتیبانی کنند. این رویکرد به ناشران وب‌سایت‌ها اجازه می‌دهد ترجیحات خود را در رابطه با جمع‌آوری محتوا برای آموزش مدل‌های هوش مصنوعی مولد مشخص کنند. این تصمیم بر پایه پیشنهادی در سازمان استانداردهای اینترنت (IETF) شکل گرفته که توسط کوین کلی، سرپرست فنی استانداردهای انتروپیک، نوشته شده است.

پیش از این، صاحبان وب‌سایت‌ها ناچار بودند خزنده‌های مختلف را به طور جداگانه شناسایی کرده و قوانین متفاوتی را برای هر ارائه‌دهنده اعمال کنند. پیشنهاد جدید با معرفی یک سیگنال مشترک این روند را تغییر می‌دهد. ناشران می‌توانند یک عامل کاربر جدید مخصوص آموزش هوش مصنوعی در فایل robots.txt تنظیم کنند تا دسترسی خزنده‌های جمع‌آوری داده‌های هوش مصنوعی مسدود شود، در حالی که این دستورالعمل تأثیری بر نمایش صفحات در نتایج جستجوی گوگل نخواهد داشت.

شرکت‌های فناوری زمان‌بندی‌های متفاوتی را برای اجرای این قابلیت اعلام کرده‌اند. انتروپیک پشتیبانی از این دستورالعمل را آغاز کرده است، در حالی که مایکروسافت و گوگل قصد دارند در اوایل سال ۲۰۲۷ آن را به کار بگیرند. از سوی دیگر، OpenAI نیز وعده داده است که این سیگنال جدید را در ماه‌های آینده پیاده‌سازی کند. لازم به ذکر است که این دستورالعمل نمی‌تواند داده‌هایی را که پیش‌تر جمع‌آوری شده‌اند تغییر دهد، بلکه صرفاً از خززش‌های آینده جلوگیری می‌کند.