چطور پاسخ هوش مصنوعی را راستی‌آزمایی کنیم؟
روش بررسی ادعا، تاریخ، عدد و ارجاع؛ با یک جدول ساده که پاسخ مطمئن‌نما را به مجموعه‌ای از موارد قابل بررسی تبدیل می‌کند.
پاسخ روان، مدرک نیست
یک متن منظم می‌تواند اطلاعات درست و نادرست را کنار هم داشته باشد. ابتدا پاسخ را به ادعاهای کوچک تقسیم کنید: چه چیزی رخ داده، چه کسی گفته، در چه تاریخی و با چه عددی؟ بررسی هر ادعا از قضاوت کلی دربارهٔ کل متن ساده‌تر است.
فرض کنید پاسخ می‌گوید «ابزار الف رایگان است و آخرین مدل ب را برای همه فعال کرده است». این جمله دست‌کم سه ادعا دارد: وجود طرح رایگان، مدل قابل استفاده و دسترسی همگانی. ممکن است فقط ادعای اول درست باشد.
یک جدول بررسی بسازید
| ادعا | مدرک لازم | نتیجهٔ بررسی |
|---|---|---|
| مدل جدید معرفی شده | اعلامیهٔ سازنده و تاریخ آن | تأیید / رد / نامشخص |
| برای همه فعال است | شرایط دسترسی و عرضه | تأیید / رد / نامشخص |
| هزینه ندارد | صفحهٔ طرح و محدودیت‌ها | تأیید / رد / نامشخص |
از «نامشخص» نترسید. نبود مدرک کافی به معنی درست یا غلط بودن قطعی ادعا نیست؛ یعنی هنوز نباید با اطمینان بازنشرش کرد.
منبع را واقعاً باز کنید
لینک داشتن کافی نیست. بررسی کنید صفحه وجود دارد، دربارهٔ همان ادعاست و عبارت مورد نظر واقعاً در آن آمده است. ممکن است یک مقالهٔ قدیمی، یک معرفی محصول متفاوت یا گزارشی از ادعای شخص دیگری باشد.
در اطلاعات مدل‌ها، مستندات و اعلامیهٔ خود سازنده نقطهٔ شروع‌اند. برای ادعای کیفیت و «بهترین بودن»، شرایط آزمون، تاریخ و نسخه هم لازم‌اند؛ تبلیغ سازنده را نتیجهٔ مستقل تلقی نکنید.
تاریخ و عدد را جدا کنترل کنید
تاریخ انتشار، تاریخ رخداد و تاریخ به‌روزرسانی ممکن است متفاوت باشند. یک صفحهٔ تازه‌ویرایش‌شده لزوماً دربارهٔ رخداد امروز نیست. در عددها هم واحد، مخرج و بازه را بخوانید: رشد تعداد، رشد درصدی و افزایش سهم یک مفهوم ندارند.
پرامپت کمکی:
پاسخ قبلی را به ادعاهای قابل بررسی تقسیم کن. برای هر ادعا منبع مستقیم، تاریخ و بخشی را که آن را پشتیبانی می‌کند مشخص کن. اگر منبع را واقعاً ندیده‌ای، آن را صریح بگو. بین گفتهٔ منبع، تفسیر خودت و نکتهٔ نامشخص تفاوت بگذار.
این پرامپت جای بررسی خود شما را نمی‌گیرد. مدلی که یک بار اشتباه کرده ممکن است توضیحی متقاعدکننده برای همان اشتباه هم بسازد.
تمرین ده‌دقیقه‌ای
یک پاسخ دربارهٔ محصولی که می‌شناسید انتخاب کنید. سه ادعای آن را جدا کنید و برای هرکدام صفحهٔ اصلی را باز کنید. سپس سؤال را با عبارت دقیق‌تر بپرسید و ببینید کدام بخش پاسخ تغییر می‌کند. در پایان یک خلاصهٔ کوتاه فقط از موارد تأییدشده بنویسید.
برای فرق جستجوی منبع‌دار با دانش درونی مدل، RAG چیست؟ را بخوانید. برای دنبال‌کردن منظم منابع، راهنمای RSS مناسب است.