راستی‌آزمایی خلاصه هوش مصنوعی با جدول «ادعا، شاهد، حکم»
با یک متن تمرینی، عددها، شرط‌ها و میزان قطعیت خلاصه هوش مصنوعی را بررسی کنید و خلاصه اصلاح‌شده‌ای همراه با جدول ادعا، شاهد و حکم بسازید.
در این مقاله می‌خوانید ۶ بخش
خلاصه را با متن اصلی بسنجید، نه با روانی آن
برای راستی‌آزمایی خلاصه هوش مصنوعی، هر ادعای مهم را جدا کنید، شاهد آن را در متن اصلی پیدا کنید و بررسی کنید آیا عدد، شرط یا میزان قطعیت تغییر کرده است. نتیجه این تمرین، یک خلاصه اصلاح‌شده و جدولی است که نشان می‌دهد هر ادعا بر چه عبارتی تکیه دارد.
NIST در نمایه مدیریت ریسک هوش مصنوعی مولد، منتشرشده در ژوئیه ۲۰۲۴، توهم را تولید محتوای نادرست با بیان مطمئن توصیف می‌کند؛ این خطا می‌تواند ناسازگاری با ورودی را هم شامل شود. بنابراین، لحن قاطع یا نثر خوش‌خوان نشانه کافی برای صحت خلاصه نیست.
روش زیر یک تمرین تألیفی است، نه آزمونی استاندارد یا تضمینی برای کشف همه خطاها. مبنای آن، توصیه NIST به بررسی و تأیید منابع و ارجاعات خروجی است.
۱. متن و محیط تمرین را آماده کنید
پیش‌نیاز شما یک ابزار متنی هوش مصنوعی است که اکنون به آن دسترسی دارید و یک ویرایشگر متن. این تمرین به اشتراک، API یا محصول معینی وابسته نیست؛ شرایط استفاده همان ابزار را بررسی کنید. برای شروع، متن غیرحساس انتخاب کنید و اطلاعات شخصی یا محرمانه وارد نکنید.
نام ابزار، تاریخ تمرین و نام یا نسخه مدل را، اگر در رابط نمایش داده می‌شود، ثبت کنید. اگر نسخه مشخص نیست، بنویسید «نمایش داده نشده»؛ آن را حدس نزنید.
متن ساختگی زیر فقط برای تمرین طراحی شده و گزارش یک رویداد واقعی نیست:
بند ۱: در یک تمرین فرضی، ۲۴ نفر پرسش‌نامه آغاز دوره را تکمیل کردند. بند ۲: ادامه دوره تنها در صورت تأمین بودجه و ثبت‌نام دست‌کم ۱۵ نفر انجام می‌شود. بند ۳: برگزارکننده می‌گوید دوره ممکن است به آشنایی شرکت‌کنندگان با ابزارهای متنی کمک کند؛ اثر آن هنوز ارزیابی نشده است.
شماره بندها، یافتن شاهد را آسان می‌کند؛ اما خودِ شماره‌گذاری، صحت پاسخ مدل را تضمین نمی‌کند.
۲. خلاصه‌ای بخواهید که قابل بررسی باشد
متن شماره‌گذاری‌شده را در ابزار وارد کنید و پرامپت پیشنهادی زیر را همراه آن بدهید. این پرامپت یک نمونه تألیفی برای تمرین است، نه گزارشی از آزمایش عملی یا تضمین نتیجه:
«فقط بر اساس متن زیر، خلاصه‌ای کوتاه بنویس. هر ادعای مستقل را در جمله‌ای جدا بیاور و شماره بند پشتیبان را کنار آن بنویس. عددها، شرط‌های لازم و واژه‌های بیانگر احتمال را حفظ کن. اگر چیزی در متن مشخص نیست، آن را اضافه نکن. متن: [بندهای شماره‌گذاری‌شده را اینجا قرار بده].»
خروجی اولیه را بدون ویرایش ذخیره کنید. سپس جمله‌های چندادعایی را برای بررسی به ادعاهای کوچک‌تر بشکنید؛ مثلاً تعداد شرکت‌کنندگان و تصمیم درباره ادامه دوره را جداگانه بسنجید.
شماره بند تولیدشده را صرفاً یک راهنما بدانید. باید خودتان آن بند را باز کنید و ببینید واقعاً از ادعا پشتیبانی می‌کند یا نه.
۳. جدول «ادعا، شاهد، حکم» را پر کنید
در ویرایشگر، برای هر ادعا یک سطر با این قالب بسازید: «ادعا | شاهد دقیق و شماره بند | حکم | اصلاح پیشنهادی».
سه حکم تمرینی کافی است: «تأیید» یعنی متن از ادعا با همان دامنه و قطعیت پشتیبانی می‌کند؛ «تحریف» یعنی خلاصه چیزی را تغییر داده است؛ «بدون شاهد» یعنی پشتوانه‌ای برای ادعا در متن پیدا نکرده‌اید. بدون شاهد بودن، لزوماً به معنای نادرست بودن در جهان واقعی نیست؛ یعنی این متن آن را اثبات نمی‌کند.
سه خطای عمدی زیر برای تمرین ساخته شده‌اند و خروجی مشاهده‌شده یک مدل نیستند:
ادعا: ۴۲ نفر پرسش‌نامه را تکمیل کردند. | شاهد: «۲۴ نفر» در بند ۱. | حکم: تحریف عدد. | اصلاح: عدد را به ۲۴ برگردانید.
ادعا: دوره ادامه پیدا می‌کند. | شاهد: ادامه دوره در بند ۲ به تأمین بودجه و حداقل ثبت‌نام وابسته است. | حکم: تحریف با حذف شرط. | اصلاح: هر دو شرط را برگردانید.
ادعا: دوره آشنایی شرکت‌کنندگان را افزایش می‌دهد. | شاهد: «ممکن است» و «هنوز ارزیابی نشده» در بند ۳. | حکم: تحریف میزان قطعیت. | اصلاح: احتمال و ارزیابی‌نشدن اثر را حفظ کنید.
وجود چند خطای تمرینی، مبنایی برای تخمین نرخ خطای یک ابزار یا خلاصه‌های فارسی نیست.
۴. خلاصه را اصلاح و دوباره تطبیق دهید
جدول را به ابزار برگردانید و بخواهید فقط بر اساس اصلاح‌های مستند بازنویسی کند. پرامپت پیشنهادی تألیفی: «با استفاده از جدول بررسی، خلاصه را اصلاح کن. ادعاهای بدون شاهد را حذف کن و عددها، شرط‌ها و میزان قطعیت متن اصلی را حفظ کن. اطلاعات تازه اضافه نکن.»
برای متن تمرینی، یک بازنویسی قابل تطبیق چنین است: «در تمرین فرضی، ۲۴ نفر پرسش‌نامه آغاز دوره را تکمیل کردند. ادامه دوره به تأمین بودجه و ثبت‌نام دست‌کم ۱۵ نفر وابسته است. برگزارکننده احتمال کمک دوره به آشنایی با ابزارهای متنی را مطرح کرده، اما اثر آن هنوز ارزیابی نشده است.»
خلاصه تازه را نیز جمله‌به‌جمله با متن اصلی بسنجید؛ درخواست اصلاح، جای بررسی دوباره را نمی‌گیرد. اگر شاهد مبهم است، حکم را موقت نگه دارید. اگر ادعا شاهد ندارد، از مدل نخواهید برای آن شاهد بسازد.
۵. خروجی را ذخیره کنید و مرز ارجاع را بشناسید
متن اصلی، مشخصات ثبت‌شده ابزار، خلاصه اولیه، جدول بررسی و خلاصه نهایی را در یک فایل متنی ذخیره کنید. این کار به دکمه خروجی گرفتن در محصول وابسته نیست: متن‌ها را در ویرایشگر کپی و فایل را با پسوند txt ذخیره کنید.
اگر ابزار شماره بندها را نادیده گرفت، ادعاها را کوتاه‌تر کنید و دوباره ارجاع بخواهید؛ اگر باز هم ارجاع نداد، شاهدها را دستی پیدا کنید.
ارجاع در پرامپت با قابلیت ارجاع ساختاریافته یک API یکسان نیست. طبق مستندات Claude Platform، ارجاع متن ساده در API با موقعیت نویسه‌ها و ارجاع PDF دارای متن استخراج‌پذیر با محدوده صفحات بازگردانده می‌شود. این توضیح، وجود قابلیت مشابه در برنامه مصرف‌کننده Claude را ثابت نمی‌کند.
همچنین ارجاع به تصاویر در این قابلیت پشتیبانی نمی‌شود؛ پس آن را شاهد صحت برداشت از نمودار یا PDF صرفاً اسکن‌شده ندانید. حتی اشاره‌گر معتبر به سند، درستی استنباط را تضمین نمی‌کند: پرسش نهایی همچنان این است که آیا شاهد، دقیقاً همان ادعا را پشتیبانی می‌کند؟
هنوز دیدگاهی منتشر نشده است. اولین نفر باشید.