مقالات آموزشی

تأیید اقدامات عامل هوش مصنوعی؛ قبل از اجازه چه چیزهایی را بررسی کنیم؟

با سه موقعیت ساختگی، مقصد، داده‌ها و حدود اجازه عامل هوش مصنوعی را بررسی کنید و یک برگه تأیید اقدام بسازید؛ بدون اتصال به ایمیل یا اجرای فرمان.

تصویرسازی مفهومی: تأیید اقدامات عامل هوش مصنوعی؛ قبل از اجازه چه چیزهایی را بررسی کنیم؟
در این مقاله می‌خوانید ۶ بخش

مرتبط با هدف، لزوماً به معنی مجاز نیست

برای تأیید اقدامات عامل هوش مصنوعی، فقط نپرسید «آیا این کار به هدفم کمک می‌کند؟». بررسی کنید آیا همین اقدام، با همین مقصد و همین داده‌ها، در محدوده اجازه شما قرار دارد. تهیه پیش‌نویس، ارسال آن و افزودن یک پیوست، سه اختیار متفاوت‌اند.

OpenAI در توضیح تزریق پرامپت هشدار می‌دهد که دستورهای موجود در صفحه وب یا پیام ممکن است از طرف شخص ثالث باشند، نه کاربر. بنابراین، پیشنهاد عامل را نباید صرفاً به دلیل ظاهر منطقی آن تأیید کرد.

در این تمرین، یک «برگه تأیید اقدام» می‌سازید. هیچ ایمیلی ارسال نمی‌شود، فایلی حذف نمی‌شود و نیازی به خرید اشتراک یا اتصال حساب ندارید. موقعیت‌ها و متن نمونه، تمرین پیشنهادی این راهنما هستند؛ نه گزارش آزمایش یک محصول.

۱. برگه تصمیم‌گیری را آماده کنید

پیش‌نیاز فقط مرورگر برای مطالعه منابع و یک ویرایشگر متن ساده است. فایل تازه‌ای با نام action-approval.txt بسازید و برای هر موقعیت این شش ستون را به‌صورت شش خط برچسب‌دار بنویسید:

درخواست اولیه: اقدام پیشنهادی: مقصد: داده درگیر: امکان بازگشت: تصمیم:

برای تصمیم، یکی از سه عبارت «تأیید در همین محدوده»، «توقف و پرسش» یا «رد اقدام پیشنهادی» را انتخاب کنید. این قالب پیشنهادی، توصیه OpenAI درباره بررسی جزئیات پیش از تأیید ارسال اطلاعات را به یک تمرین قابل ثبت تبدیل می‌کند. فعلاً از نام‌ها و داده‌های ساختگی استفاده کنید.

۲. سه موقعیت را جداگانه بررسی کنید

موقعیت اول؛ تهیه پیش‌نویس. درخواست اولیه: «از یادداشت ساختگی جلسه، پیش‌نویس پیام برای همکار الف تهیه کن؛ ارسال نکن.» اقدام پیشنهادی: نوشتن پیش‌نویس در همین فایل. مقصد را «فایل تمرین»، داده را «یادداشت ساختگی» و امکان بازگشت را «قابل ویرایش» ثبت کنید. تصمیم پیشنهادی: تأیید در همین محدوده؛ نه اجازه ارسال.

موقعیت دوم؛ ارسال پیش‌نویس. درخواست اولیه همان است، اما عامل پیشنهاد می‌دهد پیام را برای همکار الف بفرستد. مرتبط‌بودن گیرنده، مجوز ارسال ایجاد نمی‌کند. تصمیم پیشنهادی: توقف و پرسش. پرسش روشن این است: «آیا اجازه می‌دهید همین متن برای همین گیرنده ارسال شود؟» در این تمرین، ارسال همچنان فقط روی کاغذ بررسی می‌شود.

موقعیت سوم؛ پیوست اضافی. فرض کنید کاربر اجازه ارسال متن مشخصی را داده، اما عامل پیشنهاد می‌کند فایل «بودجه داخلی» را هم پیوست کند. در ستون داده درگیر، متن و پیوست را جدا بنویسید. تصمیم پیشنهادی: رد افزودن پیوست بدون اجازه مشخص. کاربردی‌بودن احتمالی فایل، جای رضایت کاربر را نمی‌گیرد.

۳. مقصد و داده را با اجازه تطبیق دهید

اکنون هر برگه را دوباره بخوانید. آیا مقصد دقیقاً همان گیرنده یا محل تعیین‌شده است، یا عامل آن را از روی شباهت نام انتخاب کرده؟ آیا فقط داده لازم استفاده می‌شود؟ آیا پیشنهاد شامل ارسال به سرویس بیرونی، تغییر فایل یا حذف چیزی است که در درخواست اولیه نیامده؟

گزارش مهندسی آنتروپیک در ۲۵ مارس ۲۰۲۶، درباره معماری auto mode در Claude Code، نمونه‌هایی از ابهام در حدود رضایت را توضیح می‌دهد: درخواست پاک‌سازی لزوماً اجازه حذف گسترده نیست و انتخاب مقصد یا ارسال فایل بیرونی می‌تواند از اختیار داده‌شده فراتر برود.

اگر پاسخ روشن نیست، به‌جای حدس‌زدن سؤال بنویسید: «منظور کدام فایل است؟»، «کدام گیرنده؟» یا «آیا ارسال این داده هم مجاز است؟». اجازه قبلی را مجوز کلی برای اقدامات بعدی در نظر نگیرید.

۴. با یک پرامپت نمونه، ابهام‌ها را پیدا کنید

پرامپت پیشنهادی تمرین:

«این یک موقعیت ساختگی است. درخواست اولیه و اقدام پیشنهادی را مقایسه کن. هیچ اقدامی انجام نده و هیچ مقصد یا اجازه‌ای را حدس نزن. تفاوت تهیه متن، ارسال متن و افزودن داده را جدا کن. خروجی را با این شش عنوان بنویس: درخواست اولیه، اقدام پیشنهادی، مقصد، داده درگیر، امکان بازگشت، تصمیم. هر اطلاعات نامعلوم را با عبارت “نیازمند پرسش” مشخص کن و سؤال دقیق آن را بنویس.»

استفاده از این متن در یک چت‌بات اختیاری است؛ تمرین را می‌توانید کاملاً دستی انجام دهید. اگر از چت‌بات کمک گرفتید، فقط اطلاعات ساختگی وارد کنید و پاسخ آن را با درخواست اولیه تطبیق دهید. این پرامپت مرز امنیتی تضمین‌شده نیست و پاسخ مدل نیز اثبات مجازبودن اقدام نیست.

۵. برگه را اصلاح و ذخیره کنید

اگر تصمیم شما «تأیید» است ولی مقصد یا داده هنوز نامعلوم مانده، تصمیم را به «توقف و پرسش» تغییر دهید. اگر اقدام چند بخش دارد، مانند ارسال پیام همراه با پیوست، آن را به دو برگه مستقل تقسیم کنید تا اجازه یکی به دیگری سرایت نکند.

برای امکان بازگشت نیز وعده ندهید: اگر نمی‌دانید داده ارسال‌شده قابل پس‌گرفتن است، بنویسید «نامعلوم؛ نیازمند بررسی». سپس فایل را با پسوند txt ذخیره کنید. خروجی نهایی باید سه برگه کامل داشته باشد و در هر برگه، دلیل تصمیم یا سؤال حل‌نشده مشخص باشد.

این روش کمک می‌کند جزئیات تصمیم را آشکار کنید، اما تضمین تشخیص همه حملات نیست. OpenAI محدودیت این احتیاط‌ها را تصریح می‌کند؛ گزارش آنتروپیک نیز محدودیت طبقه‌بند مبتنی بر Sonnet 4.6 در تشخیص دامنه رضایت را می‌پذیرد. شرح آن معماری، مدرک دسترسی فعلی همه حساب‌ها به این قابلیت نیست.

منابع این مطلب
[۲] How we built Claude Code auto mode — Anthropic
مطالب بیشتر در مقالات آموزشی
دیدگاه‌ها۰ دیدگاه تأییدشده

هنوز دیدگاهی منتشر نشده است. اولین نفر باشید.

دیدگاه خود را بنویسید

دیدگاه پس از بررسی مدیر منتشر می‌شود. نام و متن شما عمومی خواهد بود.