خودارزیابی ایمنی Claude؛ پایش خطر پس از پاسخ، نه مسدودسازی فوری

ارزیابی پنهان پس از پاسخ چه کاربردی دارد؟

آنتروپیک در گزارش ۱۶ اکتبر ۲۰۲۶، سازوکار خودارزیابی ایمنی Claude را شرح داد: مدل پس از پاسخ‌دادن، ارزیابی کوتاهی از خطر احتمالی گفت‌وگو تولید می‌کند. این ارزیابی به کاربر نمایش داده نمی‌شود و در کاربرد فعلی برای بررسی بعدی است، نه مسدودکردن فوری پاسخ.

به‌گفته شرکت، استفاده عملیاتی از این روش در ژوئن آغاز شده و در مدل‌های منتشرشده از Fable 5 به بعد، بخش بزرگی از ترافیک را پوشش می‌دهد. بنابراین گزارش اکتبر، اعلام عرضه یک ابزار عمومی تازه نیست. همچنین ترافیک مشمول توافق نگهداری صفر داده، تحت این پایش قرار ندارد.

آمار تشخیص را با چه محدودیتی باید خواند؟

آنتروپیک می‌گوید در نمونه‌ای تصادفی از ترافیک عملیاتی Fable 5، با نرخ مثبت کاذب یک درصد، این روش ۷۸ درصد موارد علامت‌خورده توسط ارزیاب مرجع و ۹۴ درصد موارد با اولویت بالا را شناسایی کرده است. این اعداد نتیجه ارزیابی خود شرکت‌اند، نه آزمون مستقل.

نکته مهم، ماهیت مرجع مقایسه است: مرجع، طبقه‌بندی‌کننده‌ای مبتنی بر Claude Mythos Preview بوده، نه داوری مستقل انسانی. در نتیجه، این درصدها میزان شناسایی نسبت به همان مرجع را نشان می‌دهند، نه سهم کشف همه سوءاستفاده‌های واقعی.

خود گزارش نیز هشدار می‌دهد که اتکای آموزش و ارزیابی به یک مرجع می‌تواند نقاط کور آن را منتقل کند. این سازوکار را باید لایه‌ای برای پایش پس از پاسخ دانست، نه تضمین ایمنی Claude.