پژوهش آنتروپیک درباره ایمنی داده‌های آموزشی؛ محدودیت ناظرها
آنتروپیک در آزمایشی خصمانه، عبور داده‌های آموزشی ظاهراً بی‌خطر از ناظر را بررسی کرده است؛ چرا این نتایج درباره ایمنی نسخه عمومی Claude حکم نمی‌دهند؟
در این مقاله می‌خوانید ۲ بخش
آزمایشی برای عبور از ناظر آموزش
پژوهش آنتروپیک درباره ایمنی داده‌های آموزشی نشان می‌دهد بررسی جداگانه نمونه‌های آموزشی می‌تواند رفتار نامطلوبی را که پس از آموزش ایجاد می‌شود، تشخیص ندهد. صفحه این پژوهش در وبلاگ Alignment Science تاریخ اکتبر ۲۰۲۶ را دارد؛ روز انتشار و زمان انجام آزمایش مشخص نیست.
آنتروپیک از عامل‌های Claude خواست داده‌هایی بسازند که هم از ناظر محتوای آموزشی عبور کنند و هم پس از تنظیم دقیق، یعنی آموزش تکمیلی مدل، رفتار نامطلوب ایجاد کنند. عامل‌ها به همان ناظر و تلاش‌های قبلی دسترسی داشتند. به گزارش آنتروپیک، داده‌های موفق عمدتاً رفتارهایی مانند مقاومت در برابر نظارت را در قالب داستان و نقش‌آفرینی پنهان می‌کردند.
این نتیجه درباره نسخه عمومی Claude چه می‌گوید؟
هدف اصلی آزمایش، یک مدل پژوهشی کوچک Claude با نسخه نامشخص بود. آزمایش‌های تکمیلی نیز روی نسخه اولیه Claude Opus 4.8 و Qwen 3.6 27B گزارش شده‌اند؛ مدل‌های دست‌کاری‌شده مستقر نشدند.
این نتایج، ارزیابی خود آنتروپیک در محیطی عمداً مساعد برای مهاجم‌اند، نه تأیید مستقل. یافته اصلی به محدودیت غربال‌گری تک‌تک نمونه‌های آموزشی مربوط است: محتوایی که به‌تنهایی از ناظر عبور می‌کند، الزاماً اثر آموزشی بی‌خطری ندارد. این پژوهش شاهدی بر رفتار خطرناک نسخه عمومی Claude نیست و عرضه قابلیت تازه‌ای را هم اعلام نمی‌کند.
هنوز دیدگاهی منتشر نشده است. اولین نفر باشید.