ارزیابی عامل‌های کدنویسی FrontierCode؛ چرا ۵۲ و ۵۸ درصد فرق دارند؟
گزارش FrontierCode 1.1 تفاوت امتیاز ۵۲ درصدی و نرخ قبولی ۵۸ درصدی را نشان می‌دهد؛ شرایط اجرای آزمون و نقش داوری ماشینی در نتایج چیست؟
در این مقاله می‌خوانید ۲ بخش
دو عدد برای دو سنجه متفاوت
Artificial Analysis در گزارش ۱۲ اکتبر ۲۰۲۶، نتایج ارزیابی عامل‌های کدنویسی FrontierCode 1.1 Main را منتشر کرد. طبق این گزارش، Claude Opus 5.5 با تنظیم max و fallback امتیاز میانگین ۵۲ درصد و نرخ قبولی ۵۸ درصد داشته است. این خبر درباره انتشار نتایج است، نه معرفی مدل یا نسخه تازه FrontierCode.
تفاوت این دو عدد از تعریف سنجه‌ها می‌آید: نرخ قبولی نشان می‌دهد چه سهمی از اجراها از همه شروط مسدودکننده عبور کرده‌اند؛ اما امتیاز نهایی معیارهای تکمیلی را هم در نظر می‌گیرد. بنابراین، عبور از شروط لازم لزوماً به معنای گرفتن امتیاز کامل نیست. در همین ارزیابی، GPT‑6.1 Sol و Claude Fable 5.1 حدود ۴۹ درصد امتیاز گرفته‌اند.
این نتایج در چه شرایطی به دست آمده‌اند؟
گزارش شامل ۱۰۰ مسئله از مجموعه‌ای ۱۵۰مسئله‌ای است. هر مسئله سه بار در محیط عامل یکسان Stirrup، با سقف ۲۵۰ نوبت، اجرا شده است. ارزیابی علاوه بر تست‌های کد، محدوده فایل‌های تغییرکرده، بزرگی تغییرات و معیارهای کیفی تنظیم‌شده با مشارکت نگه‌دارندگان مخازن را بررسی می‌کند. داور بخش کیفی GPT‑6 Luna با تنظیم medium است؛ پس این داوری کاملاً انسانی نیست.
در خواندن بنچمارک هوش مصنوعی، شرایط اجرا بخشی از معنای عدد است. مسائل این آزمون خصوصی‌اند و نتایج به همین محیط و روش داوری محدود می‌شوند؛ رتبه بالاتر را نباید تضمین کیفیت عامل در همه پروژه‌های واقعی دانست.
هنوز دیدگاهی منتشر نشده است. اولین نفر باشید.