ارزیابی کدنویسی OpenAI؛ ساخت پایگاه داده و مهاجرت COBOL
OpenAI نتایج دو ارزیابی ساخت موتور پایگاه داده و تبدیل کدهای COBOL را گزارش کرده است؛ این امتیازها چه می‌سنجند و چه محدودیت‌هایی دارند؟
در این مقاله می‌خوانید ۲ بخش
MultiLangBench چه چیزی را می‌سنجد؟
OpenAI در گزارش ۱۹ اکتبر ۲۰۲۶، نتایج دو ارزیابی کدنویسی را منتشر کرد: ساخت موتور پایگاه داده و انتقال برنامه‌های COBOL به زبان‌های دیگر. این گزارش ارزیابی کدنویسی OpenAI است، نه اطلاعیه معرفی مدل تازه.
در MultiLangBench، مدل باید یک موتور پایگاه داده سازگار با SQLite را در ۲۰ زبان برنامه‌نویسی بسازد. خروجی آن با پیاده‌سازی مرجع مقایسه می‌شود. OpenAI میانگین عبور از آزمون‌ها را برای GPT‑6 Astra با حداکثر تلاش استدلالی، ۸۷٫۴ درصد و برای GPT‑5.6 Sol، ۲۶٫۸ درصد اعلام کرده است. این اعداد میانگین قبولی آزمون‌ها هستند، نه تضمین تکمیل بی‌نقص یک پایگاه داده واقعی.
شرکت همچنین از انتشار تنظیمات و آزمون‌های MultiLangBench در GitHub خبر داده است.
مهاجرت COBOL با معیار حفظ رفتار
ارزیابی دوم، انتقال برنامه‌های COBOL به پنج زبان دیگر را می‌سنجد. موفقیت مستلزم عبور از همه آزمون‌های مخفی و تطابق بایت‌به‌بایت خروجی‌های قابل مشاهده است؛ بنابراین صرف تولید کدی که اجرا شود، کافی نیست.
طبق گزارش OpenAI، نرخ موفقیت GPT‑6.1 Sol در تنظیم استدلال پایین ۸۶٫۶ درصد و در تنظیم بالاتر ۹۷٫۹ درصد بوده است. این نتایج را خود شرکت گزارش کرده و آزمون مستقل محسوب نمی‌شوند. کاهش هزینه مطرح‌شده نیز مربوط به همین آزمایش است، نه اعلام تعرفه تازه API.
این امتیازها جای بازبینی تخصصی و آزمون قواعد کسب‌وکار را نمی‌گیرند؛ خود منبع نیز بر ضرورت هر دو در مهاجرت نرم‌افزار تأکید دارد.
هنوز دیدگاهی منتشر نشده است. اولین نفر باشید.