OpenAI、COBOLなど低リソース言語のコーディング性能向上を発表、MultiLangBenchとCOBOL移行評価で測定

OpenAIは最新モデルが、PythonやJavaScriptに比べ学習用のコードや文書が少ない言語で、ソフトウェアの構築と移行をより正確にこなせるようになったと説明している。COBOLはオンラインバンキングシステムの40%超、対面クレジットカード取引の80%、ATM取引の95%を支えるとされ、Fortranは気象予報や原子炉の安全性解析に使われる。開発者や企業顧客から、コーディングモデルがこれらの言語を苦手とするという声があったことが背景にある。

測定のために2つの評価を用意した。MultiLangBenchは、指定した言語でSQLite互換のデータベースエンジンをゼロから作らせる評価で、20言語を対象とする。初期データベースとSQLクエリを入力として更新後のデータベースを出力させ、SQLite本家の実装で内容を検証するため、言語を問わず同じテストを適用できる。SQLiteの既存テストスイートから改変したテストを使い、通過率とAPIコストを報告する。

MultiLangBenchでは、GPT-6 Astraが最大推論負荷で平均87.4%となり、GPT-5.6 Solの26.8%から全言語で改善した。COBOLは10.9%から72.1%、OCamlは25.6%から85.8%、Fortranは21.4%から83.5%、Visual Basicは27.5%から89.4%である。20言語中19言語で83%超となり、COBOLが最も難しいまま72%だった。低コスト寄りのGPT-6 Lunaは平均40.3%で、1サンプルあたりの推定平均APIコストは0.77ドルとGPT-5.6 Solの3.48ドルより約78%低い。

COBOL移行評価は、COBOLプログラムをC++、Java、Kotlin、Python、Rustのいずれかへ、挙動を保ったまま移行させるものである。COBOLの固定小数点演算は明示しない限り余分な小数桁を切り捨てるため、丸めてしまう書き換えはエラーなく動いても金融計算結果が変わりうる。そこで非公開テストで観測可能な出力のバイト単位の一致を求め、全テストに通った場合のみ成功とする。GPT-6.1 Solは低推論負荷で86.6%、GPT-5.6 Solは5.4%で、APIコストは61%に収まる。高推論負荷では97.9%で、評価はほぼ飽和した。

OpenAIは、MultiLangBenchの評価設定とテストスイートを言語別の結果とともにGitHubで公開している。本番ソフトウェアへの適用には、専門家のレビューと業務ルールや依存関係に対するテストが引き続き必要だとも述べている。最新モデルはAPIで試せ、うまくいった点や苦手な言語・ワークフローへのフィードバックを今後の訓練と評価に反映するとしている。