OpenAI、COBOLなど『低リソース言語』のコーディング性能を公開

棒グラフが右肩上がりに伸び、コードの画面を虫めがねで調べているイラスト

OpenAIは2026年10月19日(米国時間)、COBOLやFortran、Visual Basicなど、学習に使えるコードや資料が少ない「低リソース言語」で、最新モデルのコーディング能力が大きく伸びたと発表しました。あわせて、20の言語でSQLite互換のデータベースを一から作らせる評価「MultiLangBench」をGitHubで公開しています。発表の中身と数字、読むときの注意点を、OpenAIの公式ブログをもとに整理します。

この記事の要点

  • MultiLangBench(20言語でSQLite互換のデータベースを作る評価)で、GPT-6 Astraの平均テスト通過率は87.4%。GPT-5.6 Solの26.8%から大きく伸び、20言語すべてで改善しました。
  • COBOLのプログラムをC++・Java・Kotlin・Python・Rustに移す評価では、GPT-6.1 Solが低い推論量で86.6%(GPT-5.6 Solは5.4%)、高い推論量では97.9%に達しました。
  • 低コスト版のGPT-6 Lunaも全言語でGPT-5.6 Solを上回り、平均40.3%。1回あたりの推定APIコストは0.77ドルで、GPT-5.6 Sol(3.48ドル)より約78%安いとしています。
  • 新しいモデルの発表ではなく、既存の最新モデルの能力を測った評価結果です。数字はOpenAI自身の評価で、本番のシステムに使うには専門家の確認とテストが必要だとOpenAIも書いています。
目次

何が発表されたのか

OpenAIは公式ブログで、COBOL、OCaml、Fortran、Visual Basicといった言語を例に、最新モデルがこうした言語でのソフトウェアの開発や移行に強くなったと説明しました。これらの言語はPythonやJavaScriptに比べて、モデルが学べるコードや資料が少ない一方、銀行や政府、企業の基幹システムを支えています。ブログでは、COBOLがオンラインバンキングのシステムの40%以上、対面のクレジットカード取引の80%、ATM取引の95%を支えているという外部の数字を紹介しています。

OpenAIの公式ブログ「Advancing coding in low-resource programming languages」(2026年10月19日)の冒頭。COBOL、OCaml、Fortran、Visual Basicの言語名が並んでいる
出典:OpenAI「Advancing coding in low-resource programming languages」(2026年10月19日)

OpenAIは、開発者や企業の利用者から「コーディング用のモデルはこうした言語が苦手」という声が多かったことが、この取り組みのきっかけだとしています。進み具合を測るために、新しく2つの評価を作りました。

評価 何を試すか 主な結果
MultiLangBench 指定した言語で、SQLite互換のデータベースエンジンを一から作れるか(20言語) GPT-6 Astraが平均87.4%(GPT-5.6 Solは26.8%)
COBOL移行の評価 既存のCOBOLプログラムを、動きを変えずにほかの言語へ移せるか GPT-6.1 Solが低い推論量で86.6%、高い推論量で97.9%(GPT-5.6 Solは5.4%)

MultiLangBench:20言語でSQLiteを作らせる評価

MultiLangBenchでは、モデルに指定の言語でSQLite互換のデータベースエンジンを作らせます。コードの構成、状態の管理、エラー処理、既存の機能を壊さずに新しい機能を足すことまでが求められます。採点は、SQLite本家のテストを元にしたテストで、出力されたデータベースの中身が正しいかを確かめる仕組みです。言語が違っても同じテストを使えるのが特徴です。

MultiLangBenchの平均テスト通過率のグラフ。GPT-5.6 Solの26.77%に対し、GPT-6.1 Solは87.04%、GPT-6 Astraは87.39%
MultiLangBenchの平均テスト通過率。出典:OpenAI「Advancing coding in low-resource programming languages」(2026年10月19日)

推論量を最大にしたときの主な言語の結果は、次のとおりです。

言語 GPT-5.6 Sol GPT-6 Luna GPT-6 Astra
COBOL 10.9% 17.1% 72.1%
OCaml 25.6% 34.1% 85.8%
Fortran 21.4% 31.4% 83.5%
Visual Basic 27.5% 41.6% 89.4%
20言語の平均 26.8% 40.3% 87.4%
1回あたりの推定APIコスト 3.48ドル 0.77ドル (記載なし)

GPT-6 Astraは20言語のうち19言語で83%を超え、もっとも難しかったのはCOBOL(72.1%)でした。公式のグラフでは、GPT-6.1 Solも平均87.04%と、Astra(87.39%)とほぼ同じ水準です。OpenAIは評価の仕組みとテスト一式、言語ごとの結果をGitHub(openai/MultiLangBench)で公開しており、自分たちが使う言語での成績や弱いところを確かめられるとしています。

COBOL移行:動きを1バイトも変えずに移せるか

2つ目の評価は、COBOLのプログラムをC++、Java、Kotlin、Python、Rustのいずれかに書き換える課題です。COBOLは金融取引や業務記録の処理に多く使われており、端数の丸め方や、レコードがないときの扱いといった細かな動きが、そのまま業務のルールになっています。たとえばCOBOLの固定小数点の計算は、丸めを指定しない限り余分な桁を切り捨てます。書き換え後に四捨五入してしまうと、エラーは出なくても金額の結果が変わってしまいます。

そこでこの評価では、見えないテストで出力が1バイト単位まで一致するかを確かめ、すべてのテストに通ったときだけ成功とみなしています。

COBOL移行の評価で、APIコストと正解率の関係を示したグラフ。GPT-6.1 Solは1ドル未満の低いコストで正解率90%台に達している
COBOL移行の評価の正解率とAPIコスト。出典:OpenAI「Advancing coding in low-resource programming languages」(2026年10月19日)

結果は、GPT-6.1 Solが低い推論量で86.6%。同じ設定のGPT-5.6 Solは5.4%で、GPT-6.1 SolのAPIコストはその61%(39%安い)でした。推論量を上げると97.9%に達し、OpenAIは「評価がほぼ頭打ちに近づいた」としています。

読むときの注意点

  • 新しいモデルの発表ではありません。対象は、すでに提供されているGPT-6 Astra、GPT-6.1 Sol、GPT-6 Lunaなどです。
  • 数字はOpenAI自身が作った評価の結果です。第三者による検証は、今のところ確認できていません。評価のテスト一式はGitHubで公開されているので、外部での再検証は今後出てくる可能性があります。
  • 本番のシステムにそのまま使えるわけではありません。OpenAIも、実際のソフトウェアに使うには、業務ルールや依存関係に照らした専門家の確認とテストが必要だと書いています。

Xでの反応

OpenAIの公式Xアカウントは、日本時間10月20日7時30分にこの発表を投稿しました。日本時間9時20分ごろの時点で、表示は約23.9万回、いいねは約2,800件、引用は130件です。投稿では、こうした言語の開発や移行に取り組んでいるチームに向けて、次に取り組むべき言語や作業を教えてほしいと呼びかけています。

まとめ

OpenAIは、資料が少なく従来のモデルが苦手だったCOBOLやFortranなどの言語で、最新モデルの成績が大きく伸びたことを、2つの新しい評価で示しました。特にCOBOLの移行では、GPT-5.6 Solの5.4%からGPT-6.1 Solの86.6%へと、短い期間で大きく変わっています。古い基幹システムの保守や移行にAIを使う動きが広がる可能性がありますが、数字はOpenAIの評価によるもので、実際に使うときは自社のシステムで確かめることが前提です。ChatGPTやOpenAIのモデルのそのほかの更新は、ChatGPTの最新アップデート・更新履歴でまとめています。

2026年10月20日時点の公式情報をもとにしています。

参考資料

目次