OpenAI 19 октября объявила об улучшении способности своих моделей работать с языками программирования, для которых мало обучающих данных — в частности, COBOL, Fortran и Visual Basic. Эти языки поддерживают важные мировые инфраструктуры: например, COBOL задействован в более чем 40 % онлайн‑банковских систем, 80 % операций с кредитными картами и 95 % операций с банкоматами, а Fortran применяют в прогнозировании погоды и анализе безопасности атомных реакторов.
Для оценки прогресса компания представила два теста. Первый — MultiLangBench: модели должны были с нуля создать SQLite‑совместимый движок базы данных на 20 языках программирования. GPT‑6 Astra достигла среднего уровня успешности в 87,4 % по всем языкам, тогда как у GPT‑5.6 Sol этот показатель был 26,8 %. В случае с COBOL GPT‑6 Astra показала результат 72,1 %, а GPT‑5.6 Sol — всего 10,9 %. Модель GPT‑6 Luna продемонстрировала средний результат в 40,3 %, при этом стоимость API оказалась на 78 % ниже, чем у GPT‑5.6 Sol (0,77 доллара против 3,48 доллара).
Второй тест проверял способность моделей переносить COBOL‑программы на C++, Java, Kotlin, Python, Rust с сохранением исходного поведения. При низких настройках вывода GPT‑6.1 Sol достигла точности в 86,6 %, тогда как у GPT‑5.6 Sol было лишь 5,4 %. При увеличении параметров вывода точность выросла до 97,9 %, а стоимость API снизилась до 61 % от уровня GPT‑5.6 Sol. OpenAI подчёркивает, что для использования в реальных системах всё равно потребуется экспертиза специалистов и дополнительное тестирование.
COBOL появился в 1959 году и до сих пор широко используется в финансовых и государственных системах. Например, в 2020 году из‑за пандемии в США возник дефицит специалистов, способных работать с COBOL‑системами страховых выплат. IBM в 2023 году представила инструмент watsonx Code Assistant for Z для конвертации COBOL в Java с помощью генеративного ИИ.
Подписаться в Макс
