Исследователи проверили, как большие языковые модели (LLM) предлагают методы для научных исследований. Они задали GPT-5.1, Gemini 3 Pro и DeepSeek-V3.2 задачу — извлечь исследовательские вопросы из 1000 статей по компьютерным наукам с arXiv. Затем сравнили предложенные модели методологические рекомендации с данными из реальных научных работ. Выяснилось, что LLM предлагают гораздо более узкий набор методов, чем используется в практике. Например, количество уникальных методов, которые предлагают модели, сократилось с 1232 до 59–96. Также есть перекосы в выборе тех или иных подходов. Исследователи предупреждают: если полагаться на рекомендации LLM без дополнительной проверки, можно ограничить поиск подходящих методов и упустить важные подходы.
arXiv cs.CL
·
·
~1 мин
LLM сужают выбор методов исследований: новое исследование выявило риски
Исследование показало, что LLM (GPT-5.1, Gemini 3 Pro, DeepSeek-V3.2) предлагают слишком узкий набор методов для исследований, есть перекосы в выборе подходов — это несёт риски для учёных.
1 просмотров
// похожие статьи