Большие языковые модели: как они понимают убеждения и ситуации

Исследователи изучили, как большие языковые модели (LLM) справляются с пониманием убеждений и ситуаций, описанных в тексте. Они проанализировали поведение моделей Olmo2 и Pythia на разных этапах обучения, используя задачу о ложном убеждении (FBT). Выяснилось, что эффективность решения FBT зависит от размера модели и объёма тренировок, а также заметно улучшается после дополнительных настроек (SFT, DPO). При этом модели порой дают противоречивые ответы — например, неправильно интерпретируют информацию из‑за определённых слов (вроде «думает»). Также учёные проверили способность моделей воссоздавать картину ситуации — в ряде случаев она оказалась выше, чем способность решать FBT, но тоже не лишена неточностей. Результаты подчёркивают, что даже продвинутые модели пока не идеальны и нуждаются в тщательном тестировании.