Путаница в терминологии: как правильно «забывать» данные в LLM

Авторы статьи указывают на проблему чрезмерного и не всегда корректного использования термина «машинное переобучение» в исследованиях крупных языковых моделей (LLM). Они считают, что этот термин следует применять только в случае удаления данных из обучающего набора так, чтобы модель после «забывания» стала почти неотличима от модели, обученной без этих данных. При этом другие задачи — например, отказ от вредоносных запросов или удаление определённых знаний — имеют иные цели и требуют других подходов и терминов (таких как согласование, подавление, редактирование, запутывание). Исследователи призывают ввести более строгую терминологию и чёткие критерии оценки таких процессов.