Большие языковые модели (LLM) остаются основой ИИ, но для ряда задач более подходящими оказываются малые языковые модели (SLM). SLM отличаются скоростью работы, экономичностью и лучшей защитой данных. Как поясняет Томас Рэндалл из Info-Tech Research Group, SLM и LLM дополняют друг друга: простые запросы обрабатываются специализированными моделями, а сложные — LLM.
Параметры LLM могут достигать сотен миллиардов или триллионов, тогда как у SLM — от одного до семи миллиардов (всё, что меньше десяти миллиардов, считается «маленьким»). SLM обучаются на компактных архитектурах Transformer и используют небольшие, но высококачественные наборы данных, адаптированные под конкретную задачу.
Чтобы уменьшить размер модели без потери производительности, применяют такие методы, как:
- передача знаний: меньшая модель обучается на основе большей;
- обрезка: удаление лишних параметров из нейронных сетей;
- квантование: преобразование чисел с плавающей запятой в целые числа, что ускоряет обработку и снижает энергопотребление.
По мнению Сумита Агарвала из Gartner, корпоративные данные — ключевое отличие, требующее подготовки, контроля качества и управления версиями. Рэндалл подчёркивает экономическую выгоду от использования SLM для повторяющихся и чётко определённых задач — например, сортировки запросов клиентов. Такие модели снижают риск галлюцинаций, не «перегружая» поиск ненужной информацией.
Преимущества SLM:
- низкие вычислительные требования: модели можно запускать на ноутбуках, смартфонах и периферийных устройствах;
- надёжная защита данных: риск утечек снижается благодаря работе на локальных устройствах;
- быстрый вывод: мгновенные ответы подходят для приложений реального времени;
- дешёвое развёртывание: меньшие затраты на оборудование и облако;
- хорошая настраиваемость: обучение на данных конкретной организации.
Nvidia считает SLM будущим Agentic AI — об этом говорится в их техническом документе. Gartner прогнозирует, что к 2027 году в корпоративной среде SLM будет в три раза больше, чем LLM.
Примеры применения SLM:
- рутинные задачи и анализ команд;
- создание контента (отчёты, тексты, маркетинговые материалы);
- чат-боты и помощники (обработка запросов, расшифровка и перевод);
- контент-аналитика (анализ данных и настроений);
- генерация и отладка кода;
- сценарии с низким потреблением ресурсов (IoT, периферийные вычисления);
- специализированные области (финансы, юриспруденция, медицина).
У SLM есть и ограничения. Например, они хуже справляются с задачами, требующими глубокого контекста или многоуровневых выводов. Кроме того, узкая специализация ограничивает способность к обобщению, а некачественные данные могут усилить предвзятость. Gartner советует тестировать SLM там, где LLM не показывают нужных результатов по скорости или качеству ответов, а также использовать гибридные подходы с несколькими моделями.
Подписаться в Макс
