DeepDigest
Towards Data Science · · ~2 мин

Модель t0-alpha: как работают базовые LLM для временных рядов

В статье Шона Морана разбирается работа базовых моделей временных рядов на примере t0-alpha — открытой вероятностной модели с 102 млн параметров. Автор тестирует её в GIFT-Eval, сравнивает с другими моделями (Chronos, TiRex, TimesFM) и обсуждает ключевые проблемы оценки и проектирования систем прогнозирования: утечки данных, калибровку, маршрутизацию и другие. Подчёркивается потенциал гибридных решений, сочетающих базовые модели, классические методы и обученных на симуляторах оценщиков.

LLM
Модель t0-alpha: как работают базовые LLM для временных рядов

Шон Моран в своей статье разбирает работу базовых моделей временных рядов на примере t0-alpha — вероятностного прогнозиста от компании Forecasting Company. Модель выпущена в июне 2026 года, имеет 102 млн параметров и доступна с открытыми весами под лицензией Apache-2.0.

t0-alpha разбивает числовую последовательность на участки по 32 временных шага, обрабатывает их с помощью причинно-следственного преобразователя и выдаёт набор квантилей (от 0,1 до 0,9), а не единую линию будущего. Это позволяет модели учитывать неопределённость прогнозов.

Автор провёл тесты в GIFT-Eval — универсальном тесте для прогнозирования временных рядов с нулевым результатом. t0-alpha показал результаты CRPS 0,4941 и MASE 0,7240, точно воспроизведя заявленные показатели. В 96 из 97 конфигураций модель превосходит базовую настройку с сезонным повторением, проигрывая только в одной задаче (bizitobs_application/long).

В статье также сравниваются разные типы LLM для временных рядов: те, что изначально обучаются на данных временных рядов (t0-alpha, TimesFM, Toto, Chronos, TiRex, Moirai), и те, что адаптируют предварительно подготовленный текстовый LLM для прогнозирования (например, Time-LLM).

Моран подчёркивает важность контроля утечек данных, калибровки моделей, маршрутизации и ансамблей, а также необходимости специальных оценщиков для отдельных областей. Он рассматривает гибридные подходы — сочетание базовых моделей, классических методов (например, ARIMA и MSTL), маршрутизаторов и оценщиков, обученных на симуляторах.

Автор тестировал несколько моделей на экземпляре AWS g5.xlarge с графическим процессором NVIDIA A10G (24 ГБ). Например, при повторном запуске Chronos-Bolt-base разница в показателе CRP для каждой задачи с официальным справочником составила в среднем 0,0055. Это подчёркивает, что небольшие вариации в результатах могут существенно влиять на ранжирование моделей.

Среди нерешённых проблем — ужесточение контроля за утечками данных, калибровка вероятностных прогнозов, разработка более надёжных классических базовых показателей и создание специальных оценщиков для конкретных областей применения. Моран предлагает в дальнейших экспериментах построить квантильный ансамбль из t0-alpha и chronos-2, провести оценку с контролем утечки во времени и протестировать оценщика, обученного на симуляторе, на данных о высокочастотной наблюдаемости.

Ссылки:
- Компания по прогнозированию (2026). t0-alpha. Карточка модели Hugging Face.
- Аксу Т. и др. (2024). GIFT-Eval: Тест для общей оценки модели прогнозирования временных рядов.
- Дас А. и др. (2024). Базовая модель прогнозирования временных рядов, основанная только на декодере.
- Ансари А. Ф. и др. (2024). Chronos: Изучаем язык временных рядов.
- Джин М. и др. (2024). Time-LLM: Прогнозирование временных рядов путём перепрограммирования больших языковых моделей.

// оригинал
Towards Data Science ↗ Читать оригинал
7 просмотров
// поделиться Telegram VK