Пульс потребления
Онлайн-конкурс СберИндекса · номинация «Прогнозирование»

Пульс муниципального потребления

Прогноз безналичных расходов на жителя на 1–12 месяцев и раннее обнаружение шоков для муниципалитетов и шести категорий трат. Карта показывает, где расходы в выбранном месяце резко отклонились от сопоставимых МО: в апреле 2024 г. загораются города паводка на Урале.

резкое падение резкий рост в пределах нормы резкое — больше 3 собственных σ и больше 5%
Наведите на точку, чтобы увидеть МО.

Как устроен алгоритм

Три контура работают раз в месяц на данных, известных к концу месяца. Детектор и новости не только сигнализируют, но и передают признаки в прогнозную модель.

Данные на конец месяца T СберИндекс: расходы МО СберИндекс РФ с 2018 г. Росстат: ИПЦ, зарплаты, население МО ЦБ, календарь, погода дороги между МО Интерфакс, Lenta.ru: заголовки → субъект/МО Новостной контур леммы → газетир МО → тип события as-of по месяцу публикации Детектор шоков выход за интервал Chronos-2 → подтверждение PELT / BinSeg Прогноз 1–12 мес. 5 вариантов LightGBM + сезонные → ансамбль Выход для аналитика прогноз по 6 категориям с интервалами список МО со сдвигом и новостями-объяснениями вероятность шока в следующем месяце hazard признаки сдвига

Прогноз против базовой модели

Скользящая точка прогноза: декабрь 2023 – ноябрь 2024 г. Окно H — средняя ошибка на шагах 1…H. R² динамики считается по лог-приросту от точки прогноза: он показывает долю объяснённых изменений, а не различий между МО.

Ошибка по шагу прогноза

Выигрыш у Prophet по категориям

Значимость отличия от Prophet

Парный критерий Уилкоксона по рядам; ошибки усреднены внутри ряда. ДИ — бутстреп разности MAE (отрицательная разность — итоговая модель лучше).

Фундаментальные модели: где помогают, где нет

Chronos-Bolt и Chronos-2 испытаны в восьми режимах: zero-shot, с очисткой от сезонности, с ковариатами, с LoRA-дообучением и как признак для LightGBM. Без адаптации им не хватает полного годового цикла в 12–23 точках истории; лучше всего Chronos-2 работает как источник прогнозных интервалов для детектора шоков.

Ограничение

Zero-shot прогноз по короткому ряду переносит декабрьский пик и тренд 2023 г. на весь 2024 г.

Очистка от сезонности

Сезонный профиль из 7-летнего ряда СберИндекса по РФ снимает главную ошибку на коротких горизонтах.

Ковариаты и cross-learning

Длинная история РФ как прошлая ковариата, календарь как будущая, совместный прогноз МО одного субъекта.

Интервалы для мониторинга

Выход факта за 95%-интервал Chronos-2 — лучший онлайн-детектор по F1 при сигнале в месяц шока.

LoRA-дообучение

300 шагов на панели сделали прогноз на 1–6 мес. в 2–3 раза хуже: на коротких рядах дообучению нужна ранняя остановка.

Обнаружение структурных изменений

В реальные ряды вносились шоки известной формы и величины. Параметры методов подбирались на одной выборке, оценка — на другой, в режиме ежемесячного мониторинга: в месяц t метод видит только данные до t.

Точность против ложных тревог

Полнота по типу и величине шока

Новости: как заголовок становится признаком

шаг 1Сбор

Суточные архивы Интерфакса и Lenta.ru, только дата, заголовок и рубрика.

шаг 2Геопривязка

Леммы pymorphy3 и газетир из справочника МО: субъект, район, город-центр.

шаг 3Тип события

ЧС и стихия, атаки, аварии, экономика; отраслевые темы для категорий трат.

шаг 4As-of индекс

Месяц публикации, сюрприз к своей норме за 6 месяцев, только прошлое.

Реакция расходов на шоковые новости о самом МО

Изменение относительного индекса (п.п.) к среднему за 3 месяца до события, 95% ДИ по эпизодам. Предтренд около нуля.

Где новостной фон был самым тревожным

Кейсы

Паводок апреля 2024 г. в Орске почти не изменил общие расходы, но перестроил их структуру: в месяц паводка упали траты на маркетплейсах и здоровье, в мае они отскочили вместе с общепитом. Детектор BOCPD отметил апрель в «Маркетплейсах» и «Здоровье» (▼). Значения — отклонение от сопоставимых городских округов.

Орск: относительный индекс по категориям

«Маркетплейсы» в городах паводка

Апрель 2023: расхождение «город — село»

Медианы по группам МО, лог-изменение к марту 2023 г. Сдвиг затронул сотни рядов одновременно и не сопровождался новостями — это общегрупповое изменение, а не локальный шок. Поэтому детектор сравнивает МО только с сопоставимыми МО.

Проводник по муниципалитетам

Факт 2023–2024 гг., прогноз итоговой модели и Prophet из декабря 2023 г. на 12 месяцев, точки изменений и месяцы с шоковыми новостями о МО.

Методология и воспроизводимость

Без утечки

Модель получает матрицу, где всё после точки прогноза скрыто; внешние ряды и новости фильтруются по дате публикации.

Метрики

MAE (основная), R² по уровням и по динамике, RMSE, WAPE, MASE; тесты значимости против Prophet.

Конфигурация

Все гиперпараметры в YAML; полный прогон одной командой, быстрая проверка на подвыборке.

make setup && make data && make dataset news
make forecast && make cpd && make figures report