Эскорт-Сервис – пилотный проект по прогнозу [дистрибуция]

Цели и содержание пилотного проекта

Цели проведения пилотного проекта:

– оценить качество и структуру исходных данных для задач прогнозирования спроса;

– апробировать совместно с заказчиком применение методов предиктивной аналитики для планирования продаж;

– продемонстрировать возможности технологической платформы Deductor по решению задач прогнозирования спроса и управления товарными запасами;

– оценить экономический эффект от внедрения системы управления товарными запасами.

В рамках пилота заказчику было предоставлено:

  • Хранилище данных: витрина данных, содержащая исходные данные, промежуточные расчеты и конечные результат прогнозирования.
  • Сценарий для платформы Deductor с разработанными отчетами и визуализаторами, отражающие основные результаты реализации этапов проекта.
  • Инструкция по установке платформы на рабочем месте заказчика.
  • Сценарий работы пользователя с решением.
  • Отчет с рекомендациями по результатам пилотного проекта.

1. Анализ полученных данных

В рамках проведения пилотного проекта от заказчика были получены следующие данные:

  • Данные о реализации продукции по одному складу Заказчика в период с 05.01.2014 по 14.09.2016. Данные предоставлены по 974 артикулам из 69 товарных групп.
  • Данные об отгрузках и перемещениях товара со склада в период с 20.01.2014 по 12.09.2016 по 940 артикулам.
  • Справочник товаров.

Вывод: предоставленных Заказчиком данных достаточно для построения адекватных моделей прогноза спроса на продукцию. При этом необходимо проведение очистки данных: удаление дубликатов по товарам и артикулам, проведение однозначного сопоставления данных по всем таблицам.

2. Очистка и оценка качества данных

При исследовании полученных данных были обнаружены следующие артефакты:

  • Справочник товары:
    • Артикул 12287034 повторяется дважды
    • 28 наименований продукции имеют сдвоенные артикулы (на одно наименование приходится два разных артикула).
  • Таблица остатков:
    • В справочнике товаров отсутствуют данные по 115 артикулам из таблицы остатков.
  • Таблица продаж:
    • По 12 артикулам есть данные о продажах, при этом отсутствуют данные по остаткам.

Кроме того, данные в таблице остатков представлены по факту их реализации или перемещения продукции. Пропущенные значения временного ряда были восстановлены за счет повторения последнего имеющегося наблюдения (LOCF).

Процедуры загрузки, очистки и трансформации данных проведены средствами платформы Deductor, с загрузкой в хранилище уже очищенных от ошибок и дубликатов данных.

Вывод: Для дальнейшего построения прогноза были отобраны 777 артикулов, по которым имеются данные как об остатках, так и о продажах продукции. При реализации проекта в рамках компании потребуется разработка методики и реализация процедур обеспечения качества исходных данных для анализа в части сопоставления информации об остатках и продажах, а также управления нормативно-справочной информацией в части справочника товаров.

3. Восстановление продаж

Случаи отсутствия продаж при нулевых остатках трактуются как дефицит товара. Для повышения качества исходных данных применяется гипотеза о том, что если бы в выявленные периоды дефицита у предприятия были бы остатки товаров, то продажи в этот период также были бы ненулевые.

Восстановление спроса при дефиците товара производилось за счет среднегодовых недельных продаж. Объем восстановленного спроса по всем продуктам в абсолютных величинах отражен на следующем графике:Объем восстановленного спроса

Рисунок 1. Объем восстановленного спроса

Всего спрос был восстановлен по 274 товарным позициям. В натуральном выражении спрос восстановлен на 242 868 единиц товара.

Полный результат восстановления спроса представлен в отчете «Восстановленные продажи»

Вывод: выбор методологии восстановления спроса в данном пилотном проекте основан на профессиональном экспертном заключении исполнителя и является примером реализации лишь одной из возможных процедур восстановления. В будущем для улучшения точности прогнозировании необходимо проведение экспертной оценки методологии восстановления спроса со стороны заказчика проекта.

4. Исключение аномальных продаж

Для повышения качества исходных данных данные были проанализированы на наличие аномальных пиков продаж. Аномальные продажи связаны с непрогнозируемым случайным повышенным спросом на товар.

Аномальные продажи были сглажены в разрезе объектов прогнозирования (товарных групп) путем заменых пиков годовых недельных продаж на максимальные нормальные значения. Данный метод не вносит значительных изменений в данные, и позволяет сгладить единичные выбросы в течении года. Абсолютный объем сглаженного спроса представлен на следующих графиках:Абсолютный объем сглаженных аномалий

Рисунок 2. Абсолютный объем сглаженных аномалий

Пример сглаживания аномального спроса по отдельной товарной позиции:Сглаживание аномального спроса по товарной группе 026.07 5 злаков

Рисунок 3. Сглаживание аномального спроса по товарной группе 026.07 5 злаков

Полный результат сглаживания временных рядов представлен в отчете «Исключение аномальных продаж»

 

Вывод: выбор методологии восстановления сглаживания аномального спроса в данном пилотном проекте основан на профессиональном экспертном заключении исполнителя и является примером реализации лишь одной из возможных процедур удаления аномального спроса. В будущем для улучшения точности прогнозировании необходимо проведение экспертной оценки методологии сглаживания аномального спроса со стороны заказчика проекта.

5. Анализ объектов прогнозирования (товарных групп)

В качестве объекта прогнозирования выступают недельные продажи продукции в разрезе товарных групп. Для непосредственного выбора способа прогнозирования, объекты были проанализированы с точки зрения следующих характеристик:

  • Доля недель с нулевыми продажами;
  • Наличие тренда во временных рядах;
  • Наличие сезонности;
  • Наличие автокорреляции (проверка ряда на случайность).

По результатам исследования временных рядов принимается решение о выборе моделей прогнозирования.

5.1. Количество пропусков во временных рядах

Большое количество пропусков во временных рядах (периодов с нулевыми продажами) делает невозможным адекватное автоматизированное применение статистических и методов машинного обучения для прогнозирования спроса на товар. Поэтому были проанализированы на наличие пропусков данные о продажах в течении всего исследуемого интервала (140 недель) и последних 10 недель реализации товара.Данные о нулевых продажах и общем количестве продаж за весь период наблюдений

Рисунок 4.  Данные о нулевых продажах и общем количестве продаж за весь период наблюдений

Соответственно объекты прогнозирования с периодом наблюдения менее 27 недель либо долей нулевых продаж более 80% за последние 10 недель отмечаются как прогнозируемые экспертными методами. Всего не поддаются адекватному автоматизированному прогнозированию 9 временных рядов. Данные ряды должны прогнозироваться экспертными методами:

Объект прогнозирования Количество наблюдений Процент пропусков Количество пропусков за последние 10 недель Качество данных Оценка ряда
MSK-Эскорт Сервис – 026.02 Каша гречневая 97 2.06 10 Количество нулевых продаж низкое Мало данных для прогноза
MSK-Эскорт Сервис – 03.3Дегидрированные вторые блюда моментальн. приг-я 79 2.53 10 Количество нулевых продаж низкое Мало данных для прогноза
MSK-Эскорт Сервис – 04.3.1 Специальные смеси 66 87.88 10 Неприемлемое количество нулевых продаж Мало данных для прогноза
MSK-Эскорт Сервис – 06.1 Белый шоколад 75 82.67 9 Неприемлемое количество нулевых продаж Мало данных для прогноза
MSK-Эскорт Сервис – 07.1 Весовые 65 0.00 10 Нулевых продаж нет Мало данных для прогноза
MSK-Эскорт Сервис – 10.1 Вафельный торт 126 24.60 10 Неприемлемое количество нулевых продаж Мало данных для прогноза
MSK-Эскорт Сервис – 14.1 Дольче Густо (кофемашинки) 99 71.72 10 Неприемлемое количество нулевых продаж Мало данных для прогноза
MSK-Эскорт Сервис – 04.4.11 Молочные напитки 24 95.83 10 Неприемлемое количество нулевых продаж Мало данных для прогноза
MSK-Эскорт Сервис – 17.1 Кофе и напитки 10 80.00 10 Неприемлемое количество нулевых продаж Мало данных для прогноза

Таблица 1. Ряды, прогнозируемые только экспертным методом

Данные о количестве пропусков представлены в одноименном отчете, а также на вкладке оценка данных.

5.2. Анализ временных рядов и методы прогнозирования

На данном этапе производится анализ временных рядов объектов прогнозирования с точки зрения наличия тренда и сезонности. Проверка данных на наличие тренда и сезонности позволяет адекватно применять сезонно-трендовые модели в автоматизированном режиме. При этом прогноз на будущие периоды также будет строиться и с применением более простых методов.

Распределение объектов прогнозирования в соответствии с применяемыми моделями выглядит следующим образом:Распределение объектов прогнозирования в соответствии с применяемыми моделями

Результат анализа временных рядов представлен в отчете «Выбор методов прогнозирования».

Вывод: качество имеющихся данных позволяет продемонстрировать работу блока прогнозирования в рамках пилотного проекта.

6. Построение прогноза

Прогнозирование спроса на продукцию осуществлялось по преобразованным временным рядам: восстановленных по дефициту товары и сглаженных от аномалий продаж. В качестве объектов прогнозирования были выбраны продажи по товарным группам, при этом прогноз реализован на суммарных недельных продажах. При прогнозировании использовался вся представленная заказчиком история продаж. Горизонт построения прогноза: 8 недель.

При построении прогнозов использовались следующие конкурирующие модели:

  • Средние продажи за 8 недель.
  • Прогноз на основе линейного тренда.
  • Аддитивная модель. Представляет собой аддитивную линейно-трендовую декомпозицию временного ряда.
  • Модель линейной регрессии (с фиктивными переменными тренда и сезонности).
  • Модель Нейросети (с фиктивными переменными сезонности и предыдущих значениях спроса).

Сравнение качества моделей осуществлялось на тестовой выборке: спрос за 4 недели в период с 15.08.2016 по 19.09.2016. В качестве источника прогноза выбрана модель с наименьшей ошибкой на тестовой выборке. При этом данный интервал не использовался при обучении моделей. Прогнозирование осуществляется только для моделей с достаточным количеством и качеством данных (метод прогнозирования – не экспертный прогноз)

Результат выбора прогнозных моделей, прогноз, а также ошибки прогнозирования представлены в отчетах: «Лучшая прогнозная модель» и «Оценка качества прогноза по группам»

Пример прогноза спроса на 4 недели представлен в таблице ниже:

Товарная группа прогноза Наименование лучшей модели 26.09.2016 03.10.2016 10.10.2016 17.10.2016
01.1.1 ТОП По среднему 9 522.75 10 259.09 10 618.73 10 479.57
01.2.1 ТОР Адитивная модель 7 028.87 5 328.03 4 865.96 0.00
01.3 Кофейные смеси Адитивная модель 48 485.09 33 102.98 37 470.14 24 501.99
026.01  Каша овсяная По среднему 4 191.13 4 407.64 4 601.60 4 824.92
026.05 Каша с молоком По среднему 4 115.75 4 335.34 4 581.01 4 706.14
026.07  5 Злаков Адитивная модель 433.61 172.53 0.00 30.27
026.10 Хлопья Линейная регрессия 13.74 16.27 6.04 15.22
03.10 Основа для супа По тренду 5 307.81 5 291.76 5 275.71 5 259.66
03.2 Дегидрированные бульоны По тренду 5 165.43 5 162.63 5 159.82 5 157.02
03.4 Дегидрированные смеси для вторых блюд По тренду 14 016.69 14 061.43 14 106.17 14 150.91
03.7 Дегидрированные специи и приправы По среднему 5 755.88 5 914.48 6 064.17 6 357.07
03.8 Дегидрированные супы быстрого приготовления По тренду 2 447.00 2 420.09 2 393.18 2 366.27
03.9 Дегидрированныесупы моментального приготовл-я Нейросеть 5 709.39 5 724.08 6 370.89 5 682.61
04.1.1 Детские мясные пюре По среднему 244.13 250.64 263.97 243.34
04.1.2.1 Гербер овощи 80г По тренду 649.40 647.92 646.44 644.97
04.1.2.2 Гербер овощи 130г По тренду 152.88 144.25 135.62 127.00
04.1.3 Детские соки и нектары По тренду 12.58 11.52 10.45 9.39
04.1.4.1 Гербер фрукты 80г По тренду 401.15 395.00 388.85 382.70
04.1.4.2 Гербер фрукты 130г По тренду 55.78 33.85 11.92 0.00
04.1.4.3 Гербер фрукты 90г Линейная регрессия 1 919.37 1 989.80 3 006.12 2 883.84
04.3.2 ТОП По тренду 475.23 466.59 457.95 449.31
04.4.1 Безмолочные детские каши По тренду 76.28 72.93 69.59 66.25
04.4.10 Молочные детские каши По тренду 556.05 557.22 558.38 559.55
05.1 Батончики с цельными злаками Нейросеть 4 614.50 5 745.87 22 367.86 22 298.83
06.10 Шоколадные изделия для детей По среднему 386.75 396.34 425.26 452.42
06.11 ТОР Линейная регрессия 41 816.94 28 776.03 25 288.35 20 171.30
06.2 Молочный шоколад По тренду 4 248.00 4 190.70 4 133.41 4 076.11
06.4 Серия молочного шоколада с ингредиентами По тренду 6.44 6.35 6.25 6.15
06.5 Серия премиального шоколада ‘Золотая Марка’ Нейросеть 49.03 49.02 49.02 46.65
06.6 Серия шоколада ‘Нестле Классик’ По тренду 25.27 24.00 22.73 21.45
07.2 Комильфо Линейная регрессия 1 086.97 913.63 724.53 437.19
07.3 Нестле Россия По тренду 540.96 526.61 512.26 497.92
08.1 ТОР По среднему 24 719.13 26 205.14 26 841.28 28 347.94
09.1 Карамель фасованая Адитивная модель 1 669.42 0.00 0.00 867.89
09.2 Мармелад По тренду 11 440.33 11 503.58 11 566.82 11 630.06
12 А Весовые конфеты Нейросеть 744.99 750.20 750.57 750.39
12 Весовые конфеты По среднему 297.88 298.48 293.67 313.63
14.2 Дольче Густо (капсулы) Нейросеть 1 064.77 1 019.55 1 019.55 1 019.55
2.1 Несквик По тренду 3 393.60 3 406.97 3 420.34 3 433.72
Какао порошок российский Адитивная модель 0.00 0.00 0.00 0.00
Шоколад “Априори” По тренду 899.08 886.59 874.10 861.60

Таблица 2.  4-недельная выборка из прогноза спроса в разрезе товарных групп.

Разгруппировка прогноза до уровня отдельных SKU производилась с учетом исторической доли товара в объеме продаж товарной группы. Результаты разгруппировки до уровня товара отражены в отчете «Скорректированный прогноз спроса по товарам»

Оценка адекватности прогнозов в разрезе SKU осуществлялась с учетом исторических данных о продажах за последний год. В частности, рассматривается отклонение от средних, максимальных и минимальных продаж товара за год. Границы прогнозов, требующих экспертной оценки: среднегодовые недельные продажи ± 0.5*(среднегодовые недельные продажи). Границы прогнозов, требующих экспертного вмешательства: 0.5*(минимальные недельные продажи за год) и 0.5*(максимальные недельные продажи за год).Пример границ адекватности прогноза

Рисунок 5. Пример границ адекватности прогноза

Например, вышеприведенный характер прогноза, может потребовать подтверждения экспертом адекватности представленной периодичности спроса на товар.

Для прогнозов требующих экспертного вмешательства необходима их обязательная проверка корректировка аналитиком. Для прогнозов, требующих экспертной оценки, необходима их верификация аналитиком. Качество (адекватность) недельных прогнозов, представлено в таблице.

Прогноз адекватен Прогноз требует экспертной оценки Требуется экспертное вмешательство
Товар | Фирма производитель Количество прогнозов Доля Количество прогнозов Доля Количество прогнозов Доля
НЕСТЛЕ 1 502 54.74% 1 016 37.03% 226 8.24%

Таблица 3. Адекватность недельных прогнозов

Информация о адекватности прогнозов и границах прогнозирования представлена в отчетах: «Качество прогноза по контрактам и складам» и «Качество прогноза по SKU».

Вывод: имеющаяся данные позволяют строить прогнозы, на основе статистических и методов машинного обучения. Но для реального применения прогнозов и повышение их точности и адекватности необходимо произвести перенастройку моделей.

7. План закупок по товарным позициям

Так как отсутствуют данные об ограничениях в политике закупок, был представлен пример понедельного плана закупок с учетом корректировок на проводимые маркетинговые акции. План проведения маркетинговых акций отражен в отчете «Маркетинговые акции», а план закупок скорректированные на проводимые маркетинговые акции отражен в одноименном отчете.

8. Эффекты от внедрения платформы Deductor

Для оценки эффектов от внедрения системы прогнозирования спроса Deductor Demand Planning (DDP), была произведена оценка точности прогнозов DDP за период (август-сентябрь 2016 г.) по сравнению с базовыми прогнозами Заказчика. Так как на этапе оценке качества данных часть артикулов была исключена из прогнозирования, кроме того часть временных рядов должны прогнозироваться экспертными методами для сравнения оставлены только те DBC-наименования, по которым имелся прогноз платформы DDP. Также из базы сравнения были исключены акционные товары.

Оценка точности прогнозирования и экономический эффект

Для сравнения точности прогнозов использована метрика Абсолютного отклонения (%). В таблице представлены интервалы точности прогнозирования как в разрезе артикулов, так и в разрезе доли этих артикулов в общем объеме продаж (данные приставлены накопительным итогом):Сравнение точности прогнозов

Рисунок 6. Сравнение точности прогнозов

Точность прогнозов DDP в натуральных единицах лучше в сентябре и хуже в августе. При этом, что важно, значительно лучше прогнозируются товары с большей долей реализации в общей сумме продаж. Соответственно основные ошибки приходятся на товары с малым объемом реализации. Для устранения данного эффекта потребуется более тонкая оценка алгоритмов разгруппировки агрегированных временных рядов.

Медианы абсолютных ошибок (%), за два месяца по всем сравниваемым DBC составили 53,95% и 61,2 для DDP и базового прогноза, что также свидетельствует о более высокой прогностической способности модели.

Для оценки экономического эффекта от повышения тонности прогноза сделано допущение о равнозначности эффектов от излишнего и недостаточного заказа (занижения прогноза связывает оборотные средства в страховом запасе). Прогноз DDP показал меньшее отклонение при оценке объема реализации в руб. по исследуемым DBC кодам на 22% в августе и 45% в сентябре:Сравнение точности при прогнозировании объема продаж

Рисунок 7. Сравнение точности при прогнозировании объема продаж

Соответственно при данном улучшении качества прогнозирования потребность в оборотных средствах может быть уменьшена на 15,6%. (Оценочное значение, предполагающее 100% покрытие дефицита за счет страховых запасов)

Дополнительные эффекты

Дополнительные преимущества внедрения платформы Deductor в процесс управления товарным запасом:

  1. Снижение человеческого фактора при формировании прогнозов: снижается вероятность ошибки при обработке данных, устраняется субъективность при оценке факторов, влияющих на спрос. Например, аналитики при прогнозировании спроса часто имеют склонность к перестраховке и небольшому завышению прогноза, что ведет к связыванию дополнительных оборотных средств.
  2. Значительно сокращаются трудозатраты при реализации процесса прогнозирования. Кроме того, снижаются требования к квалификации рядовых аналитиков и зависимость компании от конкретных исполнителей.
  3. Результатом внедрения платформы является настроенный и формализованный бизнес-процесс формирования прогноза и заказа. Процесс имеет четкую схему исполнения, соответственно всегда можно вернуться к необходимому шагу, чтобы выяснить почему были получены те или иные результаты.
  4. Модульная структура платформы позволяет гибко настроить бизнес-процесс прогнозирования при внедрении ПО. Возможно создавать собственные схемы реализации процесса заказ, вплоть до каждого отдельного SKU.
  5. Адаптивность системы к изменению исходных данных. Если не переобучать модель прогнозирования и применять ее к новым данным, то ее точность прогнозирования начнет стремительно снижаться с течением времени. В платформе Deductor же, модели каждый раз автоматически переобучаются и оцениваются на обновленных временных интервалах, что позволяет автоматически поддерживать максимальную, из возможных для данных моделей, точность прогноза.
  6. Deductor является не просто системой прогнозирования спроса и формирования заказа, а полноценной аналитической платформой со всем необходимым функционалом моделирования. Соответственно появляется возможность дальнейшего развития процесса прогнозирования в компании, создавая новые модели, учитывающие факторы внешней среды:
    1. Прогнозы погоды
    2. Макроэкономику
    3. Религиозные праздники с плавающими датами
    4. Проведение в регионе крупных спортивно-развлекательных мероприятий
    5. «Каннибализм» товаров
    6. Корреляция спрос между товарами и пр.

Эксперты компании смогут сосредоточиться на наиболее высоко-маржинальных или проблемных продуктах, создавая для них собственные модели с учетом дополнительных факторов. Модульная структура платформы позволит легко встроить эти модели в настроенный бизнес процесс.

Выводы

Имеющиеся у заказчика данные и их структура позволяют осуществлять адекватное автоматизированное прогнозирование спроса на базе платформы Deductor. Возможно масштабирование процедуры на другие товарные группы и филиалы.

Предварительно будет необходимо провести очистку данных, так как имеется дублирование артикулов и наименований, а также неполное соответствие таблиц продаж и остатков. Кроме того, необходимо проведение корректировки методологии восстановления спроса с учетом эластичности спроса на отдельные товары к дефициту, способов удаления аномальных продаж с учетом конкретной специфики бизнеса заказчика, а также способов группировки объектов прогнозирования с учетом товаров заменителей.  Проведение данных процедур невозможно без полноценного привлечения специалистов заказчика и формализации их экспертных знаний. Кроме того, потребуется дополнительная настройка гиперпараметров моделей под специфику данных заказчика, что также позволит увеличить точность прогнозирования.

Также в рамках пилотного проекта функционал автозаказа реализован только исходя из имеющихся данных, и его возможности показаны не полностью. При внедрении системы для расчета автозаказа планируется использовать данные о параметрах доставки (календарь поставок, кратность заказа товара, логистические плечи, товары в пути и пр.), что позволит подобрать оптимальный страховой запас и найти баланс между объемами заказов, затоваренностью склада и вероятностью дефицита.

Сравнивая качество прогнозов, можно сделать вывод, что прогнозы платформы DDP обладают более высокой прогностической силой по сравнению с базовым прогнозом. При этом более высокая точность прогнозирования наиболее продаваемых товаров позволяет значительно снизить потребность в оборотных средствах (до 15,6%) при заказе продукции.

 

Сохранить