Data Science для предсказания спроса: как это работает на самом деле

Что такое Data Science

Data Science — это не единая наука, а междисциплинарная область. Она объединяет статистику, анализ данных, математику, машинное обучение, стратегическое планирование и компьютерные науки с общей целью: извлечь знания и сделать практические выводы из данных. Задача Data Science — преобразовать неструктурированные или слабоструктурированные данные в понятную и полезную информацию.

Вот какие методы используют в Data Science для прогнозирования спроса:

1. Статистический анализ. Сведения обрабатывают по формулам, которые помогают выявить закономерности — например, зависимость среднего чека от времени суток.

2. Data Mining или интеллектуальный анализ данных. Процесс похож на промывание песка в поисках золота: из огромного массива сведений извлекают скрытые закономерности, которые не видны при меньшей выборке. 

3. Машинное обучение (Machine Learning) — в отличие от программирования, которое построено на чётких инструкциях, машинное обучение не предполагает прямых указаний, программа учится через шаблоны и логические выводы. Нейросеть — один из примеров машинного обучения. 

4. Имитационное моделирование. Виртуальный эксперимент, который строит возможные сценарии при изменении разных параметров. Например, как изменится трафик, если торговую точку перенести на 300 метров ближе к метро.

5. Предиктивная аналитика. Формулы, по которым строятся предположения о будущих показателях на основе анализа внутренних данных и других релевантных параметров.

Бизнес уже активно применяет науку о данных в анализе и прогнозировании потребительского спроса. С помощью современных методов анализа данных и алгоритмов машинного обучения, предприятия могут учитывать множество переменных и влияющих факторов, находить между ними взаимосвязи и строить точные прогнозы. В качестве синонимов к Data Science часто упоминают искусственный интеллект (AI) и Big Data. Всё это — составляющие науки о данных и отдельные инструменты, которые используют для обработки данных, но не аналоги Data Science.

Зачем бизнесу Data Science

Вот в чём помогает работа с Big Data бизнесу:

1. Эффективно анализирует объёмы данных, которые человек не в состоянии обработать самостоятельно.

2. Исключает субъективное вмешательство при принятии решений: предоставляет бизнесу беспристрастные ответы, основанные на фактах, а не на мнении руководителя или маркетолога. 

3. Позволяет более подробно изучать целевую аудиторию и ареал её обитания.

4. Предоставляет инсайты для создания новых сервисов и продуктов через прогнозирование трендов.

5. Предсказывает спрос на различные группы товаров, что помогает оптимизировать запасы и избежать дефицита.

6. Помогает определить оптимальное время для проведения акций и специальных предложений.

7. Изучает боли и потребности аудитории с использованием данных из социальных сетей и информации о конкурентах.

8. Позволяет предлагать индивидуальные товары в качестве альтернативы или допродажи, учитывая предпочтения клиентов.

9. Прогнозирует ценовые колебания, что помогает вовремя к ним адаптироваться.

В ритейле за счёт точных прогнозов значительно растёт эффективность: становится проще ставить финансовые цели и управлять ассортиментом, планировать маркетинговые активности, открывать новые точки или оптимизировать логистику в имеющихся. Прогнозирование спроса проводят и для решения более точечных задач. Например, таких:

• сформировать дерево принятия решений по определённым параметрам — например, самым релевантным предпочтениям покупателя;

• сформулировать задачи товара — приносить основную или дополнительную прибыль, закрыть новую ценовую нишу, улучшить репутацию марки;

• проанализировать спрос в разных торговых точках и скорректировать представления о ЦА;

• оценить эффективность маркетинговых кампаний;

• рассчитать отдельные бизнес-показатели: средний чек, валовую прибыль, трафик отдельных торговых точек;

• установить реальные показатели KPI.

Как использовать Big Data для предсказания спроса

Прогнозирование спроса с помощью Data Science проходит в несколько шагов:

1. Сбор данных. Здесь важно определить, какие сведения нужны для предсказания спроса, а затем найти подходящие массивы информации. Это могут быть внутренние данные компании (о продажах, инвентаре, клиентах), внешние источники (статистика, социальные сети, новости, информация о погоде), результаты исследований, веб-скрейпинг (извлечение данных с сайтов с помощью HTTP-запросов к серверу), геоаналитика. 

2. Подготовка к анализу. Прежде, чем сравнивать данные и делать из них выводы, все собранные сведения нужно подготовить: очистить, агрегировать, привести к единому формату, классифицировать. 

3. Выбор инструмента. Для каждой задачи есть своя модель машинного обучения. Чтобы выбрать подходящую, нужны определённые познания в Data Science, поэтому для подбора модели стоит либо сформировать отдел data-аналитики в компании, либо делегировать задачу внешним подрядчикам. Готовые решения именно для прогнозирования спроса обычно включают несколько машинных алгоритмов, настроенных на анализ покупательского поведения. 

4. Обучение машинной модели. Необходимо обучить выбранную модель на собранных данных, чтобы она могла найти закономерности между параметрами и спросом. После настройки модели её точность проверяют на тестовом предсказании: например, строят прогноз на прошлый год под данным позапрошлого и сравнивают результат с реальными показателями. При необходимости параметры работы корректируют.

5. Построение прогноза. Для областей с пластичным спросом (например, для ритейла) эксперты рекомендуют параллельно строить несколько прогнозов на разные сроки. Это позволяет корректировать долгосрочный прогноз, если в краткосрочных не учли какие-то важные параметры. 

Какие данные нужны для прогнозирования спроса

У большинства машинных моделей нет ограничений по количеству параметров, теоретически вы можете выбирать любые показатели для анализа. Для прогнозирования спроса потребуются такие данные:

1. Внутренние сведения компании: история продаж, справочники товаров, информация об изменениях цен, календарь промо-акций, сведения об ассортименте и складских остатках. 

2. Внешние данные: информация о погодных условиях, трафике покупателей, сведения о конкурентах, данные из соцсетей или от органов статистики. 

Критический минимум данных, которого хватит для приблизительного прогноза, можно собрать во внутренних источниках компании. Для настройки и обучения модели хватает информации о динамике продаж за прошлые периоды, товарного справочника и сведений о колебаниях цен. Оптимальная глубина архивов — это последние полтора года: такого срока хватит, чтобы обучить машинную модель на циклы разной продолжительности, вплоть до годового. Правда, тестовые прогнозы лучше делать краткосрочными, поэтому сведения лучше хранить с разбивкой по месяцам.

Для более точных прогнозов понадобятся данные из внешних источников. Они не всегда остро необходимы: например, давно доказано, что на продажи влияет погода, но построить долгосрочное предсказание с учётом этого параметра сложно — изменения погоды относительно точно предсказывают максимум на две недели вперед. Но более усредненные показатели всё же стоит учитывать, хотя бы на уровне сезонности.

Для прогнозирования спроса очень важно понимание покупательского поведения: привычки, мотивы для покупки, финансовые возможности. Анализа внутренних данных (среднего чека, истории продаж) для этого понимания мало, он дает только представление о том, как клиент взаимодействует с конкретным бизнесом. Чтобы увидеть общую картину, нужно учитывать ценовую политику и финансовые результаты конкурентов, для этого нужно проанализировать транзакции большого количества покупателей. А чтобы выделить поведенческие особенности ЦА, придется учесть также интернет активность, привычки телесмотрения, интересы в соцсетях — информационное поле, которое влияет на решение о покупке. 

Получить все нужные для прогнозирования сведения довольно сложно: во-первых, анонимность потребителя охраняет закон, а во-вторых, существенная часть данных принадлежит бизнесу, а частные компании не дают доступ к своим архивам третьим лицам. Обе эти проблемы решает модель прогнозирования спроса от Platforma — российского маркетплейса инструментов Big data. В рамках партнёрских проектов Platforma получает массивы обезличенных данных от крупнейших телекоммуникационных компаний (например, «Ростелеком» и «Теле2»), банков (ВТБ) и других игроков рынка. Вся информация о потребителе абсолютно анонимна, машинный алгоритм учитывает точки геолокации, суммы транзакций, реакцию на рекламу, но не имена, адреса или другие личные данные. 

Модель прогнозирования спроса от Platforma обрабатывает не только внутренние сведения компании — она учитывает партнерские и даже сторонние данные, а также человеческий фактор — мотивацию потребителя, его ценности, социальный статус, привычки и боли. Нейросети обрабатывают огромные массивы данных: это разнородная информация о поведении миллионов покупателей, что делает выборку по-настоящему показательной, а прогноз — максимально точным.