Путь аналитики в бизнесе от старта

Всем привет? Пока ездил в Киев, написал большой и, надеюсь, интересный пост:)

Я часто встречаю и слышу о ситуациях, когда компании не до конца понимают, какие инструменты на каком этапе развития бизнеса использовать. Из-за этого они либо недостаточно развивают свою аналитическую инфраструктуру, либо слишком усложняют её, используя инструменты, которые по факту им не нужны. Хочу попробовать немного внести ясность и предложить инструменты под каждый конкретный этап развития.

Давайте опишем эволюцию аналитики на примере интернет-магазина спортивной одежды.

ЭТАП 1️⃣
Мы только начинаем: закупили первую партию товаров, заказали за недорогую цену разработку интернет-магазина, вложили деньги в какие-то маркетинговые активности. Скорее всего, мы работаем одни или нам помогает пара человек. В общем, о каком-то штате сотрудников тут речи не идёт.

Денежные ресурсы ограничены, но уже на первом этапе важно начинать собирать данные и проводить какую-то аналитику для принятия решений. Сейчас нам важно в первую очередь анализировать эффективность каналов трафика, по которым люди переходят на сайт, и поведение пользователей на сайте, так как сайт является основной точкой продаж. Нужно понять, что людям нравится на сайте, что не нравится, что мешает им совершить заказ. Есть хорошая новость – в отличие от оффлайн-магазинов, это достаточно легко отследить)

На данном этапе хорошо подойдут бесплатные инструменты веб-аналитики, такие как Google Analytics или Яндекс Метрика (для российского рынка). Важно хотя бы на базовом уровне понимать работу этих инструментов и знать, как анализировать базовые отчёты. Здесь очень важно завести привычку регулярно (раз в день, 3 раза в неделю и т.д.) анализировать данные и тестировать различные гипотезы по улучшению сайта и маркетинга.

В качестве инструмента для фиксации сделок пока подойдёт обычный Google Spreadsheet (или Excel)

ЭТАП 2️⃣
Мы немного наладили различные бизнес-процессы (закупки, продажи, финансы, маркетинг), завели привычку регулярно анализировать данные. У нас уже есть небольшой штат сотрудников (до 20 человек) и отдел продаж. Продажи начинают стабилизироваться.

Здесь уже можно задуматься о внедрении CRM-системы (amoCRM, retailCRM, 1C, Bitrix, Salesforce и др.).
Также мы можем захотеть видеть уже полный путь клиента (от перехода на сайт до конечной сделки, которая фиксируется либо в Google Spreadsheets, либо в CRM) и понимать эффективность маркетинговых каналов в разрезе конечных продаж. Если вы пока не можете выделить много ресурсов на аналитику, то можно объединять данные веб-аналитики и данные о конечных сделках в Google Spreadsheets или в BI-инструменте (Google Data Studio, Klipfolio, Power BI). В идеале это автоматизировать, но, если с этим пока сложно, можно и вручную объединять. Можно также использовать недорогие решения «из коробки» — различные сервисы сквозной аналитики (типа Roistat, K50, Calltouch).
Если вы готовы вкладывать больше ресурсов, то можно уже сейчас задуматься о построении собственного хранилища (DWH) для хранения всех данных вашей компании. На данном этапе вы можете использовать решения на базе реляционных СУБД, таких как MySQL, MS SQL, PostgreSQL. Но если вы понимаете, что объём данных в будущем будет расти и вам нужно масштабируемое решение, я бы рекомендовал сразу использовать аналитические базы данных, такие как Google BigQuery, Snowflake, Clickhouse, Amazon Redshift или Azure Synapse.

Также можно использовать как ETL-инструменты, так и делать ELT, используя микс инструментов. Например, чтобы легко и недорого делать ETL, можно развернуть на сервере Pentaho Data Integration. Для ELT можно использовать инструменты по загрузке данных из различных источников в хранилище (Stitch, Renta, OWOX, Matillion Data Loader) в связке с инструментами для трансформации данных (например, dbt). При ELT трансформации можно также делать, используя внутренние возможности хранилищ (например, Scheduled Queries в BigQuery).

Для Extract and Load лично я предпочитаю использовать свои ETL-скрипты, которые запускаются в serverless среде (Google Cloud Functions, Google Cloud Run, Amazon Lambda и др.) Такой подход максимально удешевляет решение, но, если у вас нет достаточной экспертизы в написании кода и вам проще использовать готовые решения – используйте их, главное решить задачу бизнеса.

В качестве BI подойдёт любой удобный для вас инструмент.

ЭТАП 3️⃣
После вывода бизнеса на стабильный поток продаж, базового налаживания бизнес-процессов, мы хотим развивать и расширять наш бизнес. Мы можем увеличить количество каналов коммуникации с потенциальными клиентами (например, заказать разработку мобильного приложения), открыть оффлайн-точки продаж и т.д.

Здесь мы можем добавить в свой арсенал сервисы мобильной аналитики, такие как Firebase Analytics, AppsFlyer, AppMetrika, Adjust и др.

Также на этом этапе имеет смысл смотреть не только отчёты в BI-инструменте или в инструментах web/app аналитики, но и проводить более глубокую аналитику с использованием SQL, Python или R. Т.е. здесь мы можем подключать такие инструменты как Jupyter Notebook или R Studio.

ЭТАП 4️⃣
Мы уже неплохо раскачали наш бренд, на наш сайт и приложение ежедневно переходит несколько миллионов людей. Увеличивается количество источников данных и объём данных. Ещё больше растёт потребность в грамотной аналитике и текущей инфраструктуры уже недостаточно. Нам хочется получать «сырые» данные (без предагрегаций и агрегаций), чтобы получать большую гибкость в анализе данных.

На этом этапе мы можем уже строить платформу данных (Data Lake + DWH) или Lakehouse. Для этих целей мы можем использовать такие инструменты и их связки:

Amazon S3 + Amazon Redshift + Amazon Athena/Amazon Redshift Spectrum
Delta Lake (Databricks)
Google Cloud Storage + Google BigQuery
Azure Data Lake Storage + Azure Synapse
HDFS + Hive (Hadoop)

Также на этом этапе уже имеет смысл использовать облачные ETL-инструменты и оркестраторы с гибкими возможностями: Azure Data Factory, Amazon Glue, Google Cloud Dataflow, Matillion ETL, Fivetran, Apache Airflow, Luigi, Apache Nifi и т.д.

Для обработки больших массивов данных отлично подойдут Apache Spark, Databricks, Amazon Elastic MapReduce, Google Cloud Dataproc.

Также здесь важно использовать продуктовый подход к разработке инфраструктуры, т.е. внедрять Agile и DevOps практики: использование версионирования кода (Git), построение CI/CD пайплайнов (например, с использованием Azure DevOps, Google Cloud Build, AWS CodePipeline, Jenkins), поднятие кластера контейнеров (с использованием Docker и Kubernetes), использование Infrastructure as Code (Terraform, AWS CloudFormation и др.).

Для получения «сырых» данных мы можем также использовать стриминг и соответствующие инструменты: Apache Kafka, Amazon Kinesis, Google Cloud Pub/Sub, Spark Streaming, Azure Event Hub

ЭТАП 5️⃣
После выстраивания BigData архитектуры (создания платформы данных и настройки стриминга) мы можем проводить продвинутую аналитику, строить ML и DL алгоритмы и выводить их в продакшн. В инструментах для Data Science я не очень силён. Знаю только, что дата-сайнтисты используют Jupyter Notebook, AWS Sagemaker, Google Cloud AI Platform и др.