Стартап аналитика

Посетив в ноябре конференцию по маркетинговой аналитике MateMarketing 2018, я был одним из слушателей доклада Дмитрия Аношина (Amazon), который рассказывал про создание систем аналитики BI/DWH.

На мастер-классе мы разбирали Snowflake и Tableau. Выступление мне понравилось, и я продолжил с ним общение. К слову, у Дмитрия очень хороший Telegram канал, который будет полезен всем, кто интересуется или работает в области Business Intelligence, Data Warehouse, Big Data. Канал называется «Инжиниринг Данных» и доступен по ссылке t.me/rockyourdata.

Материал, которым я хотел бы поделиться с вами в этом руководстве, взят из канала Дмитрия с его согласия. Речь пойдет об аналитике стартапов. Повествование сохраняется от лица автора. Начинаем...

Очень много материалов как нужно строить аналитику стартапов или бизнеса на ранней стадии развития. Мне нравятся подходы, которые там используются. Многие из них можно применять в работе, часто они просты и понятны.

Зачем нужна аналитика? Аналитика необходима для принятия стратегических и тактических решений. Любой бизнес должен зарабатывать деньги. Для того, чтобы этот процесс контролировать и принимать решения, нужны данные. В зависимости от сферы бизнеса и размера, существуют разные варианты развития событий. Самая главная задача - это начать собирать данные, желательно, правильные данные.

Есть рекомендации, что делать в зависимости от стадии развития бизнеса (стартапа) и какой типа инструментов использовать. Данные примеры про онлайн бизнес.

(1-10 сотрудников): вы только начали. Как правило, на этой стадии ресурсы ограничены. Данные нам необходимы. Очень важно решить, что мы собираемся измерять. Нам нужно быстро получить обратную связь, и вносить изменения в продукт.

Инструменты: Google Analytics или Яндекс.Метрика отлично подойдут для веб-сайта. Если у вас приложение, то можно использовать Google, Mixpanel, Adjust и другие вещи, которые уже имеют набор необходимых метрик. В качестве BI подойдут Google Spreadsheets или Google Data Studio. Мой любимый Klipfolio.

Чего не делать: не покупайте дорогие тулы для DWH/ETL/BI. Данные и бизнес требования меняются.

(10-20 сотрудников): команда растет, и людям необходимы данные для принятия решений и развития бизнеса. Вы нанимаете человека заниматься маркетингом. Необходимо отслеживать все рекламные кампании и мониторить косты. Может появиться отдел продаж (Sales), который будет работать с клиентами, самое время для CRM системы, где отслеживаются все взаимодействие с клиентами.

Также могут быть нужны люди для поддержки клиентов (Customer Service). На этой фазе нам необходимо выбрать показатели, которые будут измерять эффективность каждого направления бизнеса. Лучше обойтись без выгрузок в MS Excel (=много рутинной ручной работы). Возможно, вам понадобиться скрещивать данные (Sales <-> Marketing), это можно сделать в BI инструменте. На этой стадии также необходимо проводить опросы (Survey) клиентов и собирать данные, подойдет Survey Monkey и аналоги.

Инструменты: все еще Google Analytics или Яндекс.Метрика для трафика, и CRM. Данные уже живут в разных системах и у нас несколько вариантов:

• создать единое хранилище данных, куда мы будем загружать данные и дальше строить отчетность;
• использовать BI инструмент, который позволяет строить отчеты, используя подключения к нескольким системам.

Чего не делать: на данной фазе компании обходятся без BI разработчика и аналитика, поэтому еще рано инвестировать в дорогие решения аналитики. Главное - тратить время на анализ данных, а не на их трансформацию и загрузку в хранилище.

(20-50 сотрудников): как правило, данный этап наступает после 2-х лет тяжелой работы. Также у вас появляются инвесторы и появляются дополнительные деньги на развитие. Сейчас самое время, использовать качественные решения для аналитики и создания решения DW/ETL/BI, чтобы нанять на работу профессионала в этой области.

Инструменты: облачные решения - идеальный вариант (Snowflake, Redshift, Big Query, Azure Cloud, Tableau, Power BI, Looker и т.п.). Облако дает нам несколько преимуществ: скорость развертывания, гибкая цена, мы платим только за то, что используем и простота масштабирования. Вам необходимо нанять человека или консультанта, который сможет быстро создать такое решение.

Чего не делать: еще рано использовать Machine Learning (если это не основа вашего продукта). Не тратьте время на скрипты для ETL, используйте готовые решения (Pentaho DI, Talend, Azure Data Factory, AWS Glue и т.п.). Не используйте Enterprise BI (SAP BO, MicroStrategy, IBM, Oracle), они дорогие и не гибкие. Не используйте open source базы данных PostgreSQL/MySQL, они плохо масштабируются и не подходят в качестве аналитической БД.

(50-150 сотрудников): эта фаза считается самой сложной. У вас все еще не очень большая команда и недостаточно ресурсов. Но есть потребность у бизнеса в качественной аналитике. На данном этапе аналитика должна помогать управлять бизнесом, и добавлять ценность как никогда ранее. Необходимо задуматься о создании модели данных, чтобы лучше трансформировать бизнес логику в данные. Модель нужна, чтобы синхронизировать бизнес пользователей и создать так называемый Single Point of Truth (единую точку правды), иначе каждый из департаментов будем иметь свою прибыль. Необходимо развивать собственную команду аналитики и расширять штат. Основные скиллы - это SQL, BI, ETL. Также вы начинаете использовать статистику и data mining, например, для бюджетирования, или строите модель оттока. Ну и, конечно, стоит пересмотреть подход с атрибуцией.

Инструменты: DBT, Erwin, MySQL Workbench. Все они позволяют рисовать модель данных, она должна отражать бизнес-процессы и все необходимые показатели. Необходимо использовать версионность (Git, SVN). Возможно стоит подумать и переходе на Google Analytics Premium или использовать любую другую система аналитики, в которой нет ограничений и которые не забирают ваши данные. Например, Snowplow, Tealium. Стоит добавить в арсенал Jupyter Notebook или RStudio.

Чего не делать: вы все еще может обойтись относительно недорогими решениями или open source, нет смысла «стрелять из пушки по воробьям». Big Data решения (Hadoop, Spark, Data Lake, Real time streaming) пока еще подождут.

(150-500 сотрудников): на данном этапе мы должны создавать аналитическое решение, которое может быть легко масштабируемо. Обычно на 150 сотрудников, BI команда состоит из 3-6 человек, при 500 сотрудниках, команда вырастает до 30 человек. Очень важно управлять ростом, иначе производительность команды при ее росте будет падать (я прошел через такой рост, и наблюдал это). Необходимо задуматься о качестве данных (QA), об управлении данными и их безопасности.

Например, работая в Lamoda, все имели доступ к клиентской базе (3 млн.+ клиентов), и этот доступ никак не отслеживался. Для повышения надежности решения аналитики необходимо делать ревью всех изменений (BI, DW, ETL). Очень важно наладить процесс документации, тренингов и процесс передачи знаний. Никто из команды не должен быть «узким местом». Так же у вас есть выбор в методе организации аналитики. Например, может быть отдельная BI команда, а могут быть распределенные ресурсы, которые обслуживают свою команду (BI Champions).

Инструменты: аналитическое хранилище данных (Redshift, Big Query, Azure, Snowflake), надежное решение ETL, BI (Tableau, Looker), решения Big Data (Hadoop, Spark), решения Machine Learning. Можно посмотреть Gartner или Forrestert, и использовать решения лидеров.

Чего не делать: никаких поблажек, аналитика на данном уровне занятие не простое и требует хороших скиллов и опыта. Необходимо четко следовать правилам (QA, code review, data governance, documentation и т.п.).