Встречайте - Метрика Про!

Пока мы с вами изучали различные функции и настройки базовой Яндекс Метрики, компания Яндекс не стояла на месте и разрабатывала все новые и прогрессивные решения. Одно из таких глобальных нововведений команда анонсировала весной этого года. Оно призвано заменить международные аналоги для высоконагруженных проектов с большим количеством трафика и отслеживаемых обращений (хитов). Готовы узнать что это? Тогда встречайте - Метрика Про!

Сразу хотелось бы отметить, что до поры до времени нижеприведенная информация была доступна небольшому количеству людей и распространялась через сертифицированных партнеров узкому кругу компаний. Ваш покорный слуга имел возможность чуть раньше, чем остальные узнать подробности про расширенные возможности Метрики Про, о которых я впервые рассказал для своих слушателей на онлайн-курсе по Яндекс Метрике в марте 2023 года, а с недавнего времени еще и потестировать новый функционал. Об этом я напишу в другой статье.

Если вы хотите, то можете посмотреть небольшой фрагмент из этой лекции о том, что из себя представляет Метрика Про (март 2023):

Примечание: информация в видео может быть неполной, поскольку продукт постоянно обновляется и в него вносятся изменения.

Небольшая подборка материалов по работе с неагрегированными данными Яндекс Метрики:

• Математический расчет поведенческих факторов в Яндекс.Метрике
• Интеграция Яндекс.Метрики c Yandex Cloud (Метрика Про)
• Подключение к базе данных ClickHouse с помощью DBeaver
• Подключение Яндекс Метрики к Yandex DataLens
• Как работать с неагрегированными данными Яндекс Метрики? (Метрика Про)
• Воронки и когорты на данных Яндекс.Метрики

Предпосылки разработки

Как вы знаете, в феврале 2022 года мир кардинальным образом поменялся, и абсолютно все индустрии, включая digital и аналитику, подверглись колоссальной встряске. Буквально за несколько дней/недель российским компаниям, использующим продукты Google (в том числе и платные Google Analytics 360 Premium, Google BigQuery и т.д.), нужно было найти альтернативу и осуществить переход на другую инфраструктуру, поскольку теперь им было запрещено использовать сервисы американской компании. И первый запрет был вовсе не со стороны наших чиновников, а по инициативе поставщиков облачных решений.

Пообщавшись со своими друзьями, кто работал тогда в крупных банках и организациях, попавших под санкции, я убедился, что это правда. Все в один голос говорили, что директива пришла свыше - запретить! Что хотите, то и делаете, но продуктами Google, в том числе и платными, пользоваться вы больше не можете, а все действующие контракты - разорвать. Ищите аналоги. И все российские компании первым делом устремились к Яндексу и их облачным решениям (Yandex Cloud, ClickHouse, Yandex Metrica Pro, Yandex DataLens).

Метрика Про

Именно тогда Яндекс Метрика начала быстрыми темпами разрабатывать новое решения для высоконагруженных проектов с большим количеством трафика и отслеживаемых обращений (хитов). Это привело к созданию Метрики Про - отдельного, полноценного пакета, расширяющего возможности базовой аналитики Яндекс Метрики.

На текущий момент возможности Метрики ПРО следующие:

• интеграция с Yandex Cloud;
• расширенные лимиты на количество полей, запросов по API, на количество целей и сегментов;
• гибкое управление доступами к счетчикам;
• API отчетов медийной рекламы;
• возможность задать уровень выборки на уровне 100% в любой момент времени.

Через некоторое время Яндекс планирует добавить возможность настроить доступы к ограниченному набору данных счетчика (например, к данным по трафику с определённой рекламной кампании).

Функциональность обычной Яндекс Метрики никак не зависит от наличия или отсутствия подключенного пакета Про - данные собираются и хранятся в полном объеме, существующие отчеты и инструменты полностью доступны. Также Метрика Про не влияет на настройки вашей рекламы.

Давайте чуть подробнее разберем возможности Метрики Про.

Интеграция с Yandex Cloud

Новая интеграция позволяет получать неагрегированные данные Яндекс Метрики и сохранять их в своей собственной базе данных ClickHouse в Yandex Cloud.

Под неагрегированными данными подразумеваются данные, которые являются записями об отдельных визитах или просмотрах страниц пользователя на вашем сайте. Выглядят они примерно так:

Пример неагрегированных (сырых) данных

Таблицу с такими записями можно получить через Logs API. Вы делаете запрос на те данные, которые хотите выгрузить, и вам выдается список тех посещений пользователей, которые были на вашем сайте. Можно увидеть идентификатор визита, Client ID пользователя, время его пребывания на сайте, просмотры страниц, регион, источник перехода, достижение целей, браузер, модель мобильного телефона и многое другое.

Сырые данные необходимы, чтобы получить новую статистику помимо той, что доступна в отчетах. Данные можно загрузить в свою базу данных и далее гибко ими управлять, а также объединять данные Яндекс Метрики с другими источниками. Хранить и управлять полученными данными можно с помощью ClickHouse.

Статистику вашего счетчика Метрики Яндекс хранит тоже в ClickHouse, но доступ к базе данных есть только у него. А вы можете создать свой собственный ClickHouse-кластер и загрузить в него данные Яндекс Метрики с помощью Logs API.

Какие задачи можно решать с сырыми данными? Например:

• построить воронки на любых событиях, в том числе для электронной торговли (в Метрике воронки частично реализованы через Составную цель. Однако у нее есть недостатки - все шаги в составной цели должны быть выполнены в рамках одного визита посетителя, также в качестве шага нельзя использовать офлайн-конверсии, например, звонки);
• настроить передачу данных в режиме реального времени на любые реакции, изменения алертов, триггеров, адаптив контента, запуск цепочек коммуникаций на вашем сайте и многое другое;
• создать различные карты (путей пользователей от страницы к странице, по событиям, по источникам трафика и т.д.);
• проанализировать возвращаемость пользователей, оценить удержание клиентов, построить когортный анализ;
• создать собственные модели атрибуции, увидеть ассоциированные конверсии;
• обогатить события на сайте данными из других систем, то есть построить сквозную аналитику, объединив информацию из разных источников;
• воссоздать любые базовые отчеты - посещаемость, по utm_меткам, популярные страницы и прочее.

С неагрегированными данными можно работать очень гибко. Именно поэтому все крупные организации и компании при построении своей собственной аналитики используют сырые данные и Logs API. А благодаря новой Метрике Про и готовой интеграции с Yandex Cloud вы сможете сделать не только все вышеперечисленное, но еще и будете обладать рядом преимуществ по сравнению с существующим способом выгрузки данных по LogsAPI, который доступен для всех нас. Это:

• потоковая передача данных в реальном времени (задержка от момента события до появления записи о нем в ClickHouse до 15 минут);
• расширенный набор полей по контентной аналитике, данным о клиентах и заказах из CRM, идентификатор рекламного клика Директа (yclid), показатель наличия параметра у хита для подсчета количества хитов (см. ниже).

Подробнее про интеграцию Яндекс Метрики с Yandex Cloud читайте в этом руководстве.

Новый набор полей

В Метрике Про существенно расширен набор полей, предоставляемый для выгрузки и последующего анализа в сравнении с Logs API.

Для контентной аналитики (новое):

• тематики и авторы статьи
• источник трафика для статьи
• перешел ли посетитель на другую статью на сайте
• идентификатор статьи, с которой перешли на текущую
• время, в течение которого пользователь видел статью
• доскроллы статьи

Детализация источников:

• идентификатор рекламного клика Директа (yclid)
• идентификатор рекламного объявления
• тип Турбо (является ли страница турбо или нет)
• площадка размещения
• идентификатор мессенджера
• рекомендательная система
• переход по qr-коду

Данные о клиентах и заказах из CRM:

• Hash OrderID и Hash UserID
• версия заказа
• время создания и время изменения заказа
• статус заказа
• названия и количество товаров в заказе

Расширенные квоты

В Метрике предусмотрены ограничения на количество получаемых данных. При использовании Метрики Про квоты на счетчики увеличиваются:

Расширенные квоты для Метрики Про

Теперь количество целей на 1 счетчик, которые вы можете создать, составляет 1000 (вместо стандартных 200). Увеличилась и возможность создания большого количества сегментов на 1 счетчик как в интерфейсе Метрики, так и в API - 1000 (было 500). Другие расширения - это объем данных, выгружаемых через Logs API на 1 запрос (100 vs 10 ГБ) и количество запросов в API отчетов (было - 5000 в сутки, а стало - 20 000). Число событий в визите увеличилось с 1000 до 3000.

Также увеличена квота на количество запросов на выдачу доступов к счетчику. Это позволяет вам выдавать доступ нескольким пользователям в одном запросе.

Примечание: расход квот на запросы к API отчетов можно отслеживать в личном кабинете, который появится у вас после подключения пакета Метрика Про.

Гибкое управление доступами к счетчикам

В Метрике Про уже сейчас можно выдать доступ для одного или нескольких логинов сразу на несколько счетчиков, а также изменить тип доступа для логина или логинов в нескольких счетчиках или забрать доступ:

Гибкое управление доступами к счетчикам

А вот так выглядит личный кабинет Яндекс Метрики Про:

Личный кабинет Яндекс Метрики Про

Уровень выборки - 100%

Во время работы со статистикой в Яндекс Метрике на ваши данные могут накладываться определенные ограничения. Чем больше ваш отчет содержит информации о визитах и чем бОльший диапазон дат выбран, тем больше Метрике понадобится времени и вычислительных ресурсов для его обработки и получения итоговых результатов.

При наличии большого количества статистических данных, собираемых счетчиком, Яндекс Метрика может использовать только часть из них. Например, обрабатывать 1/10 всех визитов (и, соответственно, домножить результаты на 10 там, где это необходимо). Процесс формирования такой выборки называется семплированием. Семплирование представляет собой степень сочетания скорости получения результатов и их точности. Алгоритм семплирования выбирает данные равномерно по посетителям сайта, сохраняя корреляцию и распределения атрибутов в семплированном отчете относительно полного.

Вы можете изменять уровень семплирования в отчетах с помощью Выборки:

Уровень выборки в Яндекс Метрике

С сентября 2023 года Метрика сможет ограничивать ручное увеличение выборки в зависимости от нагрузки на сервис, если количество визитов в запросе превышает 500 тысяч. Другими словами, при достижении лимита в 500 тыс. визитов в вашем счетчике для выбранного диапазона дат Яндекс Метрика начнет семплировать ваши данные, то есть предоставлять менее точные данные.

Уровень выборки в Метрике Про - 100% в любой момент времени

Используя Метрику Про, вы всегда сможете задавать уровень выборки на уровне 100%.

Подключение и стоимость

Метрика Про доступна для подключения только через сертифицированных партнеров. Но вы можете перейти по этой ссылке и получить консультацию о продукте. Стоимость пакета составляет от 300 000 рублей в месяц при объеме данных до 500 млн. хитов.

На стоимость пакета влияет количество хитов (обращений) в вашем счетчике Яндекс Метрики. Хит (Hit) - это событие, которое учитывается Метрикой. Такими событиями являются: просмотры, достижение любой цели, созданной в счетчике, а также отправка параметров визитов. Хитом не считаются события, которые передаются при инициализации счетчика, то есть с методом init.

Резюме

Главный вопрос, который наверняка у вас возник во время прочтения этого материала, такой: А нужно ли мне использовать Метрику Про? И это абсолютно правильно.

Метрика Про - это возможность расширить базовые возможности Яндекс Метрики для более удобной работы с большим объемом данных. Помимо выгрузки сырых данных в режиме реального времени, подключив Метрику Про можно не сталкиваться с ограничениями при работе с API и интерфейсом, иметь больше целей и сегментов для аналитики и рекламы, а также можно удобнее управлять доступами к счетчикам, когда сотрудников в компании много.

Таким образом, сейчас Метрика Про будет полезна компаниям с большим объемом трафика на сайте, которые строят собственную аналитику. Поэтому целевой сегмент Метрики Про - это крупный бизнес.