Сохранение исторических данных счетчика Universal Analytics

С 1 июля 2023 года ваш счетчик Universal Analytics перестанет собирать и обрабатывать данные, а через несколько месяцев после Google вообще закроет доступ к ресурсам Google Analytics 3. Вы больше не сможете просматривать свои отчеты в интерфейсе или получать доступ к данным через API, они станут недоступны. Если вы хотите сберечь статистику вашего счетчика, то уже сейчас позаботьтесь о сохранении исторических данных Universal Analytics. Как? Давайте разберем различные варианты.

На моем YouTube-канале размещена подробная видеолекция на данную тему. Если вы не хотите читать этот материал, то вы можете посмотреть видео:

Можно ли перенести данные из Universal Analytics в Google Analytics 4?

Сразу хотелось бы отметить то, что перенести данные из интерфейса Universal Analytics в новый счетчик Google Analytics 4 у вас не получится. В первую очередь, это связано с различием моделей сбора данных в двух версиях.

В Universal Analytics существует несколько типов обращений:

• Просмотр страницы
• Событие
• Социальное взаимодействие
• Транзакция электронной торговли
• Пользовательское время
• Исключение
• Просмотр экрана приложения

И каждый из этих типов обращений имеет свою собственную команду для отправки в Google Analytics, которая передается в методе send объекта ga с помощью параметра hitType. Например:

• pageview (просмотр страницы);
• event (событие);
• social (социальное взаимодействие);
• timing (время).

В Google Analytics 4 отслеживание ориентировано на события и основывается на том, что любое взаимодействие пользователя с вашим сайтом или мобильным приложением можно учитывать как событие. Таким образом, ключевое различие между моделями данных для UA и GA4 заключается в определении событий. В Universal Analytics есть разные типы обращений, в Google Analytics 4 - все события:

Другой пример, который показывает различия между хранением и обработкой данных внутри счетчиков - это схема данных в Google BigQuery.

Google BigQuery – это облачное хранилище данных, позволяющее очень быстро обрабатывать запросы к большим наборам данных с помощью специальных команд, схожих с языком запросов SQL. Google Analytics 4 имеет встроенную интеграцию с облачным хранилищем данных Google. Вы, как владелец счетчика, можете включить экспорт данных в BigQuery и начать использовать необработанные данные о всех взаимодействиях, собранных на сайте и ​​в мобильном приложении без какой-либо выборки и ограничений.

Экспорт данных Universal Analytics основан на сеансах и обращениях, то есть каждая строка в таблице BigQuery соответствует сеансу, и каждое взаимодействие вложено в эту строку:

При экспорте из Google Analytics 4 каждая строка - это само событие, то есть взаимодействие (обращение):

Еще есть отличия в параметрах и показателях обеих систем. Например, в Universal Analytics существует два пользовательских показателя: Всего пользователей и Новые пользователи, а в Google Analytics 4 – три: Всего пользователей (Total Users), Активные пользователи (Active Users) и Новые пользователи (New Users). Показатели тоже отличаются. Например, в отчетах Universal Analytics основным является показатель Всего пользователей (который показывается как Пользователи), а в Google Analytics 4 – Активные пользователи (который также показывается как Пользователи). Хоть они и называются одинаково в двух системах, рассчитываются в UA и GA4 они по-разному.

В ресурсах разного типа используются разные способы идентификации пользователей - в Google Analytics 4 первичен User ID, а в Universal Analytics – Client ID. В двух системах могут отличаться показатели сеансов, отказов, количество событий и ряд других метрик. Различий между Universal Analytics и Google Analytics 4 достаточно много. В официальной документации Google есть несколько подробных материалов на данные темы, я рекомендую ознакомиться с ними:

• Universal Analytics и Google Аналитика 4: отличия в сборе данных
• Сравнение показателей в Google Аналитике 4 и Universal Analytics

Но из Universal Analytics в Google Analytics 4 возможно перенести кое-какие настройки. Например:

• аудитории благодаря инструменту GA4 Migrator;
• события через дополнительную настройку в интерфейсе;
• импортировать цели;
• данные электронной торговли с помощью Ecommerce migration helper;
• данные пользователей и их права из одного ресурса в другой.

В моем блоге есть пример шаблона для Looker Studio (Google Data Studio), который позволяет сравнить собственные данные Universal Analytics с данными Google Analytics 4 в одном удобном представлении Data Studio. Однако сейчас нас больше интересует сохранение исторических данных Universal Analytics. Давайте остановимся на этом.

Способы сохранения данных Universal Analytics

Сохранить свои данные счетчика Universal Analytics можно несколькими способами:

1. вручную через экспорт данных из интерфейса;
2. с помощью специального дополнения в Google Таблицах;
3. с помощью инструмента UA Query Explorer;
4. через API Google Analytics;
5. экспорт данных из Google Analytics 360 в BigQuery;

Разберем каждый способ подробнее. Но перед тем, как мы это сделаем, вы должны обязательно продумать перечень выгружаемых отчетов, параметров и показателей. Будет ли это общая статистика за выбранный диапазон дат или же вы хотите выгрузить данные за каждый день с привязкой к дате, месяцу, дню, часу? Таблица данных будет иметь много параметров или вам достаточно одного основного и второго дополнительного? Необходимо сохранить данных обо всех пользователей или с применением фильтров для какой-то части аудитории?

Я рекомендую перед выгрузкой данных продумать структуру самого отчета(ов) и выписать все необходимые метрики. Потому что и от объема данных тоже зависит возможность выгрузки всей статистики за раз. Если данных в вашем счетчике много, то, вероятно, какие-то из представленных выше способов вам не подойдут и нужно будет использовать специальные программы/сервисы/дополнения, или дробить выгрузку/загрузку на несколько частей с разными диапазонами дат.

1. Ручной экспорт данных из интерфейса

Ручной экспорт - самый простой и действенный способ сохранения данных из вашего счетчика Universal Analytics. Вы можете воспользоваться как стандартным отчетом Google Analytics, так и создать свой собственный с помощью специальных отчетов.

Например, если вы хотите выгрузить статистику по источникам трафика (отчет Источник/канал), то вам нужно открыть этот отчет и в правом верхнем углу указать желаемый диапазон дат:

Перед сохранением отчета проверьте, чтобы рядом с его названием отображалась зеленая галочка:

Она свидетельствует о том, что отчет построен на 100% выборке данных. Может быть, что вместо зеленой иконки вы будете видеть желтую. Это означает, что к отчету было применено сэмплирование.  Сэмплирование (англ. Sampling) – метод выбора подмножества наблюдаемых величин из данного множества, с целью выделения неких свойств исходного множества. Иными словами, Google берет некоторую выборку данных, например, 10%, умножает ее на 10 и говорит нам, что так вели бы себя все 100%. О причинах его появления и способах борьбы читайте в этой статье.

Также перед выгрузкой убедитесь, что в отчете в правом нижнем углу таблицы отображается не более 5000 строк:

Это опциональное ограничение Google Analytics, которое вы не сможете изменить при выгрузке данных с помощью файла CSV. В противном случае, для выгрузки всей статистики вам нужно использовать дробление (указывать поочередно разные диапазоны дат) и выгружать данные частями.

Чтобы выгрузить все данные в таблице, раскройте Строк на странице до максимального количества. Если этого не сделать, то по умолчанию будет выгружено только 10 строк.

Если вам необходимо выгрузить часть данных, воспользуйтесь сегментами и фильтрами. Сформировав итоговый отчет, в правом верхнем углу нажмите кнопку Экспортировать:

Любой отчет можно экспортировать в различных форматах. Доступны: .pdf, .xlsx, .csv и выгрузка в Google Таблицы. Поскольку вы будете выгружать статистику из разных отчетов, чтобы сохранить максимально возможное количество данных, я рекомендую выбирать экспорт в Excel (.xlsx). А когда вы уже загрузите к себе на компьютер n-ое количество файлов с различными данными, вы сможете их отредактировать и затем загрузить в те же Google Таблицы, чтобы впоследствии визуализировать их в Looker Studio.

Сохранив отчет, вы можете открыть его, чтобы посмотреть выгруженные данные:

Однако при такой выгрузке вы будете сталкиваться со следующими ограничениями:

• поскольку стандартный отчет сформирован за выбранный диапазон дат, то вы не сможете посмотреть статистику в динамике за каждый день. Она выгружается агрегировано и группировка по дате в таком отчете отсутствует;
• в стандартных отчетах Universal Analytics нет возможности выбрать множество конверсий или событий;
• в выгруженном отчете могут присутствовать данные, которые вам не нужны. Например, показатель Новые пользователи, Ценность цели, Средняя длительность сеанса и т.д.

Для обхода этих ограничения я рекомендую создать специальные отчеты - отчеты, которые вручную можно создать с нуля под определенные задачи. Их еще называют кастомными отчетами (от англ. «custom», сделанный на заказ). Вы выбираете параметры и показатели, а затем решаете в каком виде их представить в отчете.

Чтобы создать такой отчет, перейдите в раздел Специальные отчеты - Мои отчеты и нажмите на кнопку Добавить отчет:

В специальных отчетах доступно несколько типов структур:

• анализ - стандартный отчет Google Analytics, в который входит линейный график и таблица с различным уровнем вложенности, включая сортировку по быстрым и расширенным фильтрам, а также выбору дополнительных параметров;
• простая таблица – отчет, в котором данные представлены в виде таблицы и их можно сортировать;
• наложение данных на карту – отчет по странам и регионам, демонстрирующим выбранные показатели на карте.

Чтобы добавить несколько параметров в отчет (например, дату, источник трафика, тип устройства, регион и т.д.) -> используйте тип Простая таблица. При таком выборе максимальное количество показателей в группе – 10, а параметров – 5. Чтобы ограничить число параметров в отчете, используйте фильтр в точном соответствии или регулярные выражения.

В качестве примера выгрузим отчет по источникам и каналам трафика за выбранный диапазон дат, только добавим еще параметр Дата, чтобы видеть динамику, а также показатели электронной торговли - Транзакции, Доход и Коэффициент транзакции. В результате конфигурация специального отчета может выглядеть так:

Сохранив отчет, вы увидите таблицу с данными в таком виде:

Чем больше вы добавите параметров в отчет, тем детализированнее статистику получите. Это означает, что сама таблица будет иметь большее количество строк (записей), чем прежде. Из скриншота выше видно, что благодаря добавленному параметру Дата вместо 2700 строк мы получили 72000+ записей. А поскольку в Universal Analytics можно скачать таблицу объемом до 5000 строк, нам придется выгружать отчет с таким количеством параметров и показателей за несколько частей, а если быть точнее - за 15 раз.

Поэтому перед экспортом данных обязательно продумайте перечень параметров и показателей, которые требуется выгрузить, а также сам период скачивания. И не забудьте, что не все показатели и параметры сочетаются между собой. Каждый из них относится к определенному уровню данных (области действия) - уровню пользователя, сеанса или обращения. В большинстве случаев стоит объединять только параметры и показатели с одинаковой областью действия. Полный список допустимых комбинаций параметров и показателей приведен в UA Dimensions & Metrics Explorer.

Если вам необходимо выгрузить статистику с привязкой к конкретным конверсиям, то для этого используйте показатели типа Достигнутые переходы к цели с заданным идентификатором цели.

Сформировав итоговый отчет, в правом верхнем углу нажмите кнопку Экспортировать:

Экспортируйте специальный отчет к себе на компьютер в Excel (.xlsx). А выгрузив все записи за несколько раз (если их было более 5000), измените конфигурацию специального отчета, чтобы сохранить исторические данные по другому срезу. Например, кроме источников трафика вы можете добавить параметры страниц и показатели, связанные с просмотрами. Или экспортировать статистику по аудитории - полу, возрасту, географии, типам устройств и т.д. Только вы знаете, какая статистика с каким набором параметров и показателей по данному проекту вам будет нужна. Но общая рекомендация, конечно же, есть - выгружайте статистику из Universal Analytics с привязкой к параметру Дата, чтобы видеть динамику, а не только статику (слепок за выбранный период).

Сохраните все выгруженные файлы Excel у себя на компьютере. После разбора всех способов выгрузки статистики из Google Analytics 3 я покажу, как можно построить итоговый отчет в Looker Studio, объединив данные с новым Google Analytics 4.

2. Выгрузка данных с помощью дополнения Google Таблиц

Этот способ подробно описан в моей отдельной статье Google Analytics Spreadsheet Add-on. Он позволяет подключить ваш счетчик Google Analytics к таблице Google через официальное дополнение и выгрузить нужные параметры и показатели за выбранный диапазон дат на соответствующие листы Google Sheets.

Вариант чуть сложнее, чем ручной экспорт, но более гибок, поскольку все данные сохраняются сразу же в Google Таблицу, которую вы можете подключить как источник данных в Looker Studio и построить итоговый отчет на данных Universal Analytics, а выполнять запросы и обновлять данные через запуск расширения за пару кликов. Минус небольшой, но все же есть - вам нужно правильно вручную задать конфигурацию отчета, то есть самостоятельно указать перечень параметров и показателей, требующих выгрузки, воспользовавшись все тем же инструментом UA Dimensions & Metrics Explorer. Причем эти параметры и показатели написаны на английском языке. А в одном отчете может быть до 10 показателей и до 7 параметров.

Чтобы импортировать данные из Google Analytics в Google Таблицы, необходимо установить дополнение. Для этого перейдите в Расширения – Дополнения - Установить дополнения:

Откроется окно Google Workspace Marketplace. Найдите и выберите дополнение Google Analytics:

На открывшейся странице нажмите кнопку Установить:

После завершения установки снова откройте раздел Расширения и выберите Google Analytics - Create new report:

Справа откроется меню, где вам следует задать настройки отчета:

• Name – название отчета;
• Account, Property, View – выбор аккаунта, ресурса и представления из выпадающего списка;

Чуть ниже вам нужно будет указать параметры и показатели Universal Analytics, статистику по которым вы желаете выгрузить. Для этого воспользуйтесь инструментом UA Dimensions & Metrics Explorer. В поле Dimensions вводятся параметры, а в Metrics - показатели.

В качестве примера выгрузим отчет по источникам и каналам трафика за выбранный диапазон дат, включая параметр Дата, чтобы видеть динамику, а также показатели электронной торговли - Транзакции, Доход и Коэффициент транзакции. В результате конфигурация отчета в дополнении Google Sheets будет выглядеть так:

• Источник или канал – Source / Medium
• Пользователи - Users
• Сеансы - Sessions
• Показатель отказов – Bounce Rate
• Страниц/сеанс - Pages / Sessions
• Средняя длительность сеанса – Avg. Session Duration
• Коэффициент транзакций – Ecommerce Conversion Rate
• Транзакции - Transaction
• Доход - Revenue

После заполнения базовых настроек нажмите на кнопку Create Report.

В своей таблице в столбце B вы увидите автоматически созданную конфигурацию Report Configuration, в которой будут указаны все ваши настройки:

Теперь вам необходимо в полях Start Date и End Date указать даты начала и окончания выгрузки исторических данных в формате ГГГГ-ММ-ДД (например, 2023-05-01).

Если вы желаете применить фильтры или сегменты к выгруженным данным, тогда используйте поля Filters и Segments соответственно. Подробнее о том, как они задаются, читайте в моей статье.

В поле Limit задается максимальное количество строк. Если данное поле пустое, то обработаются все данные на основе указанных настроек отчета. Я рекомендую убрать число 1000, поскольку для нашего запроса количество записей превышает 72000! Таким образом, вы снимите ограничение на количество выгруженных строк (как это было при ручном экспорте в 5000 строк)

Когда все настройки будут готовы, в верхнем меню нажмите Расширения - Google Analytics - Run reports:

Если данных выгружается много, то вам придется подождать некоторое время. По завершении выгрузки (если все хорошо), вы увидите статус об успешно созданном отчете:

В результате вы получите выгрузку с заданными параметрами и показателями на соседнем листе документа:

Строчки Total Results Found и Total Results Returned отвечают за количество найденных и возвращенных записей отчета за выбранных диапазон дат с текущей конфигурацией метрик, а Contains Sampled Data (=NO) говорит о том, что в данном запросе не было сэмплированных данных.

Поскольку отчет обновлять автоматически не нужно, так как это это разовая выгрузка исторических данных Universal Analytics, вы можете удалить на листе ненужные строчки, чтобы в качестве первой строки были названия столбцов отчета - Source / Medium, Date, Users, Sessions и т.д. При желании их можно переименовать.

Если вам нужны и другие группировки, тогда создайте новые конфигурации отчета с нужным набором параметров и показателей, и повторите все действия заново. В результате внутри одной Google Таблицы вы получите все листы с нужными срезами данных вашего счетчика Google Analytics 3, которые в дальнейшем можно визуализировать с помощью Looker Studio (Google Data Studio).

3. Сохранение данных с помощью UA Query Explorer

UA Query Explorer – инструмент с веб-интерфейсом, который позволяет работать с API Core Reporting, выходить за рамки стандартных ограничений Google Analytics, выгружать большие объемы необработанных данных (до 10 000 строк за один запрос) из представлений, создавать панели мониторинга, отчеты, содержащие несколько параметров, а также сохранять эти отчеты в формате TSV для последующего анализа.

В моем блоге доступен отдельный материал по этому инструменту, обязательно прочитайте его, чтобы иметь детальное представление о возможностях UA Query Explorer. Нам эта утилита может быть полезна как одна из альтернатив выгрузки исторических данных Universal Analytics.

Итак, для того, чтобы выгрузить данные с помощью UA Query Explorer, перейдите по ссылке, предварительно убедившись, что вы залогинены в учетной записи Gmail под тем аккаунтом, у которого есть доступ к вашему счетчику Universal Analytics. В противном случае нажмите на кнопку Login и авторизуйтесь на странице UA Query Explorer:

После разрешения доступа к приложению на странице Query Explorer вы увидите автоматически подгруженные данные из Google Analytics – аккаунты, ресурсы, представления. Выберите из списка ваш счетчик:

Поле ids автоматически заполнится идентификатором. В Universal Analytics та же самая цифра (только без префикса ga: ) находится в настройках представления:

Как и в предыдущем примере для расширения Google Tаблиц, в поля start date и end date вы должны указать даты начала и окончания выгрузки исторических данных в формате ГГГГ-ММ-ДД (например, 2023-06-01).

Далее следует выбрать параметры и показатели. Для этого используйте другой инструмент UA Dimensions & Metrics Explorer, чтобы составить свой итоговый запрос на выгрузку. В качестве примера выгрузим статистику по тем же самым данным, что и в других способах - сформируем отчет по источникам и каналам трафика за выбранный диапазон дат, включая параметр Дата, чтобы видеть динамику, а также показатели электронной торговли - Транзакции, Доход и Коэффициент транзакции:

Если вы желаете применить фильтры или сегменты к выгруженным данным, тогда используйте поля filters и segments. Подробнее о том, как они задаются, читайте в моей статье.

Поле sampling level характеризует уровень выборки. Допустимые значения:

• DEFAULT – оптимальное соотношение между скоростью и точностью выборки данных для запроса;
• FASTER – быстрый ответ с меньшим размером выборки;
• HIGHER_PRECISION – точный ответ с большей выборкой и меньшей скоростью выполнения.

Я рекомендую оставить значение по умолчанию.

Как вы уже знаете, максимальное количество строк, которое можно получить от 1 запроса в UA Query Explorer, составляет 10000. В нашем примере строк получилось 72000. Для того, что выгрузить все данные, необходимо 8 запросов:

1. от 1 до 10 000;
2. от 10 001 до 20 000;
3. от 20 001 до 30 000;
4. от 30 001 до 40 000;
5. от 40 001 до 50 000;
6. от 50 001 до 60 000;
7. от 60 001 до 70 000;
8. от 70 001 до 72 388;

Такие интервалы задаются в полях start index и max results:

• start-index - первая строка извлекаемых данных (начинается с 1). Используется совместно с параметром max-results для разбиения результатов на страницы, если их общее количество превышает 10000 и вам нужно извлечь строки с последующими индексами;
• max-results - максимальное количество строк, включаемое в ответ. Используется как с start-index для извлечения подмножества элементов, так и отдельно, ограничивая количество возвращаемых элементов. Если параметр max-results не задан, по умолчанию запрос возвращает не более 1000 строк.

Чтобы узнать сколько в запросе всего строк, можно ничего не указывать в первый раз и нажать кнопку Run Query. Через некоторое время вы получите результат:

Вот относительно полученного итогового значения (в моем примере - 72388) вам и нужно делить запрос на части по 10000.

Сформировав свой итоговый запрос, нажмите на кнопку Run Query. Через некоторое время в самом низу страницу вы увидите результат выполнения запроса:

Его можно скачать в формате .tsv (tab separeted values, значения с разделителями табуляции) и открыть в обычном Excel или загрузить в Google Таблицы для последующего использования в качестве источника подключения в Looker Studio (Google Data Studio).

Вот так выглядит эта таблица с данными, открытая с помощью обычного блокнота:

Не забудьте повторить выгрузку столько раз, сколько потребуется для вашего объема данных, изменяя в полях start index и max results значения выгружаемых строк.

4. Выгрузка данных по API

Google Analytics предоставляет различные API для сбора данных, настройки отслеживания и создания отчетов о взаимодействии пользователей с вашим контентом. Для выгрузки исторических данных счетчика необходимо использовать Google Analytics Reporting API версии 4.

Если сравнить все способы сохранения данных (ручной, дополнение Google Таблиц и UA Query Explorer), то самостоятельная выгрузка по API является наиболее сложным с точки зрения понимания и практического выполнения сценарием, поскольку требует от вас серьезной подготовки и умение программировать (писать и запускать код). Но чтобы вы тоже смогли напоследок воспользоваться функционалом API Google Analytics предыдущей версии без каких-либо сторонних программ и приложений, я подготовил для вас шаблон программы в Google Colab, который вы можете скопировать к себе и при выполнении нижеприведенных шагов использовать для сохранения своей статистики Universal Analytics.

Итак, что нужно, чтобы приступить к работе с Analytics Reporting API v4? Во-первых, воспользуйтесь инструментом настройки, перейдя по ссылке, который поможет вам создать проект в Google API Console, включить API и создать учетные данные.

На открывшейся странице вам предложат подтвердить проект Google Cloud, который вы будете использовать для настройки, либо же выбрать/создать новый. Я рекомендую создать для этой задачи отдельный проект:

В поле Project name задайте имя проекта (например, historical-data-ua) и создайте проект. После создания проекта вновь перейдите по ссылке, чтобы начать настройку. На первом шаге выберите только что созданный проект Google Cloud и нажмите Next:

На втором шаге включите Analytics Reporting API:

Создание учетных данных

Перейдите по ссылке на страницу сервисных аккаунтов. Сверху выберите свой проект. Нажмите + Create service account:

В поле Service account name введите имя учетной записи службы (например, historial-account-ua). Вы можете использовать идентификатор сервисной учетной записи по умолчанию или выбрать другой. Нажмите Create and continue:

Следующий раздел разрешений учетной записи службы (Grant this service account access) не требуется. Нажмите Continue:

В завершение нажмите Done.

На открывшейся странице напротив вашего сервисного аккаунта нажмите на иконку с тремя точками и выберите пункт Manage keys:

На вкладке Keys нажмите Add key и создайте новый ключ:

Выберите тип ключа JSON и нажмите Create:

Ключ будет сгенерирован и загружен на ваш компьютер. Он вам будет нужен в программе при составлении запросов API.

Добавление сервисного аккаунта в представление Universal Analytics

На странице сервисного аккаунта скопируйте Email вашей учетной службы. Он имеет вид quickstart@PROJECT-ID.iam.gserviceaccount.com:

Перейдите в интерфейс вашего счетчика Universal Analytics и на уровне представления добавьте пользователя, указав этот сервисный аккаунт в качестве электронного адреса. Стандартной роли Читатель будет достаточно:

Сохраните изменения.

Запуск программы в Google Colab

Теперь вам необходимо создать запрос к API Google Analytics с помощью клиентской библиотеки и языка программирования Python. Для этого необходимо использовать специальное программное обеспечение (ПО). Такое ПО называют интегрированной средой разработки (IDE). Наиболее популярным Python IDE является PyCharm. Еще очень распространена IDE Spyder и JupyterLab.

Выбор тех или иных программ зависит исключительно от ваших предпочтений в изучении или от тех инструментов, которые используются в вашей компании. Однако для выгрузки исторических данных Universal Analytics с помощью API я предлагаю использовать другой сервис - Google Colab. Он связан еще и с тем, что вы без каких-либо проблем сможете открыть код моей программы на своем компьютере, скопировав его к себе, поменять несколько настроек и запустить ее для выгрузки данных GA3.

Откройте программу по ссылке и скопируйте ее к себе на Диск с помощью команды Файл - Сохранить копию на Диске:

После этого уже в своем скопированном проекте в левом меню нажмите на иконку папки и загрузите ваш файл в с ключом формате JSON в сессионное хранилище, который вы получили в Google Cloud Plaftorm после создания сервисного аккаунта и который автоматически был загружен вам на компьютер:

После того, как он загрузится, откройте его в проекте и убедитесь, что в нем все данные отображаются корректно:

Примечание: ваш загруженный файл будет удален при перезапуске среды выполнения.

После того, как вы загрузили свой ключ в проект Colab, вернитесь в саму программу. Во второй ячейке в строке:

Вместо ИМЯ_ВАШЕГО_КЛЮЧА необходимо вставить название вашего файла ключа JSON, который вы добавили в проект:

Также измените идентификатор представления VIEW_ID в строке на свой:

Идентификатор представления отображается в интерфейсе Universal Analytics в настройках представления:

Дальше в программе идет тело запроса, в котором вы должны указать даты начала (start_date) и окончания выгрузки (end_date) исторических данных в формате ГГГГ-ММ-ДД (например, 2023-06-01), а также перечислить необходимый набор параметров и показателей. Все точно так же, как это было и для дополнения Google Таблиц, и для инструмента UA Query Explorer (см. выше).

В качестве примера выгрузим статистику по тем же самым данным, что и в других способах - сформируем отчет по источникам и каналам трафика за выбранный диапазон дат, включая параметр Дата, чтобы видеть динамику, а также показатели электронной торговли - Транзакции, Доход и Коэффициент транзакции.

Тогда в самом запросе в поле dimensions будут:

• ga:sourceMedium
• ga:date

А в поле metrics:

• ga:users
• ga:sessions
• ga:bounceRate
• ga:avgSessionDuration
• ga:pageviewsPerSession
• ga:transactions
• ga:transactionsPerSession
• ga:transactionRevenue

Примечание: полный список параметров и показателей представлен в UA Dimensions & Metrics Explorer.

Всех их необходимо вставить через запятую в соответствующие поля запроса. В результате у вас должно получиться примерно так:

Вы можете указать другой список параметров и показателей. Более того, если вам необходимо выгрузить статистику по API с привязкой к конкретным целям (конверсиям), то вы должны использовать показатель ga:goalXXCompletions, где XX - идентификатор конкретной цели, доступный в интерфейсе Universal Analytics на уровне представления в разделе Цели:

Если их несколько, то вам необходимо в теле запроса для каждой из них добавлять ga:goalXXCompletions.

В этой программе используется библиотека gaapi4py. Это обертка над официальной библиотекой Google, с помощью которой проще сформировать тело запроса и преобразовать строки ответа от сервера в Pandas DataFrame. Также "под капотом" спрятан процесс получения всех результатов, если строк в запросе больше чем 10 000 (помните про ограничения на выгрузку в UA Query Explorer?). Сам проект gaapi4py на GitHub.

Поскольку библиотека является сторонней разработкой, ее необходимо установить. Для этого рядом с первой ячейкой программы нажмите иконку запуска (значок play), чтобы код в ячейке сработал. В Colab это будет выглядеть так:

После установки библиотеки перейдите ко второй ячейке программы, где вы задали название вашего JSON ключа и указали идентификатор представления Google Analytics. Сформировав запрос с необходимыми датами и набором параметров и показателей, запустите вторую ячейку. Через некоторое время под ней вы увидите результат в виде таблицы (датафрейма) с заданным количеством метрик:

Под таблицей будет отображаться количество записей, которое доступно для выгрузки. В моем примере - это все те самые 72388 строки, что получались и при выгрузке другими способами. Благодаря последней строчки кода программы вы можете выгрузить всю статистику где к себе в проект, а затем скачать на свой компьютер. Для этого запустите последнюю ячейку. Имя файла universal_analytics вы можете заменить на свое.

Через некоторое время в файлах проекта Colab вы увидите сохраненный файл со всеми вашими данными Universal Analytics:

Чтобы сохранить этот файл к себе на компьютер, наведите на него курсор мыши, а затем нажмите на иконку с тремя точками и выберите Скачать:

Файл со статистикой вашего счетчика Google Analytics будет сохранен на вашем компьютере. Открыв его в обычном Microsoft Excel, вы увидите все данные в первом столбце:

В дальнейшем вы можете загрузить эту статистику в Google Таблицы и разделить текст по столбцам (с разделителем - запятая) для последующего использования в качестве источника подключения в Looker Studio (Google Data Studio). И, конечно же, если вы хотите выгрузить какие-то другие срезы и данные из своего счетчика Universal Analytics с помощью Analytics Reporting API v4, то просто измените в теле запроса набор параметров и показателей, а также диапазон дат, а затем повторно запустите выполнение ячеек программы, включая сохранение файла.

5. Экспорт данных из Google Analytics 360 в BigQuery

Если вы являетесь пользователем платной линейки продуктов Google, то вы можете экспортировать данные сеансов и обращений из аккаунта сервиса Google Analytics 360 в BigQuery, а затем выполнять запросы на получение всех данных Google Analytics с помощью SQL-команд.

О том, как это сделать, подробно описано в официальной справке Google.

Примечание: для владельцев аккаунтов Google Analytics 360 поддержка инструмента будет доступна до 1 июля 2024 года (для обычных счетчиков GA3 - до 1 июля 2023 года), а затем прекращена. Поэтому уже сейчас начните переносить настройки вашего счетчика Universal Analytics в Google Analytics 4.

Что делать дальше?

В этом материале вы познакомились со всеми бесплатными способами сохранения исторических данных вашего счетчика Universal Analytics, который 1 июля 2023 года перестанет собирать данные. Это и ручная выгрузка данных по частям из интерфейса Google Analytics, и использование специального расширения для Google Таблиц, и инструмент UA Query Explorer, и даже прямая выгрузка данных с помощью Analytics Reporting API v4 и языка программирования Python.

Ваша основная задача - сохранить нужную информацию о вашем счетчике на своем компьютере в обычных файлах Excel прежде, чем эта функция перестанет быть доступна. И не переживая, что данные могут быть удалены безвозвратно, вы можете перенести их на отдельные листы Google Таблиц, отредактировать их (изменить формат, имена столбцов, типы данных и т.д.), чтобы впоследствии построить отчет в Looker Studio (Google Data Studio) без использования встроенного коннектора Universal Analytics, который, вероятнее всего, тоже через некоторое время будет упразднен. Именно поэтому мы не использовали его в этом руководстве.

А для создания своего отчета в Looker Studio вы можете воспользоваться моим четырехдневным интенсивом по работе с инструментом визуализации от компании Google: