Источники данных (коннекторы) в Looker Studio

Для того, чтобы начать работу в Looker Studio (Google Data Studio), вам необходимо добавить источник подключения к своему отчету.

11 октября 2022 года Looker и Google Data Studio объединили. Теперь пользователи смогут получать доступ и импортировать регулируемые данные из Looker в интерфейсе Data Studio, а также создавать визуализации и информационные панели для дальнейшего самостоятельного анализа. Отныне инструмент называется Looker Studio.

Источник подключения (или коннектор) - это сторонний сервис, откуда вы будете брать данные для построения отчета. Он позволяет получать доступ к определенной платформе данных, системе или продукту в Looker Studio.

Когда вы создаете свой отчет, первым делом, что вас просят сделать в Looker Studio - это выбрать источник подключения.

Коннекторы Google (Google Connectors)

В самом начале списка идут коннекторы продуктов Google (Google Connectors) - Looker, Google Аналитика, Google Реклама, Google Таблицы, BigQuery, Google Cloud Storage и т.д., затем - решения сторонних разработчиков:

При подключении в Looker Studio создается источник данных. Источник данных (Data sources) - это конкретный экземпляр коннектора, подключение к определенному представлению Google Analytics, таблице MySQL, Sheets, запросу BigQuery и т.д.

Важно понимать отличие источника подключения (коннектора) от источника данных. Например, у вас есть файл Google Таблиц, внутри которого создано два листа с данными. В этом случае источником подключения (коннектором) будет Google Таблица, а источником данных - конкретная таблица. Вы можете подключить к одному отчету Looker Studio несколько листов Google Таблиц. Соответственно, у вас будет один коннектор, но два источника данных со своими наборами полей (параметров и показателей) в таблице. Чуть ниже мы разберем пример такого подключения.

Коннекторы партнеров (Partner Connectors)

После коннекторов от Google идут коннекторы партнеров (Partner Connectors). На момент написания данной статьи в Looker Studio их 724:

Среди них вы можете встретить коннекторы к множеству рекламных, аналитических сервисов, а также для CRM/ERP-систем. Например: Facebook Ads *, Reddit, LinkedIn Ads, Twitter Ads, Kaggle, Snowflake, Criteo, AdRoll, Analytics Canvas, Яндекс.Директ, Яндекс.Метрика, Matomo, Semrush, Funnel, Bitrix24, amoCRM, Snapchat, Quora, Shopify, PayPal, Vimeo, Pinterest, Reddit, Stripe, Mailchimp, Piwik PRO, eLama, Zoho CRM, HubSpot, Salesforce, Zendesk и многие другие.

* Деятельность американской компании Meta (бывшая Facebook) запрещена в России, организация признана экстремистской

Некоторые из них являются бесплатными, но большая часть сторонних решений - платная и распространяется по подписке. Сначала разработчик коннектора предоставляет вам пробный период (в качестве ознакомления) в течение 14-30 дней, а затем начинает ежемесячно списывать с вас деньги за использование подключения и обновление данных. Если вы перестанете оплачивать подписку, то ваш отчет Looker Studio перестанет обновляться и быстро станет не актуальным. Самым популярным сервисом коннекторов-партнеров является Supermetrics.

Таким образом, подключаясь к тому или иному коннектору из списка, вы можете легко создавать отчеты из самых разных источников без знаний программирования.

У каждого коннектора есть собственная страница с описанием и определенные ограничения использования. Например, если вы выберете коннектор MySQL и нажмете рядом с ним на иконку с тремя точками, а затем Подробнее, то вам откроется отдельная страница с описанием работы выбранного источника подключения.

У этого коннектора существует следующие ограничения:

• с помощью этого подключения вы можете запросить не более 150 000 строк на запрос;
• заголовки столбцов (имена полей) должны использовать только символы ASCII. Символы, отличные от ASCII, не поддерживаются.

У другого источника подключения могут быть другие ограничения. Обязательно учитывайте лимиты коннектора при его использовании.

Поскольку коннекторы партнеров являются неофициальными решениями (не относятся к Google), они не могут на 100% безопасными. Некоторые из них могут быть не проверены компанией. Тогда в его описании вы увидите соответствующее предупреждение:

Используйте такой коннектор только в том случае, если вы уверены в надежности самого сервиса и в том, что ваши данные не будут распространяться третьим лицам. А поскольку на этапе подключения вы предоставляете доступы к своей учетной записи разработчикам такого решения, то такое вполне возможно.

Пример подключения

В качестве примера создадим отчет, где источником подключения будем использовать Google Таблицы. На двух листах этого файла размещена статистика по рекламным кампаниям myTarget.

• Лист Ноябрь - статистика за ноябрь;
• Лист Декабрь - статистика за декабрь.

Наша задача - подключить два источника данных (два листа Google Sheets) к отчету Looker Studio. Чтобы это сделать, авторизуйтесь под своей учетной записью Gmail, а затем перейдите по ссылке lookerstudio.google.com. На открывшейся странице используйте кнопку Создать — Отчет, либо нажмите на Пустой отчет:

Вам откроется страница с источниками подключения. Выберем из представленных коннектор Google Таблицы:

В открывшемся окне у вас несколько вариантов выбора нужного файла Google Sheets. Вы можете подключаться к электронным таблицам, которыми вы владеете или к которым вам предоставили доступ. Вы также можете вставить URL-адрес таблицы Google, к которой у вас есть доступ. Последний вариант - самый распространенный и наиболее простой.

Скопируем ссылку на Google Таблицу, в которой у нас хранятся данные по статистике myTarget:

И вставим ее в поле URL или идентификатор листа:

Looker Studio загрузит содержимое файла. Выбрав нужный лист (например - Ноябрь) для подключения его к отчету, нажмем кнопку Добавить:

В завершение добавим данные к отчету:

После подключения коннектора Google Таблицы к отчету Looker Studio вам откроется сам отчет с созданной таблицей по умолчанию:

Примечание: если вы хотите разобраться в том, как устроен интерфейс этого инструмента, ознакомьтесь с этим материалом в моем блоге.

Таким образом, воспользовавшись встроенным коннектором Google Таблиц мы добавили один источник данных - таблицу Ноябрь. Но как добавить еще один источник данных в тот же самый отчет Looker Studio?

Для этого воспользуйтесь меню на панели инструментов Ресурс - Добавленные источники данных:

Здесь располагаются все ваши источники данных, добавленные к отчету Looker Studio:

Как видите, к отчету добавлен только один источник данных Статистика по myTarget - Ноябрь.

Подключение нового источника данных

Чтобы добавить еще один источник данных (лист Декабрь), нажмем на кнопку с соответствующим названием:

Нам откроется уже привычная страница с источниками подключения. Проделав те же самые шаги, что мы делали выше (добавление коннектора Google Таблиц, вставка URL к таблице с данными, выбор из списка листа Google Sheets), добавим новый источник данных с листом Декабрь к тому же отчету:

В интерфейсе Looker Studio вместе с первым источником данных (лист Ноябрь) вы увидите новый источник данных (лист Декабрь) со своим набором параметром и показателей:

Их все вы можете добавить в свой отчет, используя разные визуализации.

А в разделе Ресурс - Добавленные источники данных появится новый источник данных:

В один отчет вы можете добавить источники подключения разных типов. Например:

1. Google Таблицы и Google Analytics;
2. Google Analytics, Google Search Console и Google Реклама;
3. Google Таблицы, Яндекс.Директ и amoCRM;
4. и другие комбинации.

Используете вы встроенные коннекторы от самого Google или источники подключения партнеров - значения не имеет. Подключение любого источника к отчету Looker Studio одинаково для всех. Отличие заключается лишь в перечне настроек, которые вам требуется указать на этапе подключения.

Например, для коннектора MySQL вам необходимо задать имя хоста, базу данных, имя пользователя и пароль. А для стороннего коннектора Яндекс.Директа требуется авторизация вашей почты Яндекса, а также указание идентификаторов целей (по желанию), чтобы в отчете Looker Studio вы видели статистику с привязкой к вашим конверсиям.

Изменение источника данных

Источники данных предоставляют схему полей, которые вы или другие пользователи отчета могут использовать для своих задач. И подключив такой источник данных к отчету, вы можете изменить его структуру - создавать вычисляемые поля, добавлять параметры и настраивать типы данные.

Например, вернувшись в раздел Ресурс - Добавленные источники данных, вы можете изменить свой источник данных, нажав на ссылку Изменить:

Вам откроется окно редактирования источника данных. В нем в виде таблицы будут отображаться все поля, которые есть в этом источнике. Это Размеры (Параметры) зеленого цвета и Показатели синего цвета:

Это и есть структура данных конкретного источника. В соседнем столбце отображается тип данных, который вы можете изменить в зависимости от собственных задач для каждого поля. В Looker Studio также доступно Агрегирование по умолчанию:

Как вы уже знаете, к одному отчету Looker Studio можно подключить несколько источников данных - из рекламы, аналитики и CRM/ERP-систем, а потом определенным образом объединить их в общую модель данных, пригодную для дальнейшей визуализации и построения сквозной аналитики на страницах вашего отчета.

Моделирование данных - это анализ и определение всех данных, которые собирает и производит ваш бизнес, а также взаимосвязей между ними.

Если у вас данные выгружены из разных источников, то объединить вы их можете с помощью встроенного функционала Looker Studio, который называется Объединение данных (Blending data). Подробнее о нем мы рассмотрим в отдельном материале.

Встроенные и повторно используемые источники данных

Источники данных могут быть встроенными или повторно используемыми.

Те источники, которые вы создаете при редактировании отчета, встраиваются в отчет и имеют тип Встроено. Встроенные источники данных упрощают совместную работу над отчетами и источниками данных. Любой, кто может редактировать отчет, может также редактировать источник данных, а также изменять его подключение. Когда вы делитесь отчетом или копируете его, все встроенные источники данных также становятся общими или копируются.

Источники данных, которые вы создаете с главной страницы Looker Studio через Создать - Источник данных, можно использовать повторно, то есть многократно и в других отчетах. Они имеют тип Повторное использование. Повторно используемые источники данных позволяют создавать и совместно использовать согласованную модель данных в вашей компании. Только люди, с которыми вы делитесь им, могут редактировать многократно используемый источник данных. Только владелец учетных данных источника данных может изменить подключение.

Перейдя в раздел Ресурс - Добавленные источники данных, вы можете разрешить повторное использование источника с помощью данной функции:

В открывшемся окне подтвердите свое действие:

После этого тип источника данных сменится с встроенного на повторно используемый. Его в дальнейшем можно использовать в других отчетах Looker Studio.

Когда вы делитесь отчетом или копируете его, все его встроенные источники данных становятся общими или копируются вместе с ним. Вам не нужно предоставлять общий доступ к встроенным источникам данных отдельно от отчета. Это означает, что другие пользователи с правами на редактирование отчета могут изменять источник данных.

Повторно используемые источники данных не копируются и не передаются при копировании или совместном использовании отчета. Если вы хотите, чтобы кто-то еще мог изменять повторно используемый источник данных, вы должны предоставить им явный доступ к нему.

Вам не нужно предоставлять общий доступ к повторно используемому источнику данных, чтобы пользователи на просмотр отчета могли видеть данные или чтобы пользователи с правами на редактирование могли использовать поля, предоставленные источником данных, для создания визуализаций и элементов управления в отчете.

Срок хранения данных

Большинство источников данных поддерживают прямое и "живое" подключение (live connection) к вашим данным. Они остаются в базовом наборе данных и не импортируются в Looker Studio. Однако для повышения производительности ваши данные могут временно храниться в кэш-памяти. А некоторые подключения к источникам данных позволяют настроить частоту обновления кэша.

Кэш - это система временного хранения данных. Извлечение кэшированных данных может быть намного быстрее, чем их непосредственное извлечение из базового набора данных, и помогает сократить количество отправляемых запросов, сводя к минимуму затраты на платный доступ к данным.

Например, коннектор Google Таблиц позволяет задать частоту обновления данных. Когда вы перейдете в Ресурс - Добавленные источники данных и измените свой источник подключения, то над схемой полей вы увидите настройку Срок хранения данных:

Нажав на эту опцию, вы сможете задать частоту обновления данных:

По умолчанию для Google Таблиц она составляет 15 минут, но есть возможность обновлять данные раз в час, раз в 4 часа и раз в 12 часов. В официальной документации Looker Studio приводится таблица с некоторыми источниками подключениями и сроками обновления.

Обновление данных напрямую влияет на актуальность данных в вашем отчете. Различные типы отчетов имеют разные требования или ожидания в отношении актуальности данных. Например, если вы построили отчет по рекламе, то ежедневных обновлений может быть достаточно. С другой стороны, отчеты, основанные на аналитике социальных сетей, могут обновлять данные несколько раз в день, а информация о продажах и транзакциях вашего интернет-магазина должна обновляться иметь чуть ли не в режиме реального времени.

Для данного источника подключения это может быть не так важно. Однако когда дело касается некоторых источников данных, таких как BigQuery, получение данных напрямую может стоить вам денег. Для больших компаний важна не только актуальность данных, но и производительность самого отчета, то есть возможность открыть отчет быстро и просмотреть все визуализации с учетом фильтров и настроенных диапазонов дат.

Функция Обновить данные обновляет кэш для каждого источника данных, добавленного в отчет.

Вы можете увидеть, поступают ли данные из кэша, просмотрев отчет и посмотрев в нижний левый угол. Когда все диаграммы на текущей странице будут обслуживаться из кэша, вы увидите значок молнии вместе со временем и датой последнего обновления 

Примечание: чтобы ускорить загрузку ваших данных и повысить скорость отклика при применении фильтров и диапазонов дат, чем при работе с живым подключением, вы можете использовать коннектор Извлечение данных. Подробнее об этом источнике подключения будет разобрано в отдельной статье блога.

Контроль доступа к источникам данных

Для каждого источника данных назначается свой тип учетных данных. Учетные данные определяют, кто может видеть данные в этом источнике.

Если вы перейдете в Ресурс - Добавленные источники данных и измените сам источник, то внутри него вы увидите опцию учетных данных.

Если к отчету Looker Studio источники данных добавляли вы, то по умолчанию там будет отображаться ваша учетная запись Gmail. Нажав на нее, вы увидите варианты изменения учетных данных:

Всего существует три типа доступа:

1. учетные данные владельца (Owner's credentials). Они позволяют этому источнику данных подключиться к набору исходных данных с помощью учетных данных, которыми владеет пользователь, указанный ниже (см. скриншот);
2. учетные данные пользователя с правами на чтение (Viewers credentials). Всем, кто использует этот источник данных и хочет просмотреть с ним отчет, требуются собственные учетные данные для доступа к набору базовых данных;
3. учетные данные сервисного аккаунта (Service account credentials). Основаны на особом типе учетной записи Google, представляющей пользователя, который может быть аутентифицирован и авторизован для доступа к данным и при этом не являться человеком (служит для задач программирования и автоматизации).

Другими словами, если для вашего источника данных стоит тип доступа Учетные данные владельца, то пользователи, которые будут просматривать ваш отчет, будут использовать данные от вашей учетной записи (как бы от вашего имени). Напротив же, если для источника данных вы измените тип на Учетные данные пользователя с правами на чтение, а затем выдадите общий доступ к отчету с правами на просмотр, то они не смогут увидеть данные в вашем отчете, поскольку для каждого из них вы не назначили права доступа. В отчете будет отображаться ошибка Нет доступа к набору данных (Недостаточно прав для исходного набора данных):

Доступ для сторонних визуализаций

На уровне каждого источника вы можете задать доступ для сторонних визуализаций. Они создаются независимыми разработчиками. Чтобы разрешить или запретить сторонним визуализациям показывать данные из этого источника, перейдите в Ресурс - Добавленные источники данных и измените сам источник. Внутри него вы увидите опцию Доступ для сторонних визуализаций:

Доступно два варианта:

• Доступ для сторонних визуализаций: ВКЛ. Разрешить сторонним визуализациям показывать данные из этого источника;
• Доступ для сторонних визуализаций: ВЫКЛ. Запретить сторонним визуализациям показывать данные из этого источника. Если в отчет с этим источником данных добавить стороннюю визуализацию, появится сообщение об ошибке.

Редактирование полей в отчетах

Для каждого источника данных можно задавать возможность редактирования полей в отчетах. Включение этой функции позволяет вам изменять имена полей, агрегирование, типы данных и аналитические функции на уровне отдельно взятой диаграммы в вашем отчете Looker Studio, в то время как выключение этой опции говорит о том, что все настройки для каждой визуализации будут браться из источника данных по умолчанию.

Другими словами, если Редактирование полей: Включено, то вы можете переопределять поля для конкретной диаграммы. Это позволит вам изменить:

• имя поля (например, для двух разных визуализаций вы можете использовать один и тот же параметр, но он будет называться по-разному);
• агрегирование показателя (например, вы можете пересчитать стоимость заказа из суммы в среднее значение);
• тип данных поля (например, вы можете преобразовать число в процент или текст в URL -адрес или полную дату в часть даты);
• расчет сравнения (например, вы можете применить к своим заказам функцию Процент от общего числа).

Любые изменения, которые вы вносите в данное поле, применяются только к этому экземпляру поля на этой диаграмме, а не ко всем визуализациям в отчете.

Копирование и удаление источника данных из отчета

Копирование источника данных позволяет создавать разные варианты отчетов. Например, вы можете скопировать шаблон отчета, а затем прикрепить разные версии источника данных с измененными параметрами, показателями или вычисляемыми полями для поддержки разных наборов пользователей. Вы также можете делать резервные копии источника данных для безопасного хранения во время экспериментов, чтобы не потерять свои данные.

Для этого перейдите в Ресурс - Добавленные источники данных и напротив нужного источника нажмите на Создать копию:

При копировании источника данных Looker Studio пытается убедиться, что у вас есть доступ к данным, повторно подключаясь к базовому набору данных. Если доступ не может быть подтвержден, вы увидите панель подключения, где вы можете выбрать набор данных для использования. Google Analytics, Google Ads и источники данных для импорта файлов всегда требуют явного повторного подключения к набору данных. Если поля в новом наборе данных не соответствуют схеме скопированного источника данных, вы увидите сообщение с подробным описанием добавляемых новых полей и/или удаляемых отсутствующих полей.

Копирование источника данных никогда не предоставляет прямого доступа к набору данных. При копировании источника данных никакие отчеты, использующие этот источник данных, не копируются. Он только дублирует схему источника данных. Вы можете запретить другим людям копировать ваш источник данных, используя дополнительные настройки предоставления доступа.

А чтобы удалить источник данных из своего отчета Looker Studio, в том же разделе в Ресурс - Добавленные источники данных нажмите на Удалить напротив нужного источника:

Перед тем, как подтвердить ваше действие, Google уведомит вас о последствиях. Этот источник данных используется в этом отчете. Если вы удалите этот источник, перестанут работать все диаграммы отчета, которые получают из него данные. Вы сможете удалить неработающие диаграммы или добавить в них другой источник данных. Источник можно будет снова добавить в диалоговом окне или окне выбора источников данных для отчета.

Нажав на кнопку Удалить источник данных, подключение будет удалено.

Полезные ссылки:

• Все коннекторы Looker Studio
• Сторонние визуализации разработчиков