В этом тексте мы рассмотрим настройку импорта данных из CRM Salesforce в облачное хранилище Google BigQuery. Если имплементация бесплатных способов кажется слишком сложной и затратной, переходите на профильную страничку Renta. Там вы найдете простую инструкцию по настройке импорта данных из Salesforce всего за несколько шагов.

Что такое Salesforce?

Salesforce — самая популярная CRM-система, которая полностью хостится в «облаке». Salesforce прост в настройке, удобен, обладает колоссальной вычислительной мощностью и адекватной службой поддержки. Благодаря облачной структуре, для работы с базой данных подойдет любой компьютер на любой операционной системе. Также в Salesforce реализованы «из коробки» интеграции с некоторыми сервисами, что удобно. Но, к сожалению, Google BigQuery в их число не входит.

Почему необходимо импортировать в Google BigQuery данные из Salesforce

В базе данных CRM хранится вся информация о сотрудниках и клиентах, изучение ее дает аналитику понимание, как работает структура доходов и расходов компании. Однако для получения полной картины необходимо добавить информацию из рекламных кабинетов различных веб-сервисов, таких как Google Ad или FaceBook Ads. Это удобно сделать в хранилище данных Google BigQuery, так как оно отлично справляется с обработкой больших массивов информации и позволяет собирать информацию из самых разных источников.

Передача данных Salesforce в Google BigQuery с помощью Renta

Передача данных в Google BigQuery с помощью сервиса Renta удобна не только простой настройкой, но и тем, что Renta может получать данные с более чем двадцати различных коннекторов и загружать их в «облачное» хранилище. То есть, за $99 в месяц аналитик получает не просто решение одной технической задачи трансфера данных, а комплексный инструмент для анализа всего бизнеса в целом.

Инструкция по настройке изложена в коротком обучающем видео и последующей текстовой расшифровке:

Сначала выбираем тип интеграции — Salesforce.

Авторизация в Salesforce и выбираем аккаунт.

Выбираем, какие объекты будут экспортированы. Например: 

  • Leads,
  • Opportunity.

И периодичность выгрузки. Например, каждый час.

Затем выбираем облачное хранилище. Помимо Google BigQuery это могут быть Clickhouse, Azure SQL Database или другой SQL-сервер. Авторизуемся в BigQuery.

Если у вас в BigQuery ведется несколько проектов, Renta предложит выбрать конкретный проект, куда будут загружаться данные.

Теперь процесс автоматической передачи данных из Salesforce в Google BigQuery настроен. Данные будут передаваться автоматически, пока действует подписка Renta.

 

Импорт данных Salesforce в Google BigQuery с помощью штатного Data Loader

Маленькие проекты могут пользоваться штатным средством выгрузки данных Salesforce Data Loader — он позволяет выгружать данные в формате CSV-файлов. Проблема с Data Loader заключается в том, что объем выгружаемых данных ограничен 5 млн записей, а также в том, что этот процесс нельзя автоматизировать.

Придется самостоятельно выгружать базу данных из одного сервиса и добавлять в другой, что неудобно и затратно по времени.

 

Синхронизация Salesforce и Google BigQuery своими силами

С помощью собственной команды разработчиков можно настроить автоматическую передачу данных из Salesforce в Google BigQuery. Для этого нужно выбрать необходимый API из списка доступных на сайте Salesforce.

Для нашего случая подходит Salesforce REST API, так как позволяет извлекать данные в режиме реального времени в JSON или XML формате.

Ниже пример кода для извлечения данных с расширением JSON:

Далее нужно настроить импортирование данных в Google BigQuery согласно руководству.