Подключение к облаку SQL MySQL

Question

Мы хотели бы протестировать подключение Cloud SQL (mySQL) к BigQuery с помощью Cloud Data Fusion. Как правильно подключаться к CloudSQL, поскольку в данный момент он не "встроен". Какой драйвер рекомендуется и есть ли инструкции?

Answer 1

Вот инструкции по использованию Cloud SQL MySQL в Data Fusion. Обратите внимание, что в разделе Wrangler в настоящее время не могут использоваться экземпляры Cloud SQL с частным IP. Тем не менее, они все еще могут быть использованы при запуске конвейеров Data Fusion

Использование Cloud SQL (MySQL) в Wrangler (только публичный IP)

1. Получите файл JAR драйвера JDBC, собрав его с помощью инструкций по адресу https://github.com/GoogleCloudPlatform/cloud-sql-jdbc-socket-factory
2. Перейти к Wrangler
3. Если вы конфигурируете CloudSQL для MySQL впервые, нажмите кнопку "Добавить соединение" на экране Wrangler и выберите "База данных".
4. Нажмите "Google Cloud SQL для MySQL".
5. Загрузите ранее созданный JAR, как показано на рисунке, и нажмите кнопку "Далее".
6. Нажмите кнопку Готово, чтобы завершить загрузку.
7. После загрузки драйвера вы увидите зеленую галочку, указывающую, что ваш драйвер установлен.
8. Нажмите Google Cloud SQL для MySQL, чтобы создать новое соединение. Когда модальное соединение откроется, нажмите на ссылку "Дополнительно", если она есть.

9. Введите строку подключения как

   jdbc:mysql://google/<database>?cloudSqlInstance=<instance-name>&socketFactory=com.google.cloud.sql.mysql.SocketFactory&useSSL=false

где представляет базу данных, созданную вами в разделе предварительных условий, и ссылается на имя подключения вашего экземпляра, отображаемое на вкладке обзора страницы сведений об экземпляре, например:

Пример:

jdbc:mysql://google/mysql?cloudSqlInstance=cloud-data-fusion-demos:us-west1:mysql&socketFactory=com.google.cloud.sql.mysql.SocketFactory&useSSL=false

9. Введите имя пользователя и пароль, которые вы настроили для этого экземпляра CloudSQL
10. Нажмите Test Connection, чтобы убедиться, что соединение с базой данных может быть успешно установлено.
11. Нажмите Добавить соединение, чтобы завершить задачу.
12. После того, как вы выполнили все шаги, вы сможете нажать на вновь определенное соединение с базой данных и увидеть список таблиц для этой базы данных.

Использование облачного SQL (MySQL) в конвейерах (публичный и частный IP)

1. Выполните шаги 1-6 в разделе Wrangler выше
2. Откройте конвейерную студию
3. Из палитры плагинов слева перетащите плагин Cloud SQL на холст и откройте его, нажав "Свойства".
4. Укажите имя плагина как cloudsql-mysql (Предполагается, что вы выполняете.

5. Укажите строку подключения, как показано ниже:

   JDBC: MySQL: // Google/ cloudSqlInstance=& SocketFactory=com.google.cloud.sql.mysql.SocketFactory& UseSSL= ложь

где представляет базу данных, созданную вами в разделе предварительных условий, и ссылается на имя подключения вашего экземпляра, отображаемое на вкладке обзора страницы сведений об экземпляре, например:

jdbc:mysql://google/mysql?cloudSqlInstance=cloud-data-fusion-demos:us-west1:mysql&socketFactory=com.google.cloud.sql.mysql.SocketFactory&useSSL=false

6. Введите запрос, из которого вы хотите импортировать данные, в качестве запроса на импорт.
7. Введите имя пользователя и пароль для использования в базе данных. Вы также можете использовать безопасный макрос для пароля.
8. Нажмите Get Schema, чтобы заполнить схему плагина.
9. Сконфигурируйте остальную часть конвейера и разверните.