Не удается подключить Cloud Data Fusion к Google Cloud SQL для PostgreSQL

Question

Моя цель - читать данные из Cloud SQL Postgres в BigQuery через конвейер Cloud Data Fusion.

Для этого я настроил экземпляр Cloud Data Fusion и назначил следующие два разрешения учетной записи службы: (см. https://cloud.google.com/data-fusion/docs/how-to/create-instance)

• Облачный клиент SQL
• Сервисный агент API Cloud Data Fusion

В качестве следующего шага я подключился к инстансу Cloud Data Fusion и перешел к Wrangler -> Add Connection -> Database -> Google Cloud SQL for PostgreSQL,

Как драйвер я загрузил postgres-socket-factory-1.0.13-jar-with-dependencies.jar который я скачал здесь: https://github.com/GoogleCloudPlatform/cloud-sql-jdbc-socket-factory

Для конфигурации драйвера я установил:

• Название: cloudsql-postgresql
• Имя класса: org.postgresql.Driver

Для подключения к базе данных я установил:

• Название соединения: <PROJECT_NAME>:<REGION>:<INSTANCE_CONNECTION_NAME>
• Строка подключения: jdbc:postgresql://google/<DATABASE_NAME>?cloudSqlInstance=<INSTANCE_CONNECTION_NAME>&socketFactory=com.google.cloud.sql.postgres.SocketFactory
• Имя пользователя: имя пользователя базы данных
• Пароль: пароль базы данных

После нажатия кнопки "Проверить соединение" я получаю сообщение об ошибке org.postgresql.Driver.

Answer 1

Скорее всего, вам нужен драйвер и JDBC Socket Factory, чтобы он работал правильно. Вы должны связать соединитель postgres с фабрикой сокетов в uber-jar и посмотреть, решит ли это проблему.

Вот быстрый (не проверенный) pom, который должен выполнить это:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>
   <groupId>com.example</groupId>
   <artifactId>postgres-with-cloud-sql-socket-factory</artifactId>
   <packaging>pom</packaging>
   <version>0.0.1</version>

   <dependencies>
      <dependency>
         <groupId>org.postgresql</groupId>
         <artifactId>postgresql</artifactId>
         <version>42.2.5</version>
      </dependency>
      <dependency>
         <groupId>com.google.cloud.sql</groupId>
         <artifactId>postgres-socket-factory</artifactId>
         <version>1.0.13</version>
      </dependency>
   </dependencies>

   <build>
      <plugins>
         <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>2.4.1</version>
            <configuration>
               <!-- get all project dependencies -->
               <descriptorRefs>
                  <descriptorRef>jar-with-dependencies</descriptorRef>
               </descriptorRefs>
            </configuration>
            <executions>
               <execution>
                  <id>make-assembly</id>
                  <!-- bind to the packaging phase -->
                  <phase>package</phase>
                  <goals>
                     <goal>single</goal>
                  </goals>
               </execution>
            </executions>
         </plugin>
      </plugins>
   </build>
</project>

Answer 2

@ Себастьян Аубергер,

У нас была та же проблема: в основном Data Fusion создает учетную запись службы, которая пытается создать туннель IAP к экземпляру Cloud SQL. Мы могли бы решить эту проблему, дав роль "Облачный клиент SQL".

Дайте ему шанс и дайте нам знать!

Answer 3

В связи с этим, если Data Fusion является частным, то для доступа к экземпляру Cloud SQL через частный интерфейс (без общедоступного IP-трафика) вам понадобится «Прокси-VM», аналогичный тому, что описано в этом документе , но с другой сценарий запуска, в этом сообщении в блоге есть хороший обзор того, как этого добиться.