Где находится источник datastore-connector-latest.jar? Могу ли я добавить это как зависимость Maven?
Я получил соединители от https://cloud.google.com/hadoop/datastore-connector но я пытаюсь добавить datastore-connector (а также bigquery-connector тоже) как зависимость в пом... я не знаю, возможно ли это. Я не смог найти правильный артефакт и идентификатор группы.
Есть ли репозиторий Maven, содержащий datastore-connector?
Кроме того, я ищу источник datastore-connector, но я не нашел его. По примечаниям в CHANGES.txt, кажется, исходит от:
https://github.com/GoogleCloudPlatform/bigdata-interop
Источник должен быть в упаковке com.google.cloud.hadoop.io.datastore (src/main/***/com/google/cloud/hadoop/io/datastore/) но его там нет.
На самом деле, источник bigquery-connector Похоже, что на GitHub вместе с его pom, но является источником datastore-connector имеется в наличии?
2 ответа
То, что Давид говорит в другом ответе, верно. Более подробно, соединитель под капотом использует SDK Protocol Buffers и, например, использует QuerySplitter для определения разбиений. В ближайшем будущем мы опубликуем дополнительную информацию в gcp-hadoop-announce с дальнейшими рекомендациями относительно будущего соединителя Datastore для Hadoop.
Возможно, вы захотите ознакомиться с другими функциями Datastore, которые могут лучше соответствовать вашим целям, включая резервное копирование Datastore в GCS и эту кодовую метку, описывающую дружественный для AppEngine подход к извлечению данных из Datastore и загрузке их в BigQuery для анализа. В верхней части этой страницы вы можете заметить объявление о наличии доверенного тестера для прямой загрузки резервных копий хранилища данных в BigQuery.
Источник соединителя хранилища данных недоступен, а также нет репозитория maven с артефактом. Лучший вариант - создать локальное хранилище репо в исходном дереве, как описано в этой полезной статье.