Преобразовать CSV в необходимый формат для импорта в DynamoDB с помощью AWS Datapipeline

Question

Документы AWS для импорта данных из S3 в таблицу DB Dynamo с использованием конвейера данных ( https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part1.html) ссылаются на файл S3 (s3://asticmapreduce/samples/Store/ProductCatalog) в следующем формате:

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-pipelinejson-verifydata2.html?_sm_ovs=2DtvnqvHTVHW7q50vnqJqRQFVVnqZvnqMVVVVVVsV

Вопрос в том... как мне получить CSV, скажем, 4 миллиона строк в этом формате? Есть ли что-то для этого?

Спасибо за любые предложения... У меня был хороший Google, и я ничего не нашел.

Answer 1

steveprk84 уже связывался с этим в своем ответе, но я хотел обзвонить его: https://github.com/awslabs/data-pipeline-samples/tree/master/samples/DynamoDBImportCSV

Hive on EMR поддерживает DynamoDB в качестве внешнего типа таблицы. В этом примере HiveActivity используется для создания внешних таблиц Hive, указывающих на целевую таблицу Dynamo и исходный CSV, а затем выполняется запрос Hive для копирования данных из одной в другую.

Answer 2

Сервис AWS Datapipeline поддерживает импорт CSV в динамо-базу данных. Вы можете создать конвейер из консоли aws для конвейера данных и выбрать "Импортировать данные резервной копии DynamoDB из S3". импортировать CSV из S3 в Dynamodb.

Смотрите также

http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBPipeline.html