DynamoDB InputFormat для Hadoop
Я должен обработать некоторые данные, которые сохраняются в Amazon Dynamo DB, используя Hadoop Map Reduce.
Я искал в интернете Hadoop InputFormat для DB Dynamo и не смог его найти. Я не знаком с Dynamo DB, поэтому я предполагаю, что есть какая-то хитрость, связанная с DynamoDB и Hadoop? Если есть где-нибудь реализация этого формата ввода, не могли бы вы поделиться им?
2 ответа
После долгих поисков я обнаружил DynamoDBInputFormat и DynamoDBOutputFormat в одной из библиотек Amazon.
На amazon упругое сокращение карты есть библиотека, названная hive-bigbird-handler, которая содержит формат ввода и вывода для DynamoDB. Полные имена классов: org.apache.hadoop.hive.dynamodb.write.DynamoDBOutputFormat и org.apache.hadoop.hive.dynamodb.read.DynamoDBInputFormat
Я надеюсь, что эти занятия будут полезны для сообщества.
Не удалось найти InputFormat, который вы могли бы использовать непосредственно в MapReduce. Но вот статья AWS HowTo: Использование Amazon Elastic MapReduce с DynamoDB (Guest Post) для запуска заданий MarReduce с использованием Hive.