Можно ли перенести данные из Redshift в Elasticsearch?

Question

Я работаю над чем-то, связанным с сервисом Amazonasticsearch. Для этого мне нужно получить данные из Amazon Redshift. Объем передаваемых данных огромен, т. Е. 100 ГБ. Есть ли способ получить его напрямую из Redshift или два? пошаговый процесс вроде Redshift->s3->asticsearch?

Answer 1

Похоже, что нет прямого канала передачи данных для передачи данных в эластичный поиск из Redshift. Один из альтернативных подходов заключается в том, чтобы сначала сбросить данные в S3, а затем вставить в эластичный поиск.

Answer 2

Я вижу, по крайней мере в теории, 2 возможных подхода для передачи данных из Redshift в Elasticsearch:

1. Logstash, используя плагин ввода JDBC
2. elasticsearch-JDBC

Answer 3

1. Не распаковывайте данные без загрузки.
2. Используйте объемную нагрузку на эластик
3. Используйте большое количество записей в массовой загрузке (>5000) - меньше больших объемных загрузок лучше, чем более мелкие.
4. При работе с упругим поиском AWS существует риск превышения пределов размера общей очереди.
5. Обработайте один файл в лямбде, а затем рекурсивно вызовите лямбда-функцию с событием
6. Перед повторением подождите пару секунд -> setTimeout. При ожидании убедитесь, что вы не бездействуете в течение 30 секунд, потому что ваша лямбда остановится.
7. Не используйте создание объекта s3 для запуска вашей лямбды - вы получите несколько лямбда-функций, вызываемых одновременно.
8. Не пытайтесь ставить кинезис посередине - выгрузка ваших данных в кинезис почти наверняка достигнет предела нагрузки при кинезисе.
9. Контролируйте свой объем очереди эластичного поиска с помощью чего-то вроде этого:

curl https://%ES-SERVER:PORT%/_nodes/stats/thread_pool |jq
    ‘.nodes |to_entries[].value.thread_pool.bulk’