Что обеспечивает Sqoop 2, а Sqoop 1 - нет?
Согласно sqoop.apache.org, Sqoop 2 не является полным набором функций и не должен использоваться для производственных систем. Справедливо, некоторые люди могут захотеть протестировать новые функции Sqoop 2 в своих тестовых средах.
Cloudera имеет сравнение функций между Sqoop 1 и Sqoop 2 ( https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_ig_sqoop_vs_sqoop2.html), но, согласно странице, нет ничего, что Sqoop 2 предусматривает, что Sqoop 1 также не обеспечивает.
Так зачем кому-то использовать Sqoop 2 в его нынешнем виде? Это дает какие-либо преимущества по сравнению с Sqoop 1? Если нет, то почему он доступен для использования? Заранее спасибо!
3 ответа
Некоторые из функций, ожидаемых в стабильном выпуске Sqoop2:
- Простой в использовании графический интерфейс, который будет дополнительным к существующей командной строке.
- Исправления безопасности, такие как открытые пароли, которые будут исправлены
- Более простая отладка с лучшей регистрацией.
- Обеспечение поддержки разъемов, которые не соответствуют модели JDBC.
В настоящее время нет стабильных выпусков sqoop 2. Но вы можете создать последний проект, чтобы протестировать продукт и принять участие в открытом проекте (если вы заинтересованы).
См:
Так же, как быстрая заметка:
По словам Cloudera (по состоянию на ноябрь 2017 года)
Примечание: Sqoop 2 устарела. Cloudera рекомендует использовать Sqoop 1.
Apache Sqoop использует модель клиента, где пользователю необходимо установить Sqoop вместе с коннекторами / драйверами на клиенте. Sqoop2 использует модель, основанную на сервисах, где коннекторы / драйверы устанавливаются на сервере Sqoop2. Кроме того, все конфигурации должны быть выполнены на сервере Sqoop2.
С точки зрения MR другое отличие состоит в том, что Sqoop отправляет задание "Только карта", в то время как Sqoop2 отправляет задание MapReduce, где Mappers будут переносить данные из источника, в то время как редукторы будут преобразовывать данные в соответствии с указанным источником. Это обеспечивает чистую абстракцию. В Sqoop как транспорт, так и преобразования были предоставлены только Mappers.
Еще одно важное отличие Sqoop2 от безопасности. Администратор будет устанавливать соединения с источником и целями, в то время как пользователь оператора использует уже установленные соединения, поэтому пользователю оператора не нужно знать подробности о соединениях. А операторам будет предоставлен доступ только к некоторым разъемам по мере необходимости.