Описание тега sqoop2
SQOOP2 - это версия SQOOP 2-го поколения. НЕ ИСПОЛЬЗУЙТЕ этот тег для вопросов SQOOP. Вместо этого используйте тег sqoop. SQOOP2 был разработан для устранения тесной связи между SQOOP и Hadoop. Но по состоянию на ноябрь 2017 года активно не поддерживается.
0
ответов
Пустая страница Sqoop in Hue, "ошибка: не удалось получить соединители"
Я пытаюсь использовать sqoop в Hue, но есть ошибка: Ошибка Sqoop: не удалось получить соединители. и нет мастера sqoop на странице. Но я мог импортировать данные из Oracle, используя оболочку sqoop (не sqoop2). Мои вопросы: Есть ли что-то еще для на…
28 янв '16 в 06:48
1
ответ
Можем ли мы использовать любое другое хранилище метастазов, кроме HSQLDB по умолчанию в sqoop 1.4.2?
Можем ли мы использовать любое другое хранилище метастазов (например, MYSQL), кроме HSQLDB по умолчанию в sqoop 1.4.2 . Если да, то КАК?
09 авг '14 в 11:12
0
ответов
Задание Sqoop 1.99.7 не работает на Apache Hadoop 3.2.0
Я сталкиваюсь с ошибкой в Sqoop 1.99.7 на Hadoop 3.2.0. Прилагаются ошибки. Не уверен, что кто-то сталкивался с этой ошибкой раньше. Я пытаюсь загрузить данные в HDFS из postgres 10. Пожалуйста, дайте мне знать, что мне здесь не хватает Sqoop 1.99…
26 фев '19 в 07:17
1
ответ
Импортируйте все таблицы из RDBMS, используя sqoop
Я пытаюсь импортировать данные из тестирования базы данных mysql в hadoop с помощью sqoop. Но в некоторых таблицах, имеющих первичные, а в некоторых таблицах первичный ключ отсутствует. $sqoop import-all-tables --connect jdbc:mysql://192.168.0.101/m…
02 авг '17 в 03:08
1
ответ
Можно ли работать с Hasoop и Sqoop отдельно на разных машинах?
Я установил sqoop 1.4.6 на новом узле, а hadoop работает на другом узле. Могу ли я указать моему серверу sqoop использовать существующую среду hadoop? Я знаю, что есть некоторый аргумент "--hadoop-mapred-home" для установки пути hadoop, но он исполь…
12 авг '15 в 11:33
1
ответ
Настройка встроенного дерби в Sqoop2
Я хочу настроить Sqoop2. Но есть некоторые проблемы в его настройке. Когда я запускаю сервер sqoop2-server start он не выдает никаких ошибок на консоли, но не запускается и показывает ошибки в журнале. Консольный вывод: Sqoop home directory: /opt/sq…
18 авг '15 в 12:16
3
ответа
Проблемы с полем даты при использовании Sqoop с параметром --as-avrodatafile
Ниже приводится суть моей проблемы. Конверт: Hadoop 2 (CDH5.1) база данных: оракул 11g Сценарии: я помещаю таблицы фактов и измерений из базы данных в hdfs. Первоначально у меня были проблемы с обработкой пустых значений (которые были обработаны с и…
26 авг '14 в 19:58
0
ответов
Отказоустойчивость в Apache Sqoop
Я хочу запускать инкрементную ночную работу, которая извлекает 100 ГБ данных из Oracle DataWarehouse в HDFS. После обработки результаты (несколько ГБ) необходимо экспортировать обратно в Oracle. Мы запускаем Hadoop в Amazon AWS, и наше хранилище дан…
27 мар '15 в 10:39
1
ответ
Экспорт Sqoop из Hive в Netezza, если столбец имеет массив значений
Я пытался запустить экспорт sqoop для загрузки строк таблицы Hive в таблицу Netezza. Проблема в том, что у меня есть несколько столбцов, содержащих массив значений, и я создал DDL в Netezza для этих типов данных столбцов как varchar(200) и запустил …
10 май '16 в 13:21
0
ответов
Как определить изменение столбца в Sqoop с помощью функции update-allowinsert
Я делаю экспорт Sqoop в RDS из S3 . Впервые я делаю вставку Sqoop. После этого для инкрементного я делаю update-mode allowinsert, это update-mode allowinsert Команда вставит новую строку, если строка не найдена, и обновит, если строка с первичным кл…
24 окт '18 в 09:55
3
ответа
Couchbase для экспорта локальных файлов
Мне нужно перенести данные couchbase в HDFS, но кластеры db и Hadoop не доступны друг другу. Поэтому я не могу использовать sqoop рекомендованным способом. Есть ли способ импортировать данные couchbase в локальные файлы (вместо HDFS) с помощью sqoop…
12 май '15 в 17:32
1
ответ
Поддержка Sqoop2 Avro
Клиентский аргумент sqoop поддерживает экспорт в формате Avro как, --as-avrodatafile + Но если взглянуть на Hue и Client Java API для Sqoop, он поддерживает только TEXT_FILE и SEQUENCE_FILE. Как включить поддержку AVRO и какую-либо документацию, как…
24 фев '14 в 18:58
1
ответ
Stratio Sqoop жалуется на отсутствие библиотеки hadoop
Я вытащил контейнеры док-станции stratio sqoop, как описано здесь: https://stratio.atlassian.net/wiki/display/SQOOP0X2/Example+mysql+to+kafka но когда начнется процесс создания связи между mysql и kafka. Шаг "создать ссылку -c generic-jdbc-connector…
17 дек '16 в 18:16
1
ответ
Заставить Sqoop1 работать с Hadoop2
Мне было трудно заставить sqoop1 работать на hadoop2. Я всегда бегаю инт Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.util.Tool ошибка, которая предполагает, что sqoop1 пытается использовать hadoop1. Но я скачал банку sqoop1 с выпу…
14 авг '14 в 17:09
0
ответов
Sqoop Import - Что означает структура каталогов _teven /1, _teven /2 и т. Д.?
Я начал импорт sqoop, который продолжался более 10 дней и все еще работает. Когда я сделал: hadoop fs -du -h <base-directory>/*/ Получил это: 2.6 TB <base-directory>/_temporary/1 502.6 GB <base-directory>/_temporary/2 3.5 TB <ba…
24 апр '16 в 04:58
1
ответ
Ошибка Sqoop при получении данных из базы данных Oracle с использованием кошелька Oracle
sqoop import -D mapred.map.child.java.opts='-Doracle.net.tns_admin=. -Doracle.net.wallet_location=.' -files $HOME/wallet/cwallet.sso,$HOME/wallet/ewallet.p12,$HOME/wallet/sqlnet.ora,$HOME/wallet/tnsnames.ora --connect jdbc:oracle:thin:@TEST2 --table…
08 июн '17 в 09:49
0
ответов
Sqoop Не удается обнаружить обновления, когда нет даты последнего изменения
У меня есть таблица заказов Mysql, в которой есть идентификатор автоинкремента, и статус заказа будет обновляться, а дата последнего изменения не будет изменена, и это очень большая таблица. Теперь я планировал создать приемник HDFS в реальном време…
07 дек '18 в 09:06
0
ответов
Экспорт Sqoop в Аврору завершился неудачно с завершением mysqlimport с кодом ошибки 143
Я пытаюсь запустить экспорт из S3, который имеет 130 ГБ текстового файла в RDS Aurora . Размер кластера моей EMR составляет 10 r3.4xlarge. Я создал таблицу из 130 столбцов в RDS и использовал следующую команду для экспорта записей в RDS. sqoop expor…
26 окт '18 в 13:12
3
ответа
Передача свойств mysql через sqoop eval
Команда sqoop eval: sqoop eval --connect 'jdbc:mysql://<connection url>' --driver com.mysql.jdbc.Driver --query "select max(rdate) from test.sqoop_test" дает мне вывод: Предупреждение: /usr/hdp/2.3.2.0-2950/accumulo не существует! Импорт Accum…
05 окт '16 в 18:41
3
ответа
Как изменить sqoop metastore?
Я использую версию sqoop 1.4.2. Я пытаюсь изменить мета-хранилище sqoop с hsqldb по умолчанию на mysql. Я настроил следующие свойства в файле sqoop-site.xml. <property> <name>sqoop.metastore.client.enable.autoconnect</name> <val…
06 июн '14 в 09:37