Описание тега apache-sqoop
Инструмент передачи данных между Apache Hadoop и структурированными хранилищами данных, такими как реляционные базы данных.
1
ответ
Использование имени базы данных вместе с именем службы при импорте из Oracle с использованием Sqoop
При импорте из oracle с использованием SQOOP уже указали имя службы в строке подключения jdbc:oracle:thin:@servername/servicename и не может добавить имя базы данных в строку подключения, а также не может указать то же самое в параметре --table, что…
26 апр '18 в 07:09
1
ответ
Sqoop Завершение строки поля команды не работает с оттенка
Я пытаюсь передать таблицу RDBMS в Hadoop с помощью команды sqoop. Когда я запускаю команду из командной строки Bitvise SSH Client, она работает правильно. Когда я запускаю ту же команду из редактора рабочего процесса Oozie из hue, данные успешно пе…
24 ноя '16 в 05:12
1
ответ
Пароль sqoop, содержащий точку с запятой
Все, Я сталкиваюсь с проблемой при выполнении команды sqoop, если точка с запятой является частью пароля. Как заставить sqoop принимать буквальную строку в качестве пароля или если есть какой-либо escape-символ. Пример команды sqoop, которую я пытаю…
22 мар '18 в 14:29
2
ответа
Как указать имя схемы базы данных Oracle в команде импорта Sqoop
У меня есть схема оракула / пользователь U1 (пароль P1), который содержит таблицу T1. Существует еще одна схема оракула / пользователь U2 (пароль P2), которая имеет разрешение на чтение таблицы U1.T1. Как я могу импортировать T1, используя учетные д…
17 окт '16 в 17:17
2
ответа
Перезаписать каталог hdfs Sqoop import
Можно ли автоматически перезаписывать каталог HDFS вместо того, чтобы перезаписывать его каждый раз вручную при импорте Sqoop? (У нас есть какой-либо параметр, такой как "--overwrite", как у нас для импорта кустов "--hive-overwrite")
19 окт '16 в 11:28
1
ответ
Неизвестный столбец 'towns.city' в 'списке полей'
неизвестный столбец 'towns.city' в 'списке полей' sqoop import \ --connect jdbc:mysql://localhost/sivam_db \ --username root \ --password cloudera \ --query 'select cities.city as ccity,normcities.city as ncity from cities full join normcities using…
24 мар '18 в 14:46
1
ответ
Обработка дат в Hadoop
Я новичок в экосистеме больших данных /Hadoop и заметил, что даты не всегда обрабатываются стандартным образом в разных технологиях. Я планирую загружать данные из Oracle в таблицы Hive на HDFS, используя Sqoop с форматами файлов Avro и Parquet. Hiv…
23 апр '17 в 16:03
1
ответ
Импорт sqoop из оракула не удается
У меня ошибка при выгрузке таблицы оракула в hdfs, вот команда: sqoop import -Dmapreduce.job.queuename=root.username \ --connect jdbc:oracle:thin:@//someExadataHostname/dbInstance \ --username user \ --password welcome1 \ --table TB_RECHARGE_DIM_APP…
10 янв '18 в 08:05
1
ответ
Импортируйте все таблицы из RDBMS, используя sqoop
Я пытаюсь импортировать данные из тестирования базы данных mysql в hadoop с помощью sqoop. Но в некоторых таблицах, имеющих первичные, а в некоторых таблицах первичный ключ отсутствует. $sqoop import-all-tables --connect jdbc:mysql://192.168.0.101/m…
02 авг '17 в 03:08
1
ответ
Как сгенерировать команду Sqoop из опций Sqoop?
Я хочу сгенерировать команды Sqoop для импорта таблиц RDBMS из Mysql. У меня есть команды sqoop, хранящиеся в БД, и позже с помощью этой команды создаются рабочие процессы Oozie. Теперь я пишу команды Sqoop вручную. Есть ли способ, которым я мог бы …
20 апр '17 в 12:21
1
ответ
Sqoop не может импортировать --as-parquetfile
Я использую версию Sqoop: 1.4.6.2.4.0.0-169 в песочнице hortonworks с HDP 2.4. Я получаю ошибку ниже, когда я выполняю команду sqoop: sqoop import --connect jdbc:mysql://127.0.0.1/test --username root --password test --table details --m 1 --target-d…
20 авг '16 в 23:25
1
ответ
Sqoop инкрементальный импорт и CURRENT_TIMESTAMP
Я пытаюсь инкрементальный импорт через SQOOP из Teradata в Hadoop. который не работает в моем случае. По ошибке кажется, что SQOOP внутренне создает SQL, которые синтаксически некорректны. Я даже пытался с опцией --verbose.... нет полезной информаци…
16 июн '15 в 05:02
1
ответ
Передача зашифрованных данных с использованием Sqoop
Возможен ли этот вариант использования: Чтобы сначала извлечь данные, зашифровать их, передать по сети, расшифровать и загрузить в куст или HDFS, используя Sqoop?
16 май '17 в 14:33
1
ответ
Неоднозначное имя столбца в Sqoop
Я использую sqoop для импорта данных с помощью запроса в свободной форме. Мой импорт sqoop выглядит следующим образом: sqoop --connect jdbc:mysql://mysql/employees --username root --password root --target-dir "/user/Sqoop/employees/" --delete-target…
16 июн '15 в 18:34
2
ответа
Sqoop list-database требует --connection-manager
Я использую Hortonworks Sandbox HDP 2.4 и не могу использовать list-databases инструмент, хотя import работает. sqoop list-databases --connect jdbc:mysql://<ip>:<port>/ --driver com.mysql.jdbc.Driver --username=myusername -P Это результа…
11 авг '16 в 07:50
1
ответ
Экспорт Sqoop со вставкой повторяющихся записей
Я пытаюсь понять, как работает экспорт sqoop. У меня есть сайт таблицы в MySQL, который содержит два столбца ID и URL и содержит две строки 1,www.yahoo.com 2,www.gmail.com Таблица не имеет первичного ключа Когда я экспортирую записи из HDFS в таблиц…
25 авг '16 в 05:24
1
ответ
Инкрементальный импорт Sqoop не удаётся для Teradata
Моя платформа: CDH 5.10 Quickstart VM и версия Teradata TDEXPRESS 16 VM. Я использую Sqoop и драйвер JDBC Teradata - tdgssconfig.jar, teradata-connector-1.5.3.jar,terajdbc4.jar Моя работа sqoop не выполняется со следующими ошибками. Какие-либо предл…
09 авг '17 в 09:17
1
ответ
Экспорт Sqoop из Hive в Netezza, если столбец имеет массив значений
Я пытался запустить экспорт sqoop для загрузки строк таблицы Hive в таблицу Netezza. Проблема в том, что у меня есть несколько столбцов, содержащих массив значений, и я создал DDL в Netezza для этих типов данных столбцов как varchar(200) и запустил …
10 май '16 в 13:21
3
ответа
Couchbase для экспорта локальных файлов
Мне нужно перенести данные couchbase в HDFS, но кластеры db и Hadoop не доступны друг другу. Поэтому я не могу использовать sqoop рекомендованным способом. Есть ли способ импортировать данные couchbase в локальные файлы (вместо HDFS) с помощью sqoop…
12 май '15 в 17:32
1
ответ
Как выполнить shellScript используя oozie
У меня есть следующая работа sqoop, которую я написал в sqoopJob.sh ----------- myscript.sh ------------------ TARGET_DIR=date+"%Y_%m_%d" sqoop import --connect jdbc:mysql://localhost/mydb --username root --password root --table Customer --m 1 --tar…
09 дек '15 в 12:35