Описание тега sqoop
Sqoop - это среда подключения с открытым исходным кодом, которая упрощает передачу между несколькими системами управления реляционными базами данных (RDBMS) и HDFS. Sqoop использует программы MapReduce для импорта и экспорта данных; импорт и экспорт осуществляются параллельно.
0
ответов
Таблица кустов разделов на основе года / месяца из столбца меток времени
У меня есть таблица улья, которую я импортирую из Postgres, используя sqoop. Эта таблица состоит из столбца updated_at, который имеет значения меток времени. Я пытаюсь разделить таблицу по году и месяцу из этого значения метки времени. Есть ли спосо…
08 июл '16 в 14:48
2
ответа
Когда я запускаю Java-программу вручную из терминала, она работает нормально, но не работает, когда я запускаю из Eclipse
Моя программа не запускается из Eclipse, но она работает через терминал в Ubuntu. Ниже приведен скрипт оболочки, который я запускаю в Java #!/usr/bin/env bash # Running sqoop commands s="$(sqoop help)" echo "$s" Ниже приведен код Java package flexib…
09 апр '17 в 06:14
2
ответа
HDP 2.2 Sandbox Не удалось найти каталог SQOOP
Я следовал за учебником http://hortonworks.com/hadoop-tutorial/import-microsoft-sql-server-hortonworks-sandbox-using-sqoop/ Я не могу найти /usr/lib/sqoop/lib. Я мог видеть Sqoop, работающий в песочнице. Просто не удалось найти папку для сбрасывания…
09 фев '15 в 19:29
1
ответ
Используйте sqoop экспорт данных из куста в mysql ClassNotFoundException:<имя_таблицы>.class
Ракушка: bin/sqoop export --bindir ./ --connect jdbc:mysql://localhost:3306/dbtaobao --username root --password chengnuo1314521. --table user_log --export-dir '/user/hive/warehouse/dbtaobao.db/inner_user_log' --fields-terminated-by ','; и я вижу jar…
30 июн '18 в 08:36
1
ответ
Использование имени базы данных вместе с именем службы при импорте из Oracle с использованием Sqoop
При импорте из oracle с использованием SQOOP уже указали имя службы в строке подключения jdbc:oracle:thin:@servername/servicename и не может добавить имя базы данных в строку подключения, а также не может указать то же самое в параметре --table, что…
26 апр '18 в 07:09
0
ответов
Можем ли мы Sqoop данных в Hive с динамическим разделом?
Я изучаю Hadoop и, практикуя Sqoop, попал в ситуацию, когда Hive импортирует с разметкой. С помощью приведенного ниже запроса Sqoop я могу разделиться на Hive. >sqoop import --driver com.mysql.jdbc.Driver --connect jdbc:mysql://localhost:3306/pra…
14 ноя '17 в 18:06
2
ответа
Ошибка запуска Sqoop Action с использованием Oozie в кластере Hadoop
Я пытаюсь успешно запустить sqoop-действие в Oozie с помощью кластера Hadoop. Всякий раз, когда я проверяю статус заданий, Oozie возвращается со следующим обновлением статуса: действия ID Status Ext ID Ext Статус Код ошибки 0000037-140930230740727-o…
02 окт '14 в 20:32
1
ответ
Как передать свойства Java для задания импорта sqoop
При использовании sqoop import возможно передать свойства java. В моем случае мне нужно пройти -Doraoop.oracle.rac.service.name=myservice вместе с --direct использовать sqoop прямое подключение к оракулу RAC. Теперь мне нужно создать задание sqoop с…
08 сен '16 в 15:08
1
ответ
Как импортировать локальный CSV в куст без создания схемы с помощью sqoop
У меня есть CSV в моем локальном каталоге, и я хочу создать улей таблицы.. Проблема в том, что CSV имеет много столбцов...
08 ноя '15 в 13:21
0
ответов
Конвертировать столбец Sqoop sql-timestamp в фактическую дату и время
При импорте Sqoop мы сталкиваемся с проблемой преобразования столбца sql-timestamp в фактическую дату и время. В одной из таблиц SQL Server есть следующие столбцы отметок, и это столбец надежного приращения, и при преобразовании в datetime мы получа…
16 мар '18 в 05:06
0
ответов
Инкрементальный импорт с использованием sqoop, когда столбец не является инкрементным
Если у меня есть таблица со следующими полямиSSN | First Name | Last Name | City | ZipCode Первичный ключ SSN и нет другого суррогатного первичного ключа для этой таблицы. В день 1 - таблица получила 100 вставок, и sqoop используется для импорта доп…
27 июл '17 в 05:20
3
ответа
Sqoop Import Split by Column Тип данных
Должен ли тип данных Разделить по столбцам при импорте sqoop всегда быть числовым типом данных (целое число, bignint, числовое значение)? Разве это не может быть строка?
13 окт '16 в 23:42
1
ответ
Как экспортировать таблицу 2 ТБ из экземпляра RDS в S3 или Hive?
Я пытаюсь перенести всю таблицу из моего экземпляра RDS (MySQL 5.7) в S3 (файл csv) или в Hive. Таблица имеет в общей сложности 2 ТБ данных. И у него есть столбец BLOB, в котором хранится zip-файл (обычно 100 КБ, но он может достигать 5 МБ). Я прове…
02 окт '17 в 12:26
2
ответа
sqoop экспорт таблицы орков улья
У меня есть таблица кустов в формате orc, заполненная pyspark dataframe_writer. Мне нужно экспортировать эту таблицу в oracle. У меня проблемы с экспортом таблицы, потому что sqoop не может разобрать формат файла orc. Существуют ли какие-либо особые…
22 фев '17 в 02:32
1
ответ
Сообщение [JA002: ПРОСТАЯ аутентификация не включена. В наличии:[ЗНАК]]
Я получаю следующую ошибку при выполнении задания Oozie. Команда: oozie job -oozie http://10.xxx.xx.xx:11000/oozie/ -log 0000017-151029172404066-oozie-oozi-W Журналы: 2015-11-24 11:50:23,469 INFO ActionStartXCommand:543 - SERVER[hostname.abc.com] US…
27 ноя '15 в 04:44
1
ответ
Sqoop: импортировать все таблицы, конвертирующие типы BLOB-объектов
Я пытаюсь импортировать все таблицы из моего Oracle 11g R2 (import-all-tables) и сталкиваюсь с проблемой с типом CLOB. (Используя CDH 5.9, Sqoop 1.4.6-cdh5.9.1) Первая попытка: sqoop import-all-tables --connect ... --hive-import --hive-overwrite --a…
06 фев '17 в 14:46
1
ответ
Hive Query дает разные результаты, чем SQL
У меня есть две таблицы, называемые "игра" и "команда", в базе данных MySQL. Они имеют следующую форму: game: +-----+------+ | gid | temp | +-----+------+ | 1 | 79 | | 2 | 78 | | 3 | 109 | | 4 | 77 | | 5 | 90 | | 6 | 89 | | 7 | 65 | | 8 | 71 | | 9 |…
02 июн '16 в 18:23
1
ответ
Пароль sqoop, содержащий точку с запятой
Все, Я сталкиваюсь с проблемой при выполнении команды sqoop, если точка с запятой является частью пароля. Как заставить sqoop принимать буквальную строку в качестве пароля или если есть какой-либо escape-символ. Пример команды sqoop, которую я пытаю…
22 мар '18 в 14:29
0
ответов
Как избежать перекоса и определить оптимальное количество картографов в импорте SQOOP
Если в исходной таблице есть первичный ключ, то при импорте SQOOP не будет искаженных данных... Что делать, если в таблице не определен первичный ключ и нам нужно использовать параметр --split-by для разделения записей между несколькими сопоставител…
24 июн '15 в 07:43
2
ответа
Sqoop: как отключить подготовленные операторы?
Я использую Sqoop 1.4.5-cdh5.4.2 и Postgresql. Если Sqoop подключается напрямую к базе данных - все в порядке. Но нужно использовать Sqoop поверх pgbouncer, и у меня есть проблемы с этим. В pgbouncer вы не можете делать подготовленные операторы режи…
23 июн '16 в 13:29