Описание тега apache-kudu
For questions related to Apache Kudu
1
ответ
Отправка Spark2 с мастер-пряжей выдает ошибку "URL должен быть установлен"
Я получаю исключение, org.apache.spark.SparkException: A master URL must be set in your configuration я использовал spark2-submit с вариантами deploy-mode = cluster а также master = yarn, Насколько я понимаю, я не должен получать это исключение с пр…
14 мар '18 в 23:05
1
ответ
Apache Kudu против InfluxDB на данных временных рядов для быстрой аналитики
Как Apache Kudu сравнивается с InfluxDB для данных датчика IoT, которые требуют быстрой аналитики (например, робототехники)? Куду недавно выпустил v1.0 У меня есть несколько конкретных вопросов о том, как Куду справляется со следующим: Sharding? Пол…
25 сен '16 в 03:53
2
ответа
Как визуализировать данные в Apache Kudu?
Можно ли визуализировать данные в Apache Kudu? Есть ли какое-либо руководство для этого?
08 сен '17 в 15:26
1
ответ
Многопользовательская реализация с Apache Kudu
Я внедряю систему больших данных с использованием Apache Kudu. Предварительные требования следующие: Поддержка Multi-Tenancy Клиентский интерфейс будет использовать драйверы Apache Impala JDBC для доступа к данным. Клиенты будут писать Spark Jobs на…
25 апр '17 в 22:24
0
ответов
Как измерить размер таблицы куду?
Я начинаю работать с kudu, и единственный способ измерить размер таблицы в kudu - это выбросить менеджер Cloudera - KUDU - Библиотека диаграмм - Общий размер планшета на диске через реплики Kudu. Есть еще один способ узнать, как бросить командную ст…
26 дек '18 в 13:00
1
ответ
Hadoop Key-Value store с удаленным развертыванием
Мое приложение запускается с удаленного компьютера через spark-submit в режиме кластера пряжи с таблицей ключей Kerberos и принципалами в этом руководстве: https://spark.apache.org/docs/latest/running-on-yarn.html. Преимущества этого подхода в том, …
13 дек '17 в 14:34
0
ответов
Вставить в таблицу KUDU по данным
Я пишу, чтобы узнать о проблеме в моем процессе: У меня есть таблица Куду, и когда я пытаюсь вставить по данным (11.5 или 11.7) новую строку, размер которой превышает 500 символов с помощью драйвера JDBC Impala, я получаю эту ошибку: Фатальная ошибк…
28 фев '19 в 16:32
2
ответа
Как найти имя мастера KUDU или порт, в котором находится база данных KUDU в моем кластере cloudera?
Я пытаюсь записать кадр данных Spark в базу данных Kudu, но я не знаю мастера Kudu. Кластер, который я использую, является кластером Cloudera. Как найти мастера Куду в кластере?
13 сен '18 в 21:19
4
ответа
Лучшая практика для транзакций с большими объемами с обновлениями баланса в реальном времени
В настоящее время у меня есть база данных MySQL, которая выполняет очень большое количество транзакций. Проще говоря, это поток данных действий (клики и другие события), поступающих в режиме реального времени. Структура такова, что пользователи прин…
25 фев '17 в 20:02
1
ответ
Читать таблицу Impala с помощью SparkSQL
Я пытался выполнить запрос, который имел функции, такие как привести.. над.. раздел и Союз. Этот запрос хорошо работает, когда я пытаюсь запустить его на Impala, но не работает на Hive. Мне нужно написать работу Spark, которая выполняет этот запрос.…
28 авг '17 в 19:47
0
ответов
Создание Dataframe внутри искровой структурированной потоковой передачи для forEachWriter для вставки в проблему с таблицей куду
У меня есть проблема, для которой я пытался найти решение, но не смог ничего найти и хотел бы получить любые * указатели, которые я могу получить. Поэтому я пытаюсь интегрировать структурированную потоковую передачу Spark с Apache Kudu, я читаю пото…
15 ноя '17 в 08:33
3
ответа
Загрузка данных из HDFS в Kudu
Я пытаюсь загрузить данные в таблицу Kudu, но получаю странный результат. В консоли Impala я создал внешнюю таблицу из четырех файлов HDFS, импортированных Sqoop: drop table if exists hdfs_datedim; create external table hdfs_datedim ( ... ) row form…
19 дек '17 в 16:17
1
ответ
Apache Kudu с Apache Spark NoSuchMethodError: exportAuthenticationCredentials
У меня есть эта функция с Spark и Scala: import org.apache.kudu.client.CreateTableOptions import org.apache.spark.sql.functions._ import org.apache.spark.sql.types._ import org.apache.spark.sql.{DataFrame, Dataset, Encoders, SparkSession} import org…
22 мар '17 в 09:17
1
ответ
Как читать с куду на питон
Я пытаюсь получить данные из Куду. Но я не могу установить пакет kudu-python в anaconda или на мой сервер. Могу ли я получить помощь с этим? Документация в интернете не совсем понятна.
26 сен '18 в 21:05
1
ответ
NonRecoverableException: Недостаточно живых планшетных серверов для создания таблицы с запрошенным коэффициентом репликации 3. 1 планшетных серверов живы
Я пытаюсь создать таблицу Kudu, используя Impala-shell. Запрос: CREATE TABLE lol ( uname STRING, age INTEGER, PRIMARY KEY(uname) ) STORED AS KUDU TBLPROPERTIES ( 'kudu.master_addresses' = '127.0.0.1' ); CREATE TABLE t (k INT PRIMARY KEY) STORED AS K…
07 авг '18 в 06:27
1
ответ
Метка времени Первичный ключ Куду
Я пытаюсь загрузить данные в таблицу Kudu через конверт. Одним из столбцов первичного ключа является отметка времени. DDL: СОЗДАТЬ ТАБЛИЦУ BAL ( client_id int bal_id int, метка времени_ фактического времени, prsn_id int, двойник bal_amount, строка p…
05 май '18 в 06:25
1
ответ
Ошибка при вставке строк в Kudu с использованием Spark Shell
Я новичок в Apache Kudu, я установил его в своей системе Ubuntu, а затем создал в нем таблицу с помощью оболочки Apache Spark. Теперь я пытаюсь вставить данные в эту таблицу, используя insertRows(), для этого я использую приведенную ниже команду, ku…
18 апр '17 в 12:48
0
ответов
Блокнот Zeppelin\jupyter для КУДУ
Мы пытаемся подключить ноутбук Zeppelin к KUDU через импалу. Мы не нашли ни одного существующего переводчика KUDU, кроме того, мы попытались найти переводчиков Impala. Любая помощь будет оценена Rony
20 июн '18 в 16:38
1
ответ
Установка Apache Kudu на моем Mac (Mac Os Sierra 10.12.1) не может быть скомпилирована во время "thirdparty/build-if-needed.sh"
Когда я пытаюсь установить Apache Kudu, я получаю эту ошибку. Я не смог найти никакой информации, чтобы решить эту проблему, и единственный, который я мог найти, говорит, что после установки Xcode проблема была решена, но у меня уже установлен Xcode…
05 дек '16 в 15:52
2
ответа
Apache Kudu медленная вставка, большое время ожидания
Я использовал Spark Data Source для записи в Kudu из Parquet, и производительность записи ужасна: около 12000 строк / секунд. Каждый ряд примерно 160 байтов. У нас есть 7 узлов куду, 24 ядра + 64 ГБ ОЗУ каждый + 12 дисков SATA каждый. Похоже, что ни…
13 авг '18 в 04:55