Описание тега analytics-engine
IBM Analytics Engine - единый сервис Hadoop и Spark, обеспечивающий среду для разработки и развертывания приложений расширенной аналитики за считанные минуты.
1
ответ
Ошибка соединения с IBM Analytics Engine
Я пытаюсь использовать python-ambariclient с IBM Analytics Engine: $ pip install --quiet python-ambariclient затем from future.standard_library import install_aliases install_aliases() from urllib.parse import urlparse import json vcap = json.load(o…
16 дек '17 в 08:00
1
ответ
Как включить отладку JVM для заданий пряжи в IBM Analytic Engine?
У меня проблема с приложением пряжи, работающим в IAE. Один из вариантов, который я хотел бы попытаться исследовать, - включить удаленную отладку JVM, чтобы я мог подключиться из своей среды IDE и просмотреть проблемный код. Обычно параметры отладки…
31 янв '18 в 18:04
0
ответов
Записать фрейм данных в таблицу Hive в IBM Analytics Engine
Я хотел бы сделать очень простую вещь: подключиться к серверу Hive в IBM Analytics Engine с помощью Spark удаленно и записать фрейм данных. Вот мой код: val connectionProperties = new Properties() connectionProperties.put("user", "clsadmin") connect…
08 янв '19 в 23:43
1
ответ
Как настроить Analytics Engine на использование Hive LLAP с помощью пользовательского интерфейса Ambari?
Поддерживается ли функция Hive LLAP в IAE? Если да, то как включить его с помощью пользовательского интерфейса Ambari? Я попытался включить на основе учебника от Hortonworks, но я получаю ошибки: $ hive Logging initialized using configuration in fil…
13 июн '18 в 14:27
1
ответ
Как определить, какие службы перезапустить после изменения конфигурации?
Мне нужно внести некоторые изменения в мой кластер с помощью Ambari API. После внесения изменений я использую следующий код для перезапуска всего сервиса: echo "stop and Start Services" curl -k -v --user $AMBARI_USER:$AMBARI_PASSWORD -H "X-Requested…
22 фев '18 в 23:25
1
ответ
java.io.FileNotFoundException: не найдено, потому что://mybucket.myservicename/checkpoint/offsets
Я пытаюсь использовать Spark Structured Streaming 2.3 для чтения данных из Kafka (IBM Message Hub) и сохранения их в IBM Cloud Object Storage в 1.1 IBM Analytics Engine Cluster. После создания кластера вставьте в него ssh: $ ssh clsadmin@myclusterid…
22 авг '18 в 15:46
1
ответ
Как отладить куст на IBM Analytics Engine?
Я пытаюсь отладить задание Hive, работающее на IBM Analytics Engine (IAE). Я пробовал следующие инструкции: https://community.hortonworks.com/content/supportkb/150214/how-to-enable-debug-hive-cli-logging.html hive -hiveconf hive.log.file=debug_hive_…
24 сен '18 в 09:07
2
ответа
Команде spark-submit не удается подключиться к узлу spark для службы службы аналитики bluemix
Я пытаюсь развернуть Spark-приложение (Java) в Spark Engine как часть службы службы аналитики в Bluemix. Я следовал за шагом упоминания здесь https://console.bluemix.net/docs/services/AnalyticsEngine/WCE-CLI.html После выполнения всех шагов и во вре…
03 май '18 в 11:27
1
ответ
Запрос улья не возвращает данных
CREATE EXTERNAL TABLE invoiceitems ( InvoiceNo INT, StockCode INT, Description STRING, Quantity INT, InvoiceDate BIGINT, UnitPrice DOUBLE, CustomerID INT, Country STRING, LineNo INT, InvoiceTime STRING, StoreID INT, TransactionID STRING ) ROW FORMAT…
30 авг '18 в 12:16
1
ответ
Не удалось получить транспорт из транспортного пула для хоста
Я пытаюсь написать в приемник IBM Compose Elasticsearch из Spark Structured Streaming в IBM Analytics Engine. Мой искровой код: dataDf .writeStream .outputMode(OutputMode.Append) .format("org.elasticsearch.spark.sql") .queryName("ElasticSink") .opti…
03 сен '18 в 09:46
1
ответ
hadoop fs -copyFromLocal localfile.txt cos://remotefile.txt => Не удалось создать /disk2/s3a
Я пытаюсь загрузить файл в хранилище облачных объектов из IBM Analytics Engine: $ hadoop fs -copyFromLocal LICENSE-2.0.txt \ cos://xxxxx/LICENSE-2.0.txt Тем не менее, я получаю предупреждения о невозможности создания дисков: 18/01/26 17:47:47 ПРЕДУП…
26 янв '18 в 17:53
1
ответ
Как читать и записывать таблицы улья из Apache Spark на Analytics Engine
Я хотел бы использовать Spark на аналитическом движке из записной книжки Jupyter в Watson Studio, чтобы иметь возможность читать и писать в таблицы Hive, но неясно, как я могу это сделать, просто читая документацию Spark. Причина, по которой это нея…
01 июн '18 в 20:04
1
ответ
Сеанс WARN: Ошибка создания пула в /xxx.xxx.xxx.xxx:28730
Я пытаюсь подключиться к базе данных ScyllaDB, работающей в IBM Cloud из Spark 2.3, работающей в IBM Analytics Engine. Я запускаю искровую оболочку вот так... $ spark-shell --master local[1] \ --files jaas.conf \ --packages org.apache.spark:spark-sq…
23 авг '18 в 10:32
2
ответа
Как получить имя узла имени узла с помощью Ambari?
Библиотека python-ambariclient имеет API для получения host_components: ambari.services(service_name).components(component_name).host_components Как я могу извлечь name_node для кластера IBM Analytics Engine? Я думаю, что мне нужно сделать звонок: G…
16 дек '17 в 08:53
1
ответ
ssh-copy-id копирует мой открытый ключ, но мне все еще нужно ввести свои учетные данные при входе в IAE
Я пытаюсь настроить беспарольный доступ SSH к моему кластеру. Я использовал ssh-copy-id clsadmin@my-clusterhostname и ввел пароль кластера при повышении. Вывод из ssh-copy-id показывает: Number of key(s) added: 1 Однако, когда я пытаюсь войти в клас…
07 фев '18 в 11:54
2
ответа
IBM Cloud: как отключить аналитический движок, когда он не используется?
Я использую Analytics Engine в IBM Cloud, но нигде не вижу, как можно остановить его, когда я не работаю. Таким образом, на использование моего кредита уходит один день, так как я использую аккаунт Lite. Как это остановить или приостановить, когда я…
11 дек '18 в 23:17
1
ответ
Как уменьшить коэффициент репликации hdfs в IBM Analytics Engine?
Как я могу уменьшить коэффициент репликации данных в HDFS с помощью IAE? Идея состоит в том, чтобы использовать все доступное дисковое пространство HDFS для тестирования. Я видел довольно много вопросов о том, как это сделать в кластерах Hadoop друг…
25 янв '18 в 11:46
1
ответ
Ошибка при подготовке Analytics Engine из консоли IBM Cloud: BXNIM0511E
Я пытаюсь предоставить Google Analytics Engine. Вот шаги, которые я выполнил: Войдите в консоль IBM Cloud Выберите стандартный почасовой экземпляр для региона Великобритании Нажмите на Настроить ... Я получил следующую ошибку в моем окне браузера {"…
04 июн '18 в 11:27
1
ответ
Как заменить "системные" библиотеки в IBM Analytics Engine?
Чтобы помочь отладить проблему с приложением пряжи, мне нужно изменить часть системного кода в IAE, чтобы обеспечить больше выходных данных отладки. Я получил этот файл JAR из кластера на мой локальный компьютер: /usr/hdp/current/hadoop-client/hadoo…
31 янв '18 в 18:13
1
ответ
Ошибка при создании внешней таблицы Hive в IBM Analytics Engine
Я создаю внешнюю таблицу кустов из файла CSV, расположенного в IBM Cloud Object Storage. Я использую клиент beeline, пока ssh'd в кластер с пользователем clsadmin. Я был в состоянии сделать соединение JDBC. Получение ошибки ниже при создании таблицы…
29 янв '18 в 22:00