Описание тега azure-hdinsight
Вопросы, связанные с Azure HDInsight
2
ответа
Как эффективно хранить и запрашивать миллиард строк данных датчиков
Ситуация: я начал новую работу и получил задачу выяснить, что делать с их таблицей данных датчика. Он имеет 1,3 миллиарда строк данных датчиков. Данные довольно просты: в основном это просто идентификатор датчика, дата и значение датчика в тот момен…
10 янв '16 в 18:31
2
ответа
HDFS ls показывает размер файла 0, в то время как Flume пишет файл
В настоящее время мы работаем над настройкой системы Apache Flume, которая собирает данные о событиях и записывает их в файлы в нашем кластере HDFS HDInsight. При проверке начальной настройки hdfs ls отображает 0 для размера файла, когда Flume пишет…
25 фев '16 в 01:28
1
ответ
В клиенте HDInsight отсутствует библиотека
У нас есть кластер HDinsight, работающий на Azure. Я пытался создать клиентский компьютер для подключения к HDInsight. Я следовал инструкции из руководства по установке Hortonworks для установки всех клиентских компонентов, а затем скопировал /etc/h…
23 июн '16 в 18:16
0
ответов
Разверните кластер HDInsight Kafka с дисками премиум-класса P30 и открытым ключом ssh с помощью Azure Cli
Здравствуйте! Я пытаюсь развернуть кластер HDInsight kafka с помощью Azure Cli, но у меня возникают 2 проблемы. 1. SSH аутентификация с открытым ключом Когда я указываю --ssh-public-key Опция и пропуск открытого ключа я получаю следующую ошибку: "Па…
26 фев '19 в 14:42
1
ответ
Добавить учетную запись Azure Data Lake в существующий кластер HDInsight
Мне нужно программно добавить ссылку на озеро данных Azure в существующий кластер. Я знаю, что мы можем сделать это с хранилищем больших двоичных объектов с помощью действия сценария, но я не нашел документированного способа сделать это с помощью AD…
26 фев '19 в 14:43
2
ответа
Что такое мой URL-адрес webHDFS в Azure HDInsight?
Новое в лазури здесь. Я только что закончил раскручивать новый экземпляр HDInsight с новым экземпляром хранилища в обычной учетной записи хранения. Мне интересно, что мой URL-адрес webHDFS / где я могу получить его и как я могу получить к нему досту…
29 авг '17 в 15:43
1
ответ
Как настроить размер паркетных блоков в Spark в Azure HDInsight?
У меня есть около 3500 CSV, которые я конвертирую в паркет, разделенный по дате (эти данные охватывают 7 дней). Я хочу установить размер файла паркета таким образом, чтобы каждый файл занимал 1 ГБ. в настоящее время я получаю слишком много файлов (4…
19 июл '17 в 05:07
4
ответа
AzureException: невозможно получить доступ к контейнеру с использованием анонимных учетных данных, и учетные данные для них не найдены в конфигурации
Я пытаюсь использовать Hadoop из Azure HDInsight. Я вхожу в кластер с помощью SSH и запускаю следующее hadoop jar jar_name class_name wasb://container@storagename.core.windows.net/inputdir wasb://container@storagename.core.windows.net/outputdir Но я…
09 ноя '15 в 01:15
1
ответ
HDInsight Kafka Cluster не может получить доступ к основной учетной записи BLOB-хранилища
Я включил кластер Kafka с хранилищем BLOB-объектов (общего назначения v1) в качестве основного хранилища. Нет другого хранилища прилагается. Однако узлы кафки не могут получить доступ к BLOB-файлам в одном хранилище. Кластеры Spark/R могут обращатьс…
02 июл '18 в 06:26
0
ответов
jdbc.SQLServerException: не удается найти тип данных "TEXT" при экспорте данных в Azure SQL Server
Я создал фрейм данных в scala spark 2.1 в Azue HDInsight. Я пытаюсь записать фрейм данных в хранилище данных SQL с помощью пакетов PostgreSQL. Я попробовал следующую команду, чтобы написать: df1.write.format("jdbc").option("url", "jdbc:sqlserver://#…
26 май '17 в 10:53
2
ответа
Альтернатива.Netcore для Microsoft.Azure.Management.HDInsight.Job?
Я работаю над преобразованием библиотеки из полной.NetFramework в.NetCore Я ищу замену https://www.nuget.org/packages/Microsoft.Azure.Management.HDInsight.Job/, которая не обновлялась более года и не совместима с.NetCore. Я надеялся, что функциональ…
23 мар '18 в 01:14
0
ответов
Доступ к кластеру HDInsight-Kafka из функции Azure
Я пытаюсь создать кластер Hdinsight-kafka, используя документ Microsoft ниже https://docs.microsoft.com/en-us/azure/hdinsight/kafka/apache-kafka-get-started Нет проблем с вышеуказанными шагами, позже созданное приложение-функция Azure, используя при…
15 апр '18 в 09:53
4
ответа
Различия между блочным блоком Azure и блоком страниц?
Как я недавно начал смешиваться с Windows AzureЯ столкнулся с ситуацией, в которой между Block Blob & Page Blob, В настоящее время я загружаю некоторые текстовые, CSV или DAT-файлы в хранилище BLOB-объектов, а затем делаю MapReduce запрограммируйте …
16 мар '15 в 14:25
2
ответа
Spark SQL: как использовать данные JSON из службы REST в качестве DataFrame
Мне нужно прочитать некоторые данные JSON из веб-службы, предоставляющей REST-интерфейсы, для запроса данных из моего кода SPARK SQL для анализа. Я могу прочитать JSON, хранящийся в хранилище BLOB-объектов и использовать его. Мне было интересно, как…
09 май '16 в 10:06
1
ответ
Я могу уменьшить лазурный кластер hdinsight?
Я создал Azure HD с 8-узловым кластером. я бегу запрос улья, который занимает все рабочие узлы. когда я проверяю список узлов пряжи, появляется следующее: Node-Id Node-State Node-Http-Address No-of-Running-Containers X.X.X.X:00050 RUNNING X.X.X.X:00…
26 май '17 в 18:32
1
ответ
ClassNot Найдено с Оззи, Azure HDInsight & Spark2
После исследования в течение 1 недели, пришлось поставить этот запрос: Среда: Azure HDInsight Версия Oozie: "Версия сборки клиента Oozie: 4.2.0.2.6.5.3004-13" Spark: Spark2 Моя программа: простая программа Scala читает файл i.csv и записывает его в …
13 фев '19 в 18:53
3
ответа
Подключитесь к Kafka, установленному в HDInsight (Azure)
Мне нужно подключиться из внешнего Java-приложения к кластеру Kafka, который был запущен как часть HDinsight на Azure. У меня есть кластер с 3 экземплярами брокеров, 3 ZooKeepers и один клиент ZooKeeper. Теперь мой вопрос: как указать строку подключ…
27 дек '17 в 14:46
0
ответов
ADFV 2 Spark Activity с ошибкой выбрасывания Scala с кодом ошибки 2312
Используя Azure Data Factory версии 2, мы создали Spark Activity (простой пример Hello World), но он выдает ошибку с кодом ошибки 2312 Наша конфигурация - кластер Hdinsight с озером данных Azure в качестве основного хранилища. Мы также попытались ра…
21 сен '18 в 05:19
1
ответ
Ambari api POST жалуется на защиту CSRF
Я пытаюсь установить свойство hbase через Ambari API, используя следующую команду curl -u "admin:admin" -i -X POST -d '{"type": "hbase-site", "tag": "version3", "properties" : {"hbase.regionserver.global.memstore.size" : "0.6"}}' https://abct.net/ap…
12 сен '16 в 18:39
1
ответ
Как вызвать Python Jupyter Notebook через API REST, размещенный в Azure HDInsight?
Я уже установил HDInsight. В то же время я создал несколько файлов, используя PySpark с поддержкой Python 3. Я собираюсь позвонить в эту записную книжку Python через REST API, и Livy Server, похоже, является шагом вперед. Проблема, с которой я сталк…
19 май '19 в 19:20