Описание тега hdinsight
HDInsight - это платформа Microsoft для больших данных, доступная в Microsoft Azure.
0
ответов
Как создать Spark для запуска скрипта Scala в HDInsight?
Я хочу выполнить скрипт Scala, используя HDInsight. Ниже в статье описывается запуск скрипта py, но не упоминается о Scala. Я следовал статье (вместо py-файла, загруженного файла Scala), но Azure DataFactory не удалось выполнить с сообщением об ошиб…
03 май '18 в 11:51
0
ответов
Хранилище Microsoft Windows Azure: удаленный сервер вернул ошибку 404 не найдена
Я постоянно получаю сообщение об ошибке "404 not found". Я создал кластер и учетную запись хранения и контейнер. Подробная ошибка, которую я получаю: Необработанное исключение: System.AggregateException: произошла одна или несколько ошибок. --- Micr…
09 сен '16 в 20:55
1
ответ
Скорость работы Spark в зависимости от размера сервера SQL
Моя настройка: У меня есть сервер MS SQL под управлением Azure (V12) У меня есть кластер Spark, работающий в Azure HDInsights Spark.Version: 1.6.2 Scala.Version: 2.10.5 Я извлекаю свои данные (около 5 миллионов строк) с сервера SQL через драйвер jdb…
14 окт '16 в 19:36
1
ответ
Используйте дополнительную библиотеку в PySpark3 на HdInsight
Я пытаюсь установить библиотеку Shapely, но при ее импорте появляется сообщение об ошибке: > from shapely.geometry import Point No module named 'shapely' Traceback (most recent call last): ImportError: No module named 'shapely' Мое ядро: cat /usr…
14 дек '17 в 09:41
1
ответ
HDInsight Intellij Plugin Аутентификация
Я использую IntelliJ Community 2016.2.4 для OSX El Capitan и пытаюсь использовать плагин HDInsight для запуска Spark-приложения на моем Spark Cluster в Azure. Однако я сталкиваюсь с проблемой, когда при попытке аутентификации подключаемого модуля HD…
11 сен '16 в 20:03
1
ответ
HDInsight - ResourceDeploymentFailure
Я пытаюсь создать кластер Hadoop HDInsight (с моим бесплатным уровнем). Я пытаюсь использовать другие настройки, отличные от настроек по умолчанию (пробовал несколько комбинаций), но мое развертывание не удается с сообщением об ошибке ниже. После ис…
29 ноя '17 в 20:28
4
ответа
Сравнение решений BigData.
Я изучал BigData последние пару месяцев и начал делать мой FYP, который должен анализировать BigData с помощью MapReduce а также HDInsight в Windows Azure, Я только пришел к этой конкретной путанице, где, какую платформу лучше сделать BigData аналит…
24 фев '15 в 13:04
1
ответ
Ошибка инициализации HDInsight VM при загрузке данных
Я пытаюсь запустить этот пример с самого начала для загрузки данных в мой кластерный узел HDInsight hadoop. Когда я запускаю образец, я получаю ошибку, как показано ниже: c:\Hadoop\GettingStarted>powershell -ExecutionPolicy unrestricted -F import…
04 янв '13 в 17:22
1
ответ
Вставка данных из Apache Storm в Azure Cosmos DB
Пытаюсь вставить данные из шторма в космос дБ - Монго дб MongoClient mongoClient = null; mongoClient = new MongoClient(new MongoClientURI("mongodb uri from azure portal")); // Get database MongoDatabase database = mongoClient.getDatabase("toystore")…
05 дек '17 в 04:05
1
ответ
Подключите hadoop в C#
Я хочу подключить hadoop в C# с помощью HDInsight. Я создал кластер в AZURE, и он был создан успешно. а также я включил подключение удаленного рабочего стола в нем. Когда я ввел учетные данные в C# и выполнил задание, я получил ошибку соединения. Я …
05 май '14 в 17:12
1
ответ
Как настроить и перезагрузить кластер HDInsight, работающий в Azure?
В частности, я хочу изменить максимальное количество сопоставителей и максимальное число преобразователей для каждого узла в кластере HDInsight, работающем в Microsoft Azure. Используя удаленный рабочий стол, я вошел в головной узел. Я отредактирова…
27 июн '13 в 12:49
0
ответов
Ошибка MERGE в SQL Azure из-за недостатка места в базе данных tempDB
Мы пытаемся объединить большой стол с другим большим столом. Обе таблицы имеют размер около 200 ГБ, и мы используем Azure SQL PAAS премиум-типа P15. Мы используем MERGE команда для объединения таблиц, и мы получаем исключение Сбой логики MERGE из-за…
14 июл '18 в 12:18
0
ответов
HDInsight и Data Lake - как использовать принципал службы, подкрепленный сертификатом от Key Vault
При подготовке кластера HDInsight (например, Spark), если Data Lake должен быть настроен как хранилище по умолчанию, тогда требуется субъект службы с аутентификацией сертификата. Мы автоматизировали это с помощью самостоятельно созданного сертификат…
13 дек '18 в 10:59
1
ответ
Как загрузить вложение формата файла outlook item (.msg) в таблицу кустов?
Прежде всего, я использую Microsoft Azure HDinsight Hadoop. У меня есть вложения MSG-файлов (формат почтовых сообщений для Outlook). Я уже загружаю их в хранилище больших двоичных объектов, но не могу загрузить их в созданную мной таблицу. Есть ли с…
18 ноя '15 в 15:15
2
ответа
Что не так с этой Java для HDInsight Hadoop?
Я пытаюсь выяснить, почему Java ниже не работает, когда я пытаюсь запустить его на hadoop. import java.io.IOException; import java.util.HashMap; import java.util.List; import java.util.Map; import org.apache.hadoop.conf.Configuration; import org.apa…
30 июл '13 в 18:33
2
ответа
Импорт данных из SQL Azure в HDInsight (текстовый файл)
Я пытался импортировать данные из моей базы данных SQL Azure, которая общедоступна в HDInsight. Оба являются частью одной подписки. Я запускаю следующий запрос в командной строке HDInsight: sqoop import --connect "jdbc: sqlserver: //*.database.windo…
14 июн '13 в 09:32
1
ответ
Как использовать свинью в Visual Studio с Azure Hdinsight
Я создал свой HDInsight на Azure и подключился к облачному обозревателю на VS2017. Я хочу сделать счетчик слов, используя свинью Hdinsight. Я создал свой проект свиньи, но когда я начинаю свой script.pig Я получаю ошибку: Could not copy the file "ob…
14 авг '17 в 20:09
2
ответа
Как эффективно хранить и запрашивать миллиард строк данных датчиков
Ситуация: я начал новую работу и получил задачу выяснить, что делать с их таблицей данных датчика. Он имеет 1,3 миллиарда строк данных датчиков. Данные довольно просты: в основном это просто идентификатор датчика, дата и значение датчика в тот момен…
10 янв '16 в 18:31
2
ответа
Не удается удалить файлы из хранилища озера данных, созданного активностью HDinsight
Я не способен delete файлы, созданные Python/Scala/Hive программы на связанные Azure Datalake Store, Когда я пытаюсь delete те папки и файлы, которые я получаю access denied error, Я гарантировал, что у меня есть full permission на эти папки и файлы…
07 май '18 в 09:50
1
ответ
Pyparsing в Azure HDInsight
Есть ли способ использовать Pyparsing в Azure HDInsight? Если нет, то есть ли способ установить пакет Pyparsing при создании кластера HDInsight? Спасибо.
19 ноя '15 в 19:50