Подключите hadoop в C#

Question

Я хочу подключить hadoop в C# с помощью HDInsight. Я создал кластер в AZURE, и он был создан успешно. а также я включил подключение удаленного рабочего стола в нем. Когда я ввел учетные данные в C# и выполнил задание, я получил ошибку соединения. Я запутался в предоставлении параметров. Пожалуйста, помогите мне.

var hadoop = Hadoop.Connect(new Uri("https://clustername.azurehdinsight.net"), "admin", "");
//I have set remote desktop password

var config = new HadoopJobConfiguration();



                config.InputPath = "input/CodeFiles";
                config.OutputFolder = "output/CodeFiles";
                var result = hadoop.MapReduceJob.ExecuteJob<NamespaceCounterJob>();

Последняя строка дает исключение. Сообщение об исключении:

Произошла одна или несколько ошибок

И это внутреннее исключение:

невозможно подключиться к удаленному серверу

Answer 1

Uri должен быть вашим именем кластера, а не именем пользователя, например:

var hadoop = Hadoop.Connect(new Uri("https://clustername.azurehdinsight.net"), "username", "password");
var config = new HadoopJobConfiguration();

            config.InputPath = "input/CodeFiles";
            config.OutputFolder = "output/CodeFiles";
            var result = hadoop.MapReduceJob.ExecuteJob<NamespaceCounterJob>();

Имя кластера отображается в верхней части страницы сведений на портале Azure для вашего кластера. Кроме того, вам не нужно включать RDP для использования этого метода, это фактически имя пользователя, установленное для "Hadoop Services" на вкладке конфигурации кластера. Для запуска задания таким образом используется конечная точка WebHCat/Templeton, поэтому RDP не требуется.