Описание тега mapr
MapR - это коммерческая платформа данных, которая предлагает распределенную файловую систему, совместимую с HDFS, базу данных, которая позволяет хранить данные в BigTable или JSON, а также потоковую платформу для обмена сообщениями. MapR использует API из инструментов с открытым исходным кодом, таких как Hadoop, Kafka, HBase, и предоставляет проприетарную реализацию, написанную на C, оптимизированную для повышения производительности.
2
ответа
Как получить имя входного файла в коде Mapper в программе Hadoop Map Reduce
Я написал код драйвера с двумя входными аргументами: args[0] и args[1]. Я хочу использовать args [0], то есть путь к входному файлу, в качестве одного из моих путей к файлу в коде картографа, чтобы мой читатель буфера мог прочитать файл, как показан…
31 дек '15 в 06:07
1
ответ
Команда Hadoop dfsadmin -report не работает в mapr
Мне нужно знать отчет dfs кластера mapr, но когда я выполняю следующую команду, я получаю сообщение об ошибке hadoop dfsadmin -report DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. report: …
18 дек '15 в 08:06
1
ответ
Невозможно открыть Pyspark Shell
Я бегу ./bin/pyspark при открытии оболочки pyspark, но я получаю следующую ошибку: `py4j.protocol.PY4JNetworkError: An error occurred while trying to connect to the Java Server` Искал об этом много. Не удалось найти решение. Как я должен решить это?…
07 авг '17 в 12:56
1
ответ
Невозможно открыть URL для приложения колбы
Я установил MapR Sandbox с помощью виртуальной коробки. Из шпатлевки я подключил mapr песочницу, которая установлена в Centos. В этой системе разработали колбу и запустили ее. В терминале это показывает Работает на http://127.0.0.1:5000/ но когда …
02 мар '17 в 11:28
0
ответов
Hive для создания HFile: MapR
Я работал над небольшой задачей преобразования и загрузки данных куста в HFiles в HBase; рамки MapR. Используя массовую загрузку, я загружаю данные после преобразования в HFiles. Там нет никаких проблем с преобразованием, преобразование идет хорошо.…
29 май '15 в 10:24
2
ответа
Преобразовать org.apache.avro.generic.GenericRecord в org.apache.spark.sql.Row
У меня есть список org.apache.avro.generic.GenericRecord, avro schemaиспользуя это нам нужно создать dataframe с помощью SQLContext API, для создания dataframe это нужно RDD из org.apache.spark.sql.Row а также avro schema, Необходимым условием для с…
13 июн '17 в 10:13
2
ответа
Стандартные практики для входа в задания MapReduce
Я пытаюсь найти лучший подход для входа в задания MapReduce. Я использую slf4j с log4j appender, как и в других моих Java-приложениях, но так как задание MapReduce выполняется распределенным образом по кластеру, я не знаю, где я должен установить ме…
23 янв '15 в 21:59
1
ответ
Spark Yarn /tmp Нет такого файла или каталога
Я получаю сообщение об ошибке в моих искровых заданиях, и они обычно аналогичны приведенным ниже. Узел в кластере имеет около 256 ГБ памяти и около 8 ядер, также я указал память исполнителя как 4 ГБ и дополнительные 4 ГБ. Для shuffle я определил дол…
26 янв '17 в 19:24
1
ответ
Проблема установки mapr-клиента на Windows 10
Иметь защищенный кластер версии 6.0.0.20171109191718.GA и пытаться установить mapr-клиент на Windows 10 (из документации mapr здесь: https://mapr.com/docs/60/AdvancedInstallation/SettingUptheClient-windows.html). Ошибка при попытке запустить скрипт …
29 дек '18 в 00:55
1
ответ
Как получить информацию о диске с помощью hadoop fs с помощью unix utils или nmon?
Я установил mapr с mfs (основанным на hadoop fs) и некоторым скриптом, который получает информацию из файловой системы, используя файл журнала df, dfisk и nmon . root @ spbswgvml10: / opt / nmon # df -h Используемый размер файловой системы. Доступно…
16 мар '15 в 10:46
3
ответа
Как запустить Mapr?
Я пытаюсь запустить песочницу Mapr на ПК с Windows и с оперативной памяти 8 ГБ. Но когда я пытаюсь импортировать ovf, всегда говорится, что ovf поврежден, в то время как я использовал несколько источников, ovf, который работает на другой машине, не …
05 апр '16 в 13:02
1
ответ
Python spark: IndexError: индекс кортежа вне диапазона
Я работаю на spark а также python, Когда я призываю любое действие на csv файл, это дает мне IndexError: tuple index out of range вот фрагмент кода. test_rdd = sc.textFile("/mapr/data/airflow-test.csv").map(lambda line: line.split()) print(test_rdd.…
30 мар '17 в 21:21
1
ответ
Откуда берется проверочный код для входа в систему gcloud?
В настоящее время я зачислен в ADM200, бесплатную онлайн-программу обучения MapR Academy. Я использую инструкции "Настройка виртуального кластера", исправленные 25.11.2015. Я использую компьютер под управлением Windows 8.1 и пытаюсь настроить виртуа…
29 мар '16 в 00:29
1
ответ
Ошибка при установке Mapr
Привет я пытаюсь установить MapR на Ubuntu 12.04 точной, но сталкивается с некоторыми проблемами. Я перешел по ссылке ниже для установки http://doc.mapr.com/display/MapR/Quick+Installation+Guide Я выполнил все шаги, упомянутые в ссылке. Ниже приведе…
22 июл '14 в 03:57
0
ответов
Улей нулевой вопрос
Я создал таблицу улья и начал загружать данные с помощью оператора load data inpath<hdfs path>into table <hive_table_name> Когда я пытался открыть данные, есть две проблемы 1) В конце последнего столбца к последнему столбцу добавляется н…
20 янв '16 в 12:57
2
ответа
Создайте временную SparkSession с enableHiveSupport
Я работаю над подключением к данным в Hadoop, который позволяет динамические подключения типа данных. Мне нужно иметь возможность подключиться к Hive Thrift Server A, получить некоторые данные, а затем подключиться к Hive Thrift Server B и получить …
19 фев '18 в 20:15
1
ответ
DataFrame Write PartitionBy - невозможно параметризовать несколько столбцов
Создание общего кода, который принимает столбцы TableName и Partition в качестве входных данных. Однако возникает проблема при попытке записать фрейм данных в виде секционированной таблицы. partAttr='product_category_id,product_id' pattr=partAttr.sp…
03 янв '18 в 11:42
1
ответ
Могу ли я отформатировать диск через VMware?
Я установил Ubuntu 12.04 на VMware и установил один узел mapr на Ubuntu. Когда я хочу отформатировать диск, я получаю сообщение об ошибке: /opt/mapr/server/disksetup -F /tmp/disks.txt the вывод был: 2013-06-18 16:34:02,8910 ERROR Global mrconfig.cc:…
18 июн '13 в 20:00
1
ответ
Spark Submit дает ошибку в Pentaho Spoon
Я новичок в Pentaho. Я использую дистрибутив MAPR. Когда я отправляю задание spark, я получаю следующую ошибку. Пожалуйста, помогите мне с этим. Я выполнил необходимую настройку для интеграции spark и pentaho. Пожалуйста, найдите Прикрепленные скрин…
12 сен '17 в 07:25
0
ответов
Pentaho spark представить вопрос
После отправки искровой работы в Пентахо после нескольких шагов работа не продвигается вперед, она висит там. Пожалуйста, помогите мне в этом. Пожалуйста, смотрите прикрепленные скриншоты. Я использую Maprfs. 2017/09/12 15:24:59 - Spoon - Starting j…
12 сен '17 в 10:15