Описание тега hadoop-yarn

YARN (Yet Another Resource Negotiator) — ключевой компонент инфраструктуры Apache Hadoop второго поколения. НЕ ИСПОЛЬЗУЙТЕ ЭТО для менеджера пакетов JavaScript/Node.js Yarn (вместо этого используйте [yarnpkg])! Первоначально описанный Apache как переработанный менеджер ресурсов, YARN теперь характеризуется как крупномасштабная распределенная операционная система для приложений больших данных, включая MapReduce следующего поколения (MR2).
0 ответов

Как persist(StorageLevel.MEMORY_AND_DISK()) работает в Spark 3.1 с реализацией Java

Я использую Apache Spark 3.1 с java в кластере GCP Dataproc. И моя структура кода такая. Dataset<Row> dataset1 = readSpannerData(SparkSession session, Configuration session.sessionState().newHadoopConf()); Dataset<Row> dataset2 = reading…
0 ответов

Команда hdfs namemode в bash возвращает ошибку

я имею hadoop==3.3.1 а также jdk-8, после завершения установки. Проверил hdfs, написав hdfs namenode в терминале, но он вернул ошибку, указанную на изображении. Мой ~/.bashrc файл имеет эти пути я сохранил это hadoop-env.sh файл с ctrl+s и попробова…
21 сен '21 в 18:32
0 ответов

Как восстановить ID-приложение Yarn из java

Я хотел бы восстановить приложение id пряжи, например: application_1459542433815_0002 из кода Java. Объясняю, я хотел бы указать каталог, в котором будет проверяться набор данных Spark. мой каталог следующий: /my_env/work/checkpoints/date_folder/yar…
20 сен '21 в 17:47
0 ответов

Используйте yarn и npm в Gitlab CI

У меня есть проект, который работает в Gitlab CI, Yarn v1.22.5. Среди всех его зависимостей есть репозиторий Github. Он работает prepareскрипт и у него есть файл. Для этого проекта действительно используется npm. Когда дело доходит до установки этой…
20 сен '21 в 12:16
0 ответов

Зависимость не может найти, когда npm run build с GitHub Actions

У меня есть проект React, и я сохранил его на GitHub. Я создал рабочий процесс GitHub Actions, который запускается вручную. Когда я запускаю рабочий процесс, он терпит неудачу в yarn run build. Ниже мой рабочий процесс .yml: name: Build manually on:…
23 сен '21 в 06:42
0 ответов

установка пряжи-дедупликации навсегда на cmd

Я попытался установить с помощью этой команды: и это длилось вечно. В конце концов мне пришлось прекратить установку. Как я могу исправить эту проблему, чтобы я мог установить ??? Маленький скриншот того, как <tcodeid="69029305"> пошел...</…
22 сен '21 в 22:52
1 ответ

Приложение Spark Streaming не выполняет задания одновременно

У меня есть задание потоковой передачи Spark, которое читает из Kafka и сохраняет его в Redshift. Пакет RDD содержит данные со столбцом «groupId», однако следующий код ниже не выполняется forEach одновременно, он запускает его последовательно в режи…
24 сен '21 в 05:24
0 ответов

Завершение работы NameNode - как запустить локальный хост hadoop?

Я не знаю, что делать. Я изучаю hadoop в течение 2 дней, и, к сожалению, я уже застрял в первом фундаментальном руководстве, в котором я застрял 26 часов. Я использую hadoop 3.3.1 в Windows 10jdk 8, кто-нибудь знает, что неправильный? это действител…
24 сен '21 в 21:21
1 ответ

Компиляция Typescript с установленными зависимостями с помощью yarn

У меня проблемы с компиляцией кода машинописного текста со ссылками на установленные пакеты пряжи. Tsc не может найти пакеты, потому что yarn использует систему Plug And Play. Ошибка tsc: src/main.ts:1:36 - error TS2307: Cannot find module 'electron…
25 сен '21 в 13:11
1 ответ

Как установить идентификатор приложения пряжи в приложении PySpark

Я пытаюсь найти способ создать собственный идентификатор приложения для приложения pyspark, отправленного через YARN в EMR. Обычно идентификаторы приложений YARN находятся в этом формате. application_1632776696096_0006 Есть ли способ как-то изменить…
1 ответ

Исключение Ошибка CreateSymbolicLink (183) Невозможно создать файл, если этот файл уже существует.

Я получаю эту ошибку при попытке запустить пример wordcount из файла hadoop-mapreduce-examples-3.3.1.jar, который поставляется с Hadoop. Exception message: CreateSymbolicLink error (183): Cannot create a file when that file already exists. Shell out…
27 сен '21 в 23:51
0 ответов

Контейнер заданий Hadoop MapReduce выдает исключение java.io.FileNotFoundException для пути /tmp/crunch-1324412807/p2/MAP

Когда я отправляю задание Oozie в кластер EMR Hadoop, я вижу ошибку ниже. Я мог видеть, что определенный контейнер не находит временный выходной файл, созданный другим заданием (?). Я проверил адрес узла имени, а также убедился, что на нем достаточн…
27 сен '21 в 17:08
0 ответов

Datanodes не могут подключить Namenode с помощью HDFS / YARN

Я установил HDFS в инстансы AWS. Один Namenode и два Datanodes. После этого я запускаю следующие команды, чтобы запустить HDFS. hdfs namenode -format $HADOOP_HOME/sbin/start-dfs.sh $HADOOP_HOME/sbin/start-yarn.sh Затем я запускаю hdfs dfsadmin-repor…
28 сен '21 в 16:02
0 ответов

Подключение плагина YARN-RANGER

Не могу подключить плагин YARN При этом плагины hdfs и hive работают нормально Apache Ranger 2.1 HDP Vanilla 3.1.3 Kerberos не подключился При проверке связи Connection Failed. Unable to retrieve any Yarn Queues using given parameters. You can still…
29 сен '21 в 01:03
0 ответов

Команда отправки Spark

при отправке искрового задания с граничного узла в кластере с режимом развертывания в качестве кластера, как сообщения регистратора log4j отображаются на граничном узле? если это режим развертывания клиента, тогда он будет отображать сообщения регис…
1 ответ

Почему моего модуля нет в папке отупут?

Рассмотрим эти файлы: mymodule.mjs export const answer = 42 tsconfig.json { "compilerOptions": { "rootDir": "src", "outDir": "lib", "baseUrl": ".", "skipLibCheck": true, "target": "es6", "module": "commonjs", "moduleResolution": "node", "sourceMap":…
17 сен '21 в 23:47
1 ответ

TypeOrm не генерирует миграцию в проекте, созданном typeorm

Я использую генератор шаблонов для создания проекта, но он завершается с ошибкой, когда я пытаюсь создать шаблон. Ожидаемое поведение Создайте миграцию с помощью сценариев sql Фактическое поведение $ C:\Users\alexa\lab\ProjectTypeOrm\node_modules\.b…
0 ответов

Запускает ли Hive jdbc задание MapReduce?

Я использую Hive jdbc получить данные из Hive таблицы в Java. Во время казни я проверил YARN UI и удивлен, что нет map reduceработа. Использует ли hive jdbc, Map reduce работа не запускается?
14 окт '21 в 17:10
1 ответ

Не удается установить typeorm с помощью Yarn (Ubuntu 20)

ОШИБКА Эта ошибка появляется, когда я пытаюсь установить зависимость TypeORM.
14 окт '21 в 16:38
1 ответ

Spark on YARN - Невозможно выделить контейнеры, поскольку запрошенный ресурс превышает максимально допустимое выделение.

Ошибка : приложение YARN неожиданно завершило работу с состоянием FAILED! Дополнительные сведения см. В журналах приложения YARN. 2021-10-12 15:15:30201 Диагностическое сообщение: Неперехваченное исключение: org.apache.hadoop.yarn.exceptions.Invalid…
12 окт '21 в 18:45