Описание тега spring-data-hadoop
Spring для Apache Hadoop - это проект с открытым исходным кодом, который предоставляет унифицированную модель конфигурации и простые в использовании API-интерфейсы для использования HDFS, MapReduce, Pig и Hive, а также для разработки и развертывания приложений YARN.
1
ответ
Весенняя работа jdbchdfs -
В настоящее время задание jdbchdfs не имеет partitionPath для выходного каталога, как приемник hdfs. Каков рекомендуемый способ сделать это? я также не вижу никакой JIRA для этого, какой-либо план для такой вещи будет поддерживаться в будущем? Я под…
16 мар '15 в 15:34
0
ответов
Spring Boot & Hadoop: тег сообщения протокола имел неверный тип провода
Я работаю над созданием веб-сервера, который будет запускать задания MapReduce, однако я не могу запустить сервер. когда я пытаюсь запустить jar для проекта, я получаю следующую ошибку java.io.IOException: Failed on local exception: com.google.proto…
11 дек '14 в 16:04
0
ответов
Невозможно запустить демонстрацию HbaseTemplate
Я использую HDP2.2 с Hbase 0.98.4.2.2.0.0 и HDFS 2.6.0.2.2.0.0, поэтому я добавил версию spring-data-hadoop 2.1.2.RELEASE в мой файл maven pom, но не смог complie из-за того, что "тип org.apache.hadoop.hbase.client.Scan не может быть разрешен. На не…
19 апр '15 в 01:45
2
ответа
Как отправить несколько приложений Spark параллельно, не создавая отдельные JVM?
Проблема в том, что вам нужно запустить отдельную JVM, чтобы создать отдельный сеанс с разным количеством оперативной памяти на задание. Как подать несколько приложений Spark одновременно, не создавая отдельные JVM вручную? Мое приложение запускаетс…
16 май '17 в 10:49
0
ответов
Поддержка пружинной пряжи для кластеров HA с KERBEROS
Как настроить приложения Spring Boot для работы с кластером, работающим в режиме высокой доступности с включенным KERBEROS? Это вообще возможно? Я попытался адаптировать пример из https://spring.io/guides/gs/yarn-basic/ для работы с кластерами HA, и…
18 дек '18 в 15:54
1
ответ
Как "найти AllBy{Column}" с помощью HbaseTemplate?
Я разрабатывал свой первый сервер RESTful, используя такие технологии, как Spring и HBase. Message ниже приведена базовая модель моего сервера; @AllArgsConstructor @Getter public class Message { private final String from; private final String to; pr…
21 янв '19 в 00:27
1
ответ
Конфигурация Spring Hadoop - Нет подходящего компонента типа org.apache.hadoop.conf.Configuration
Я пытаюсь настроить bean-компоненты для среды Hadoop/Hive. Согласно документации мне нужен класс конфигурации Apache Hadoop, который должен быть подключен автоматически. См. http://docs.spring.io/spring-hadoop/docs/2.4.0.RELEASE/reference/html/sprin…
05 авг '16 в 09:47
1
ответ
Проблема при записи в HDFS с использованием весенних данных hadoop
Я пытался записать простой текст в HDFS, используя Spring Data Hadoop. Но я получаю неизвестную проблему при написании. Исключение в потоке "main" org.springframework.data.hadoop.store.StoreException: выходной контекст хранилища еще не инициализиров…
21 апр '16 в 11:45
0
ответов
Конфигурация Spring Hadoop Java
Каково текущее состояние поддержки JavaConfig? Как я вижу, можно настроить конфигурацию Hadoop следующим образом: http://docs.spring.io/spring-hadoop/docs/2.2.0.RELEASE/reference/html/springandhadoop-config.html. Но как насчет рабочих мест, рабочих …
24 июл '15 в 12:32
1
ответ
Spring Boot Yarn - Передача аргументов командной строки
Я пытаюсь передать аргументы командной строки в приложении Spring Boot Yarn, и у меня возникли трудности. я понимаю, что могу установить их в документе YML spring.yarn.appmaster.launchcontext.arguments а как это можно из командной строки? лайк java …
17 июл '14 в 18:28
2
ответа
Интеграция данных весны весной с шаблоном улья
Я пытаюсь использовать Spring Data Hadoop для интеграции куста в мое приложение и сталкиваюсь с некоторыми проблемами. Первое, в чем я не уверен, так это <hdp:hive-server host="some-other-host" port="10001" /> это для подключения к существующе…
16 май '14 в 03:21
0
ответов
Как настроить MultiOutputFormat из HCatalog API в проекте spring-hadoop?
Я разрабатывал приложение Hadoop. И теперь я хочу перенести его в проект Spring-Hadoop. Дело в моей работе в Mapreduce. Я использовал MultiOutputFormat из HCatalog API, поскольку я хочу хранить информацию в нескольких таблицах. И я не могу найти ни …
02 июл '14 в 16:20
0
ответов
Почему HbaseTemplate работает медленно после обновления Flink
У нас есть пакетное приложение, использующее Flink 1.0.0. Приложение запускается на кластере пряжи с парой узлов и параллелизмом ~48. Это приложение читает из Hbase, используя hbase-коннектор, и записывает в hbase, используя наш собственный формат в…
02 июл '18 в 17:59
0
ответов
Spring Hadoop - Невозможно найти Spring NamespaceHandler для пространства имен схемы XML
Я хочу включить Hive в моем проекте Spring Hadoop. Я понимаю, что мы не можем использовать JavaConfiguration, поэтому я использую XML. У меня есть ошибка относительно пространства имен Spring. Ошибка запуска ApplicationContext. Чтобы отобразить отче…
03 окт '17 в 14:40
1
ответ
Spring Hadoop (Улей)
Должен ли я понять, как реализовать Spring Hadoop / Hive, прочитав это краткое руководство? Я не знаю, куда должны идти конфигурации xml (возможно, hive.xml)? https://docs.spring.io/spring-hadoop/docs/2.5.0.RELEASE/reference/htmlsingle/ Можем ли мы …
15 сен '17 в 18:35
1
ответ
Как я могу использовать весенние данные для Apache Hadoop для CDH 5.4.x?
В официальном документе отмечается, что "Spring for Apache Hadoop 2.2 GA" поддерживает только CDH 5.3.3. Есть ли способ использовать "Spring Data Hadoop" для CDH 5.4.X, или я должен ждать следующей версии? Будет ли версия 2.3 поддерживать CDH 5.4.x?…
13 июл '15 в 07:41
4
ответа
Запуск искровых заданий с помощью REST
Я в последнее время пробовал apache spark. Мой вопрос более специфичен для запуска искровых работ. Здесь я разместил вопрос о понимании искровых работ. После того, как я испачкался на работе, я перешел к своему требованию. У меня есть конечная точка…
11 мар '15 в 16:59
0
ответов
Исправить имя файла Avro с помощью весенних данных hadoop
Моя цель - написать каталог на HDFS. Для этого я использую: весна-данных Hadoop:2.4.0.RELEASE весна-данных Hadoop-магазин: 2.4.0.RELEASE В моем классе конфигурации я определяю боб @Bean public DataStoreWriter<File> dataStoreWriter() { return n…
18 авг '16 в 08:34
1
ответ
Проблема с запуском задания в Spring-data hadoop
Я создал следующие Mapper и Reducer, используя Mahout package mypackage.ItemSimilarity; import java.io.IOException; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io…
13 фев '14 в 14:37
1
ответ
Ошибка закрытия контекста Spring
У меня есть проект весенней интеграции с использованием Spring-Hadoop. У меня есть шаблон Hbase следующим образом, <beans:bean id="fsh" class="org.springframework.data.hadoop.fs.FsShell"> </beans:bean> <beans:bean id="hbaseTemplate" c…
23 янв '15 в 14:13