Описание тега flume-ng
Apache Flume - это распределенная, надежная и доступная служба для эффективного сбора, агрегирования и перемещения больших объемов данных журнала. Flume-NG занимается рефакторингом Flume первого поколения для решения некоторых известных проблем и ограничений исходной конструкции.
0
ответов
Предупреждение "Неявное приведение к карте" в apache pig
Запустив следующую команду в pig: extract_details = FOREACH load_tweets GENERATE myMap # 'id' как идентификатор,myMap#'text' как текст; выдал это предупреждение: [main] WARN org.apache.pig.newplan.BaseOperatorPlan - Обнаружено предупреждение IMPLICI…
11 ноя '17 в 05:29
1
ответ
Как получить все записи каждую минуту из таблицы SQL, используя Apache Flume
Я пытаюсь получить все данные из таблицы SQL каждую минуту, используя Flume. Может кто-нибудь предложить, пожалуйста, какие изменения конфигурации должны быть сделаны? Конфиги: agent.channels = ch1 agent.sinks = kafkaSink agent.sources = sql-source …
11 мар '16 в 13:05
0
ответов
Данные отсутствуют в HDFS при передаче сжатых файлов с помощью Flume
Я пытаюсь перенести zip/ сжатые файлы в HDFS, используя flume, но я вижу, что только несколько файлов передаются. например, только 3 из 12 файлов. Я много раз пытался проверить, передаются ли случайные файлы, но каждый раз передаются одни и те же фа…
22 дек '15 в 23:08
0
ответов
org.apache.kafka.common.network.InvalidReceiveException: недействительное получение (размер = 30662099 больше, чем 30662028)
Я пытаюсь перенести данные из каналов Flume в кластер Kafka с помощью приемника Kafka, и я могу видеть связанные данные в связанной теме, но одновременно я наблюдаю нижеприведенную трассировку исключений в журналах Kafka слишком часто, [2017-03-21 1…
21 мар '17 в 13:17
1
ответ
Как увеличить скорость обработки дымового агента
У меня есть агент Flume, который загружает данные в эластичный поиск. Агент использует spoolDir источник. Есть еще один агент, который записывает файлы в директорию spoolDar агента поиска. Со временем файлы увеличиваются, а разница между обработанны…
02 авг '15 в 05:20
0
ответов
Flume перехватчик для метки времени сообщения kafka?
Я ищу специальный перехватчик потока, извлекающий временную метку сообщений из источника Кафки. Я счастлив попытаться написать это сам, но это кажется достаточно распространенной идеей - я думаю, что кто-то другой, возможно, уже сделал это? Я просто…
22 дек '16 в 15:21
1
ответ
Ошибка запуска агента Flume 1.6.0
У меня проблема при запуске агента Apache Flume с файлом flume-ng в папке bin. Я понятия не имею, как это исправить. Я просто хотел показать пример. Я использую CentOS (дистрибутив Linux), только командная строка. Ниже вы можете увидеть мой конфигур…
08 сен '15 в 09:28
0
ответов
Невозможно прочитать данные из источника http, используя Flume
Я установил HDP на Ubuntu14, и Flume запущен и работает, поскольку я могу проверить через Ambari. Теперь я настроил Flume для чтения из локального файла и записи в HDFS, что сработало. Поэтому я пытался прочитать данные из http-источника, но, похоже…
14 ноя '17 в 14:27
1
ответ
Если вы дадите права на запись для переименования ваших файлов в каталоге спула в flume
У меня есть Flume Agent, который читает из каталогов источника и после некоторых преобразований пишет в hdfs. Так как flume пытается переименовать обработанные файлы в ".COMPLETED", я получаю исключение об отказе в разрешении для записи в каталог сп…
06 сен '16 в 05:40
0
ответов
Скорость приема HDFS часто резко падает от всех агентов Flume. Как расследовать / исправить?
У меня есть кластер Hadoop хорошего размера, с несколькими агентами Flume (1 агент на машину, а не часть кластера), выполняющими запись в HDFSSink. Почти 95% времени частота завершения пакета Sink соответствует частоте исходных событий, что свидетел…
22 сен '17 в 23:07
2
ответа
Какой самый быстрый способ проверить, работает ли установка Apache Flume?
Я скачал и извлек Apache Flume. Как я могу проверить, готов ли он к запуску?
13 окт '16 в 14:49
1
ответ
Получение переменных в flume.conf
У меня есть агент flume, объявленный в файле flume.con. Источник - RabbitMQ, хотя это не так актуально. Дело в том, что мне нужно вынести оттуда учетные данные в другой файл. Я видел, что способ сделать это в flume-env.sh, где я положил это: export …
27 авг '15 в 11:55
1
ответ
EOFException от Kafka в Flume
Я пытаюсь настроить простой конвейер данных от производителя консоли Kafka до файловой системы Hadoop (HDFS). Я работаю на 64-битной виртуальной машине Ubuntu и создал отдельных пользователей как для Hadoop, так и для Kafka, как было предложено в ру…
19 окт '17 в 10:51
1
ответ
Использование Flume для загрузки данных из kafka в HDFS:: ConfigurationException: необходимо указать серверы начальной загрузки
Я пытаюсь получить данные, используя flume из источника Кафки в hdfs. Ниже приведен мой файл conf. flume1.sources = kafka-source-1 flume1.channels = hdfs-channel-1 flume1.sinks = hdfs-sink-1 flume1.sources.kafka-source-1.type = org.apache.flume.sour…
12 мар '18 в 11:25
0
ответов
Проблема при создании нескольких Avro Flume Sink в Spark Streaming
Мне нужно подключить несколько приемников Flume к Spark Streaming, это мой файл flume: agent1.sinks.sink1a.type = avro agent1.sinks.sink1a.hostname = localhost agent1.sinks.sink1a.port = 9091 agent1.sinks.sink1b.type = avro agent1.sinks.sink1b.hostn…
18 окт '17 в 20:16
2
ответа
Источник каталога буферизации Flume 1.6.0 с отметкой времени в заголовке
Я пытаюсь создать новый агент Flume, как source spooldir и помещает их в HDFS. Это мой конфигурационный файл: agent.sources = file agent.channels = channel agent.sinks = hdfsSink # SOURCES CONFIGURATION agent.sources.file.type = spooldir agent.sourc…
05 янв '18 в 09:18
0
ответов
Flume Kafka Мойка UUID из канала памяти
У меня есть конфиг flume, который пытается подогнать логи -> создать UUID -> опубликовать в теме kafka. Источник exec Канал - память UUID Перехватчик используется. Кафка Раковина. UUID не получает в заголовке никаких идей, почему я могу передать UUI…
04 ноя '18 в 18:58
1
ответ
Как проверить балансировку нагрузки Apache Flume - Sink groups
Я новичок в Apache Flume, я настроил одноуровневый агент с балансировкой нагрузки группы приемников вручную, я хотел бы знать, как я могу проверить балансировку нагрузки группы приемников? Любая идея, люди
01 дек '15 в 05:33
0
ответов
Запись большего количества событий в канал приводит к полному исключению канала
Я использую источник JMS Flume для удаления сообщения из ActiveMQ и преобразования этого сообщения в List<Event> используя пользовательский конвертер Конфигурация канала agent.channels.c1.type = memory agent.channels.c1.capacity = 1000000 agen…
21 апр '15 в 07:01
1
ответ
Flume-ng приемник hdfs
Я пытаюсь обновлять файл.tmp дополнительными событиями каждые 5 минут, мой источник работает медленно, и требуется 30 минут, чтобы получить файл размером 128 МБ в мой приемник hdfs. Есть ли какое-либо свойство в приемнике flume hdfs, где я могу конт…
26 май '15 в 21:43