Описание тега flume-twitter

Описание тега Вопросы с тегом
0 ответов

Предупреждение "Неявное приведение к карте" в apache pig

Запустив следующую команду в pig: extract_details = FOREACH load_tweets GENERATE myMap # 'id' как идентификатор,myMap#'text' как текст; выдал это предупреждение: [main] WARN org.apache.pig.newplan.BaseOperatorPlan - Обнаружено предупреждение IMPLICI…
11 ноя '17 в 05:29
1 ответ

Как настроить твиттер с флюмом

Я просмотрел видео по настройке Flume и перешел по этой ссылке для потоковой передачи отправленных вами данных из Twitter. Я столкнулся со следующей проблемой: не удалось найти шаблон "conf/flume-env.sh.template" -> "flume-env.sh" по указанной ссылк…
24 дек '16 в 08:07
1 ответ

Flume-ng приемник hdfs

Я пытаюсь обновлять файл.tmp дополнительными событиями каждые 5 минут, мой источник работает медленно, и требуется 30 минут, чтобы получить файл размером 128 МБ в мой приемник hdfs. Есть ли какое-либо свойство в приемнике flume hdfs, где я могу конт…
26 май '15 в 21:43
0 ответов

Получение данных из твиттера и загрузка их в hdfs с помощью Flume

Я получаю сообщение об ошибке при выполнении следующей команды в hadoop bin/flume-ng agent -c /usr/local/hadoop/flume/conf -f usr/local/hadoop/flume/conf/flume-twitter.conf -n TwitterAgent - flume.root.logger=INFO,console показывает приведенную ниже…
28 сен '16 в 10:16
0 ответов

Apache Flume застрял с агентом Twitter

Когда я пытаюсь передавать данные Twitter с помощью Apache Flume с помощью этой команды bin/flume- agent --conf ./conf/ -f conf/twitter.conf Dflume.root.logger=DEBUG,console -n TwitterAgent Консоль застряла здесь, и Flume не передавал данные в систе…
02 сен '16 в 17:39
2 ответа

Анализ настроений Twitter

Сэр, я хочу провести анализ настроений в твиттере, используя Apache Hive, flume. Теперь у меня есть твиттер-аккаунт, и я установил файл conf. Но проблема в формате данных. это не загружается в улье. Пожалуйста, помогите мне, я работаю в этом в течен…
02 сен '15 в 17:07
1 ответ

Avro Текстовый файл, созданный Flume Twitter Agent, который не читается на Java

Невозможно прочитать и проанализировать файл, созданный потоковой передачей данных с помощью Twitter-агента Flume, а также с помощью Java или Avro Tools. Мое требование - преобразовать формат avro в формат JSON. При использовании любого из методов я…
10 дек '15 в 05:31
1 ответ

Ошибка кодировки UTF-8 при подключении потока Twitter Flume к свече в python

У меня проблемы с передачей данных Twitter, собранных агентом Flume, в Spark Stream. Я могу скачать твиты независимо, используя только Flume. Но я получаю следующую ошибку. Я чувствую, что это проблема кодировки UTF-8 по умолчанию в FlumeUtils.creat…
01 янв '17 в 23:59
1 ответ

Ошибка при потоковой передаче данных Twitter

Я использую CDH 4.7 и пытаюсь загрузить потоковые данные из твиттера в hadoop, используя flume. Я выполняю следующую команду. Но это показывает некоторую проблему с отказом в разрешении в /user/flume path. Как решить эту проблему? [cloudera@localhos…
21 янв '16 в 09:28
1 ответ

Любая идея о том, как установить Flume с Hadoop в Windows?

Я устанавливаю hadoop в c:\hadoop2.5.2, а затем распаковываю двоичный файл flume в него в c:\hadop2.5.2\apache-flume-1.6.0 Я получаю сообщение об ошибке, как показано ниже, любая идея? C:\hadoop2.5.2\apache-flume-1.6.0\bin>flume-ng agent -conf -f…
28 янв '16 в 17:22
0 ответов

Ошибка построения пути Fluke --PKIX: sun.security.provider.certpath.SunCertPathBuilderException:

Я установил java,hadoop и flume в Ubuntu. Когда я запускаю Flume Job для извлечения данных из твиттера, я получаю сообщение об ошибке, как показано ниже; Не предъявляйте иск за этим. sun.security.validator.ValidatorException: PKIX path building fail…
18 авг '16 в 09:24
1 ответ

Flume Twitter Потоковая проблема

Я использую Flume 1.6.0-cdh5.9.1 для потоковой передачи твитов с использованием источника Twitter. Файл конфигурации находится ниже: TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS TwitterAgent.sources.Twi…
08 фев '17 в 18:16
1 ответ

Flume не обрабатывает ключевые слова из источника в Twitter с помощью flume-ng с Hadoop 2.5 cdh5.3

Я пытаюсь обработать некоторые ключевые слова в Твиттере MemChannel а также HDFS, Но flume-ng не показывает дальнейший прогресс после HDFS started статус на консоли. Вот /etc/flume-ns/conf/flume-env.sh содержимое файла. # Licensed to the Apache Soft…
25 сен '15 в 20:26
1 ответ

Загрузка данных из Twitter с использованием Flume - тег конечной группы сообщений протокола не соответствует ожидаемому тегу

Нужна помощь в решении проблемы во Flume при загрузке данных Twitter в HDFS. Я использую версию Hadoop 2.6 & FLUME 1.7. Я настроил все согласно инструкциям. ( https://www.eduonix.com/blog/bigdata-and-hadoop/flume-installation-and-streaming-twitter-d…
19 дек '16 в 06:21
1 ответ

Flume твиттер

Я пытаюсь выполнить flume, чтобы получить данные из потока Twitter, но получил эту ошибку при выполнении потока. [ОШИБКА - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:253)] Невозможно запустить EventDr…
31 окт '18 в 09:17
1 ответ

Необработанная ошибка java.lang.NoSuchMethodError при запуске flume для загрузки данных из твиттера

Когда я запускаю эту команду hduser@ubuntu:/usr/local/flume$ bin/flume-ng agent --conf ./conf/ -f conf/twitterflume-agent.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent Flume начинает работать, но через некоторое время выдает исключение, кот…
31 окт '15 в 17:31
0 ответов

Flume classpath содержит несколько привязок SLF4J, извлекающих данные из твиттера

При извлечении данных из твиттера с помощью команды: ./bin/flume-ng agent -n TwitterAgent -c conf -f /usr/lib/apache-flume-1.4.0-bin/conf/flume.conf в терминале появляется всплывающее предупреждение: SLF4J: Class path contains multiple SLF4J binding…
10 сен '17 в 19:26
0 ответов

Исключение при потоковой передаче твитов Получено фатальное предупреждение: access_denied во Flume

В настоящее время у меня есть эта конфигурация в Flume TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS TwitterAgent.sources.Twitter.type= org.apache.flume.source.twitter.TwitterSource TwitterAgent.sources.…
25 янв '18 в 16:40
1 ответ

Удаленная отладка пользовательского источника и ведения журнала Flume

У меня есть собственный источник для моего агента Flume (версия 1.5.0), и я хочу его отладить. Это на самом деле пользовательский источник в Твиттере, пример которого приведен здесь. У меня есть ряд вопросов: (1) Можно ли выполнить удаленную отладку…
17 июн '15 в 02:39
3 ответа

Ожидаемая временная метка в заголовках событий Flume, но она была нулевой

Я использую приведенные ниже сведения о конфигурации, чтобы вставить каналы Twitter в HDFS с помощью Flume, но получаю ожидаемую временную метку в заголовках событий Flume, но она была нулевой twitter.conf TwitterAgent.sources = Twitter TwitterAgent…
04 июн '15 в 13:47