График производительности в учебнике IBM Bluemix по анализу настроений в Twitter

Question

Я успешно следовал этому замечательному уроку Дэвида Тайба. Проблема в том, что график занимает так много времени, чтобы изменить. Это занимает примерно минуту, а не несколько секунд, как это должно быть!!

В чем может быть проблема?

когда я запускаю эту ячейку в Scala Notebook:

demo.startTwitterStreaming(sc)

Вывод выглядит так:

Registering JaasConfiguration: /tmp/1sFcnUVoabfuBAyF/jaas.conf
Setting hadoop configuration for swift container
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics
https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net:443/admin/topics
default location of ssl Trust store is: /usr/local/src/spark160master/ibm-java-x86_64-80/jre/lib/security/cacerts
Twitter stream started
Tweets are collected real-time and analyzed
To stop the streaming and start interacting with the data use: StreamingTwitter.stopTwitterStreaming
Receiver Started: KafkaReceiver-0
Batch started with 0 records
-------------------------------------------
Time: 1460572070000 ms
-------------------------------------------

Batch completed with 0 records
Batch started with 0 records
-------------------------------------------
Time: 1460572075000 ms
-------------------------------------------

Batch completed with 0 records
Batch started with 487 records
-------------------------------------------
Time: 1460572080000 ms
-------------------------------------------
(#TDS,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(30.5, 0.0, 16.5, 0.0, 19.5, 3.0, 38.5, 20.0, 5.0, 32.0, 28.0, 9.0, 0.0)))
(#DolceAmoreILoveYou,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(5.0, 0.0, 6.0, 0.0, 17.0, 1.0, 17.5, 12.5, 24.5, 34.0, 44.0, 2.0, 0.0)))
(#nasty,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(0.5, 0.0, 16.0, 0.0, 0.5, 34.5, 49.0, 1.0, 0.0, 46.0, 16.0, 2.5, 0.0)))
(#Job:,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(8.0, 0.0, 2.5, 0.0, 28.0, 1.5, 4.5, 2.5, 45.0, 19.5, 37.0, 3.5, 0.0)))
(#bigbrand,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(5.5, 0.0, 6.0, 0.0, 49.0, 4.0, 2.0, 15.0, 12.5, 3.5, 48.5, 5.5, 0.0)))
(#SwitchUp,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(47.5, 0.0, 3.5, 0.0, 34.5, 1.0, 47.0, 29.0, 11.5, 22.5, 1.0, 3.5, 0.0)))
(#Hiring,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(8.0, 0.0, 2.5, 0.0, 28.0, 1.5, 4.5, 2.5, 45.0, 19.5, 37.0, 3.5, 0.0)))
(#entrepreneurship,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(20.5, 25.5, 5.0, 0.0, 28.0, 9.0, 12.0, 3.0, 28.0, 4.0, 12.5, 2.5, 0.0)))
(#startup,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(5.5, 0.0, 6.0, 0.0, 49.0, 4.0, 2.0, 15.0, 12.5, 3.5, 48.5, 5.5, 0.0)))
(#porn,(1,List(agreeableness_big5, analytical, anger, confident, conscientiousness_big5, disgust, extraversion_big5, fear, joy, neuroticism_big5, openness_big5, sadness, tentative),List(0.5, 0.0, 16.0, 0.0, 0.5, 34.5, 49.0, 1.0, 0.0, 46.0, 16.0, 2.5, 0.0)))
...

Это не похоже на то, что показывает учебник: https://i0.wp.com/developer.ibm.com/clouddataservices/wp-content/uploads/sites/47/2016/01/Running-Spark-Streaming.png?zoom=2&w=980

Я надеюсь, что вы можете мне помочь. Почему мой график не меняется каждые несколько секунд?

Когда я закрываю приложение и ядро ​​и пытаюсь открыть их снова, я делаю это:

1 - перезапустить ядро ​​2- снова запустить все ячейки

это правильно?

спасибо @DavidTaieb

Answer 1

Это руководство недавно было обновлено в связи с изменениями API в базовых сервисах (MessageHub, MessageConnect и Watson Tone Analyzer). Как часть изменений я добавил StreamingListener, чтобы обеспечить более детализированные сообщения регистрации. К сожалению, я забыл обновить снимок экрана, на котором показаны запущенные ячейки. В любом случае у вас установлена ​​последняя версия, и это здорово.
Из включенного вами фрагмента похоже, что микропартии правильно обработаны и результаты успешно отправлены в MessageHub/Kafka. Панель мониторинга настроена так, чтобы опрашивать MessageHub каждые несколько секунд, но, похоже, обновление занимает целую минуту. Я перезапустил приложение в своей тестовой среде и начал замечать то же самое. Просматривая логи, я заметил, что остальные вызовы MessageHub начали возвращать код ошибки 409. Перезапуск интерфейсного приложения помог решить эту проблему. Я предлагаю вам сделать то же самое, чтобы разблокировать вас. Я буду исследовать эту ошибку в ближайшие дни и предоставлю обновление, как только у меня будет приемлемое исправление.

Answer 2

Message Hub настроен на возврат кода ошибки 409, если запрос потребителя сделан до того, как предыдущий был выполнен. Увеличенный интервал опроса должен решить эту проблему.

Другая проблема, которую я обнаружил в приведенном примере, состоит в том, что существуют серверы Boostrap, настроенные с обоими портами 9094 и 9093. По состоянию на 3 марта порт 9094 был отключен. Пожалуйста, убедитесь, что вы используете только порт 9093.

Answer 3

Я получаю следующую ошибку, когда попробовал учебник час назад из ячейки, содержащей следующую команду: "demo.startTwitterStreaming(sc)"

Регистрация JaasConfiguration: /tmp/BA8rP92KZiZZSkpq/jaas.conf Настройка конфигурации hadoop для быстрого контейнера https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net/admin/topics https://kafka-rest-prod01.messagehub.services.us-south.bluemix.net/admin/topics

Нажатие на вышеуказанные ссылки говорит - {"код_ошибки":40101,"сообщение":"отсутствует ключ"}

Из [3]:

Имя: java.lang.NullPointerException Сообщение: null StackTrace: org.apache.hadoop.fs.swift.http.SwiftRestClient$AuthenticationPost.extractResult(SwiftRestClient.java:1293) org.apache.hadoop.fs.swiftwR.Chttp. AuthenticationPost.extractResult (SwiftRestClient.java:1245)......

java.lang.Thread.run (Thread.java:785)