Описание тега sparkcore
Spark Core - это совместимая с Arduino облачная платформа разработки с поддержкой Wi-Fi для создания оборудования, подключенного к Интернету.
0
ответов
MQ135 CO2 датчик нечетные показания
Я учусь программировать с использованием Particle Photon. У меня есть датчик газа MQ135. Я использую пример кода из библиотеки, которую я импортировал, но показания, которые я получаю, составляют около 4-8 частей на миллион, где они должны быть окол…
25 окт '16 в 09:21
1
ответ
Невозможно установить config в spark-submit из командной строки
Я пытаюсь установить основной URL в банке приложения, используя ниже: val spark = SparkSession .builder() .master("spark://master:7077") .appName("TestApp") .config("spark.sql.warehouse.dir", "/tmp/spark-warehouse") .getOrCreate() Я пытаюсь запустит…
14 май '17 в 17:02
2
ответа
Как я могу посчитать воскресенья в текущем месяце?
Я сделал светодиодные настенные часы и календарь на основе Arduino некоторое время назад, и теперь я хочу изменить их, чтобы добавить переменную для автоматической настройки смещения для летнего времени. Я уже опрашиваю интернет-сервер времени 2 раз…
11 авг '17 в 17:57
0
ответов
Получение NotSerializableException при запуске простой искровой программы
Программа пытается собрать результаты listOListsRDD, используя flatMap и карту Tranformations. ArrayList<ArrayList<String>> listOLists = new ArrayList<ArrayList<String>>(); ArrayList<String> singleList = new ArrayList&l…
07 ноя '18 в 13:53
2
ответа
nsMutableUrl addvalue добавление кавычек "" вокруг ключа
Моей конечной целью является простое представление iPhone с переключателем, который при включении отправляет почтовый запрос на мой Spark Core (микрочип Wi-Fi) для включения реле. Я изо всех сил пытаюсь добавить параметры в формате, который работает…
27 июл '14 в 18:39
2
ответа
Чтение свойств из конфигурационного файла spark
Я пытаюсь выполнить следующий код val spark = SparkSession.builder() .appName(“XYZ”) .getOrCreate() Однако я получаю следующую ошибку Ошибка инициализации SparkContext. org.apache.spark.SparkException: главный URL должен быть установлен в вашей конф…
22 авг '18 в 17:33
2
ответа
Запросы Python эквивалентны curl -H
Я пытаюсь подписаться на поток событий, исходящий от фотона моей частицы. Документы предлагают curl -H "Authorization: Bearer {ACCESS_TOKEN_GOES_HERE}" \ https://api.particle.io/v1/events/motion-detected я пробовал address3 ='https://api.particle.io…
25 июн '15 в 05:36
1
ответ
Преобразование карты на спарде
Я применил преобразование карты к нижеприведенной RDD: sc.parallelize(List((1,10),(2,20),(3,30),(4,40))); с двумя разными подписями. Случай 1: res0.map({case (x,y)=>(x,y+1)}).collect; который дает следующий результат: Array[(Int, Int)] = Array((1…
19 авг '18 в 10:02
0
ответов
org.apache.spark.SparkException: не удалось получить broadcast_25_piece0 broadcast_25 при попытке чтения широковещательной переменной, обновленной через регулярный интервал
Я использую приложение для потокового воспроизведения, которое обрабатывает события в реальном времени, полученные от kafka. Я использую org.apache.spark.streaming.util.RecurringTimer, который запускает код, скажем, каждые 10 секунд, который отвечае…
18 окт '17 в 12:29
1
ответ
Как объединить массивы в RDD
Я новичок в Спарк. У меня есть следующий RDD[Array[(String, String, String)]] val r1 = sc.parallelize(Array(Array(("123","456","789"),("AAA","BBB","CCC")),Array(("DDD","EEE","FFF"),("E1","E2","E3")))) Я хочу объединить массивы в нем, как Array((123,…
18 авг '16 в 12:58
1
ответ
Выполните функцию SparkCore, используя Gobot.io и сонный RESTful Framework for Go
У меня есть следующий фрагмент кода, в котором я использую инфраструктуру RESTful для Go, которая называется sleepy. Я могу успешно запустить службу по адресу: http://localhost:3000/, однако, когда я пытаюсь получить доступ к http://localhost:3000/t…
25 мар '15 в 04:06
1
ответ
Исключение в потоке "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps(
Я новичок в Scala и получить ниже ошибка для кода в INTELLJ может любой, пожалуйста, помогите решить ее import org.apache.spark.{SparkContext, SparkConf} object wordcount { def main(args: Array[String]) { val conf = new SparkConf() .setMaster("local…
03 апр '17 в 19:37
1
ответ
КАК: Основанное на времени Spark Core событие
Я тихий новичок в Spark Core ( http://www.spark.io/). Как я могу создать событие, основанное на времени, на моем Spark Core? Например, если я хочу использовать digitalWrite 7,HIGH в 8:30 каждое утро в течение 30 секунд и digitalWrite 7,LOW до следую…
03 фев '15 в 05:24
1
ответ
Подход SQL-запросов Hive/Spark
Постановка проблемы: у меня есть исходные данные о HDFS, которые имеют приблизительно 400 столбцов, из которых около 200 столбцов (я назову их VAR1..200) будут иметь данные по выбору. Некоторые строки могут иметь данные для V1..10, а некоторые могут…
17 фев '17 в 17:52
2
ответа
PairDStreamFunctions.mapWithState завершается ошибкой, если задано время ожидания java.util.NoSuchElementException: None.get
Привет, я использую mapwithstate api с функциональностью тайм-аута я использую пример, расположенный здесь по этому https://github.com/apache/spark/blob/master/examples/src/main/java/org/apache/spark/examples/streaming/JavaStatefulNetworkWordCount.j…
25 фев '16 в 06:42
1
ответ
Как убрать стоп-слова из текста при предварительной обработке искры
У меня есть требование предварительно обработать данные в искре перед запуском алгоритмов. Одна из логики предварительной обработки заключалась в удалении стоп-слов из текста. Я пробовал с искрой StopWordsRemover. StopWordsRemover требует ввода и вы…
08 май '17 в 16:24
2
ответа
Spark-version-info.properties не найден в Дженкинс
Я разрабатываю плагин, который использует lib-core spark. это нормально, когда я запускаю его как приложение Java, но когда я запускаю плагин в Jenkins, он показывает ошибку, которая говорит, что java.lang.ExceptionInInitializerError at org.apache.s…
12 мар '17 в 19:06
1
ответ
NoClassDefFoundError: org/apache/spark/sql/DataFrame в коннекторе spark-cassandra
Я пытаюсь обновить spark-cassandra-connector от 1.4 в 1.5, Кажется, все хорошо, но когда я запускаю тестовые случаи, он застревает между процессом и записывает какое-то сообщение об ошибке: Исключение в потоке "dag-scheduler-event-loop" java.lang.No…
26 июл '16 в 08:07
0
ответов
Параметр spark.executor.extraClassPath устанавливается программно через SparkConf
Фляги моего проекта конфликтуют с флягами, которые находятся на EMR, поэтому, чтобы исправить это, я скопировал все свои продвинутые фляги в пользовательское местоположение узлов через скрипт начальной загрузки. Я подтвердил, что файлы jar были скоп…
11 июл '18 в 20:35
1
ответ
Значения массива C++ не меняются
Я работаю с FastLED над фотоном частиц в C++ и пытаюсь присвоить новое значение одному из элементов массива пикселей. По сути, у меня есть массив, объявленный так: NSFastLED::CRGB leds[1]; Я передаю это в "анимационный" класс, который я написал для …
29 окт '15 в 01:59