Описание тега beam
Этот тег следует использовать для вопросов о BEAM, виртуальной машине Erlang.
0
ответов
java.lang.IllegalArgumentException: ожидается, что srcResourceIds и destResourceIds имеют одинаковую схему, но получили hdfs
Я пытаюсь читать из Кафки и писать в HDFS, используя Apache Beam с Spark Runner. Когда я запускаю его локально, он успешно работает без каких-либо исключений ошибок. --output=hdfs:///myhdfslocation тогда бросает ниже исключения Исключение в потоке "…
28 июн '18 в 12:55
0
ответов
Кодер для String[]
У меня есть класс, унаследованный от DoFn. Класс принимает в качестве входных данных String[] и выводит измененную String[]. Это работает как заклинание для любого бегуна (DirectRunner), но в моих модульных тестах я вижу кучу предупреждений, подобны…
02 мар '19 в 07:37
0
ответов
Загрузите данные (файл csv) с URL с помощью Apache Beam 2.x
Есть ли способ периодически загружать CSV-файл с URL-адреса в качестве входных данных для конвейера Apache Beam (2.4)?
14 апр '18 в 18:42
1
ответ
Формат данных в облачном хранилище при потоковой передаче PubSubmessage(строка json) из PubSub с использованием Dataflow?
Мы ищем поток PubSubmessage(строка json) из Pub-Sub, используя Dataflow, а затем записываем в облачное хранилище. Мне интересно, что будет лучшим форматом данных при записи данных в облачное хранилище? Мой дальнейший вариант использования может такж…
02 авг '18 в 14:56
0
ответов
Почему я получаю ошибку `Elixir.ModuleName.function не определена!`, Если я не запускаю `mix clean`
У меня необычная проблема, на которую я не смог найти ответ. Я использую библиотеку (libcluster), которая позволяет вам определить функцию для использования в файле конфигурации. Так что в моем зонтичном проекте, в config/def.exs файл у меня есть: c…
09 мар '18 в 18:09
1
ответ
Почему отладчик elixir вызывает встроенную функцию вместо моей, если они имеют одинаковые имена
Вот простой модуль с двумя точками останова в функциях, которые вызывают другие функции с именами, точно такими же, как встроенные: get/1 а также put/2 defmodule Test do def call_put() do require IEx; IEx.pry put("k", "v") end def call_get() do requ…
08 сен '17 в 12:27
1
ответ
Задание Google Dataflow не выполнено с ошибкой "недостаточно загруженных данных"
Я пытаюсь создать задание потока данных, которое обрабатывает несколько тысяч файлов, и для каждого файла записывает в другое место назначения в GCS. Я должен сделать много TextIO в качестве источника и записи в место назначения в виде отдельного по…
25 апр '17 в 00:33
1
ответ
Поток данных для чтения из облачного хранилища Google на локальный компьютер
Я попытался выполнить задание потока данных для чтения из облачного хранилища Google и записи на локальный компьютер. Я использовал DirectPipelineRunner. Работа выполнена успешно. Но я не вижу файлов, написанных на моей локальной машине. Должен ли я…
08 авг '18 в 16:59
1
ответ
Проблемы с производительностью с NHibernate Query
В настоящее время у меня проблема с производительностью следующего запроса, написанного в NHibernate. Я пытаюсь преобразовать данные, которые я запрашивал, в DTO. С этой сложной структурой я не могу использовать QueryOver для преобразования сущносте…
11 сен '14 в 21:05
1
ответ
Не удалось запустить луч на хосте И не удается запустить новый луч на хосте
Имея некоторые проблемы следующим образом: ==> 20120712-1611/tsung_controller@tester0.log <== =INFO REPORT==== 12-Jul-2012::16:12:45 === ts_config_server:(0:<0.100.0>) Can't start newbeam on host tester1 (reason: timeout) ! Aborting! =IN…
16 июл '12 в 16:11
2
ответа
tsung ts_config_server Невозможно запустить newbeam на хосте (причина: время ожидания) Прерывание
В настоящее время я занимаюсь тестированием распределенной нагрузки на сервисах Amazon EC2 и тщательно следил за всей документацией / форумом / поддержкой о том, как заставить вещи работать, но, к сожалению, застрял на этом этапе. Никто из соответст…
20 июл '12 в 13:00
1
ответ
Rabbitmq слушает на всех интерфейсах
Похоже, что мой rabbitmq прослушивает все интерфейсы, несмотря на: В /etc/rabbitmq/rabbitmq.config: [{rabbit, [{tcp_listeners, [{"10.0.0.1", 5672}]}]}, {rabbitmq_mochiweb, [{listeners, [{mgmt, [{ip, "10.0.0.1"}, {port, 55672}]}]}]}]. В /etc/rabbitmq…
01 дек '13 в 19:09
1
ответ
Как получить файл apache-beam .tar.gz?
Apache-beam расстраивает управление правильными библиотеками Google-облака, которые я могу использовать с Dataflow. Я обнаружил, что для того, что я делаю, мне нужен apache-beam=2.3.0, а не 2.4.0 (2.4.0 выдает ошибку травления, которую я не могу уст…
30 май '18 в 21:37
2
ответа
Есть ли ограничение по размеру для целых чисел Эрланга?
Я знаю, что в Erlang есть произвольные целые числа, но есть ли максимальный предел для одной из стандартных реализаций? Если да, то?
01 сен '16 в 10:04
0
ответов
apache beam textIO.write - перезаписать режим записи
Я использую версию Apache Beam 2.4.0. есть ли возможность записи в TextIO, чтобы перезаписать каталог назначения. В настоящее время перезаписываются только файлы деталей, если имена совпадают. это приводит к дублированию данных. есть ли подобная опц…
12 май '18 в 22:45
0
ответов
Как смоделировать железобетонную балку на 4 точки с помощью ABAQUS?
У меня есть несколько вопросов о том, как определить граничные условия для 4-х точечного изгиба железобетона с помощью Abaqus. Поэтому я моделирую этот луч, но я не знаю, как определить граничные условия и шаг. Не могли бы вы мне помочь? Модель 1/4 …
06 янв '18 в 07:45
1
ответ
Типограф Эрланга вывел странные типы для строк
Я исследую Typer, и дал ему функцию, которая ничего не делает, кроме: const_str () -> "qwe". Тип этого парня выводится как: -spec const_str () -> [101 | 113 | 119,...] то есть "eqw" (да?!), за которым следует это "..." дело. Похоже, постоянные строк…
14 авг '17 в 20:54
1
ответ
DirectPipelineRunner в потоке данных для чтения с локального компьютера в хранилище Google Cloud
Я попытался запустить конвейер потока данных для чтения с локального компьютера (windows) и записи в облачное хранилище Google с помощью DirectPipelineRunner. Задание не выполнено из-за указанной ниже ошибки, указывающей исключение FileNotFoundExcep…
09 авг '18 в 20:37
0
ответов
Всегда ли мне нужно запускать mix clean, а затем компилировать после изменения конфигурации?
Я относительно новичок в Elixir и заметил кое-что странное, у меня есть конфиг, config.exs который имеет линию как config :my_app, myname: "name" Когда я изменяю значение ключа myname, мое приложение ведет себя так, как если бы оно по-прежнему было …
09 май '17 в 12:45
1
ответ
Состояние кластера RabbitMQ: как отделить луч Эрланга от оболочки?
Мне нужно контролировать состояние кластера rabbitmq. REST API не предоставляет информацию о partitions, Так что мне нужно использовать приложение rabbitmqctl: # rabbitmqctl cluster_status Cluster status of node 'rabbit@rabbit-1' ... [{nodes,[{disc,…
09 мар '17 в 16:13