Описание тега dataflow
Программирование потока данных - это парадигма программирования, в которой вычисления моделируются с помощью ориентированных графов: узлы - это инструкции, а потоки данных через связи между ними.
0
ответов
Связать вход с выходом в React
Я новичок в React, и я бы попытался немного повозиться с потоком данных при использовании и каким-то выводом. Идея состоит в том, чтобы напечатать что-нибудь в строке ввода и показать ее под панелью, когда пользователь печатает. Я хочу сделать это б…
10 июн '17 в 00:28
3
ответа
Как распознать переменные, которые не влияют на вывод программы?
Иногда значение переменной, доступ к которой осуществляется в потоке управления программы, может никак не повлиять на ее вывод. Например: global var_1 global var_2 start program hello(var_3, var_4) if (var_2 < 0) then save-log-to-disk (var_1, var…
12 июн '14 в 12:46
1
ответ
OLE DB для получения данных BlobColumn в потоке данных SSIS
Когда я использую источник ADO.net в DataFlow, чтобы прочитать столбец BLOB-объектов и передать его компоненту сценария для выполнения дальнейших проверок - требуется компоновка сценария для дальнейшей проверки каждого столбца для создания основных …
24 янв '10 в 03:23
1
ответ
Пакет служб SSIS, выполняется каждые 13 часов за предыдущие 12 часов данных
У меня есть пакет служб SSIS, и мне нужно запланировать его запуск на 1:00 AM а также 1:00 PM каждый день. В 1:00 AM он должен передать параметры предыдущего дня, например, 15 Nov 2018 12:00 PM как @StartDate & 15 Nov 2018 11:59 PM как @EndDate В 1:…
16 ноя '18 в 09:43
2
ответа
Как создавать диаграммы потоков данных с использованием Java
Я студент инженерного факультета; Я изучал графики потоков данных. Я уже сделал парсер с использованием Antlr, но я не знаю, как создавать диаграммы потоков данных. Я прочитал статью о том, что можно создавать графики потоков данных, используя Java.…
06 май '12 в 20:29
1
ответ
Примеры монадических эффектов внутри функции перезаписи в Hoopl?
Тип (перезаписывающих) функций перезаписи в Hoopl задается mkFRewrite функция: mkFRewrite :: (FuelMonad m) => (forall e x. n e x -> f -> m (Maybe (hoopl-3.8.6.1:Compiler.Hoopl.Dataflow.Graph n e x))) -> FwdRewrite m n f m Тип подразумева…
01 июл '11 в 15:30
1
ответ
Импорт продукта Magento Dataflow без импорта полей super_attribute
Я нахожусь в процессе тестирования различных методов для импорта значительного списка продуктов из более старой системы корзины в редакцию Magento Community (1.7.0.2). Мне известны такие утилиты, как Magmi, но мы надеемся сначала изучить более прост…
13 ноя '12 в 21:13
0
ответов
Я получаю сообщение об ошибке "Too many open files" в журнале nifi. Может ли кто-нибудь объяснить мне, когда nifi нужно открывать файлы и когда nifi закрывает их?
Я разработал собственный процессор, который будет получать данные в сокете zmq, прослушивая какой-либо порт. Я пересылаю полученные данные zmq на удаленную машину, используя RemoteProcessGroup (сайт на сайт). Когда на источнике генерируются большие …
01 дек '17 в 04:52
1
ответ
Пример Apache Beam MinimalWordcount с бегущим потоком данных в затмении
Я пытаюсь запустить пример MinimalWordCount, используя DataFlowRunner из Eclipse для Windows, используя MinimalWordCount -> Запускать как Java-приложение из with в eclipse, это тот же стандартный код из примера, использующего мое ведро gcs, однако я…
26 мар '17 в 07:51
2
ответа
Как пропустить последнюю строку в потоке данных служб SSIS
Я использую FlatFile Source Manager -> Script COmponent as Trans -> OLEDB destination в моем потоке данных. Источник читает все строки из плоского файла, и я хочу пропустить последнюю строку (запись трейлера), обновляя базу данных. Поскольку он соде…
07 мар '17 в 04:20
0
ответов
Рендеринг React Ajax с соответствующим доступом детей
Я действительно не понимаю, почему один работает, а другой не надеется, что кто-то может пролить лучи света. То есть: *some component constructor this.state = { dataTransform: '' }; render(){ if (this.state.dataTransform === ''){ return null; } else…
19 апр '16 в 21:40
2
ответа
Apache Beam: ReadFromText против ReadAllFromText
Я запускаю конвейер Apache Beam, считывающий текстовые файлы из Google Cloud Storage, выполняю некоторый анализ этих файлов и записываю проанализированные данные в Bigquery. Игнорируя синтаксический анализ и google_cloud_options здесь ради краткости…
30 июл '18 в 15:37
1
ответ
Как построить поток данных?
Я использую Visual Studio 2008, учебник по службам SSIS, описанный по адресу: http://msdn.microsoft.com/en-us/library/ms167106.aspx Я выполнил все задачи, но получаю следующие ошибки: Ошибка 1 Ошибка проверки. Извлечь пример данных о валюте: Извлечь…
05 мар '10 в 19:57
0
ответов
Python Class маршрутизация при обработке потока данных
Какой самый правильный и "питонный" способ справиться с маршрутизацией классов для множества различных типов объектов. У меня есть поток данных о многих различных событиях json, которые необходимо обработать, но у каждого вида событий есть своя стру…
16 окт '17 в 10:20
1
ответ
Блок потока данных TPL использует всю доступную память
У меня есть TransformManyBlock со следующим дизайном: Ввод: путь к файлу Вывод: IEnumerable содержимого файла, по одной строке за раз Я запускаю этот блок для огромного файла (61 ГБ), который слишком велик для размещения в оперативной памяти. Чтобы …
23 июн '15 в 05:31
0
ответов
C рекурсивно сглаживающий нодлист
Я получаю некоторые ошибки памяти C, которые я действительно изо всех сил пытаюсь выяснить. Я довольно новичок в C, и мы используем его в дизайне компиляторов, и мне очень нравится язык, с указателями действительно интересно играть. Задача, которую …
13 фев '15 в 17:13
1
ответ
Алгоритмы вилочного соединения с ompss
openMP/ompSs позволяет определять задачи с конкретными входами и выходами, чтобы можно было определить зависимости между различными задачами. Большинство примеров, однако, показывают различные функции как задачи, связанные друг с другом через зависи…
08 ноя '16 в 11:47
0
ответов
Загрузите данные (файл csv) с URL с помощью Apache Beam 2.x
Есть ли способ периодически загружать CSV-файл с URL-адреса в качестве входных данных для конвейера Apache Beam (2.4)?
14 апр '18 в 18:42
0
ответов
DataFlow Apache Beam Java JdbcIO Проблема чтения аргументов
Я совершенно новичок в Apache Beam и Java. Я работаю над PHP около 5 лет, но я не работал на Java последние 5 лет:), плюс Apache Beam SDK в java - это тоже что-то новое, так что терпите меня. Я хотел бы реализовать конвейер, в котором я буду получат…
05 ноя '18 в 13:23
3
ответа
Почему блоки работают в таком порядке?
Это краткий пример кода, чтобы быстро представить вам, о чем мой вопрос: using System; using System.Linq; using System.Threading.Tasks; using System.Threading.Tasks.Dataflow; namespace DataflowTest { class Program { static void Main(string[] args) {…
09 авг '16 в 10:07