Описание тега jsonstream
2
ответа
Отправка и получение большого объекта JSON в http
У меня есть такая конфигурация, что. Сервер клиентских приложений, работающий на Nodejs с expressjs. Сервер API работает на Nodejs с expressJs, и я использую базу данных postgresql. Когда мой клиент запросил данные с сервера API, сервер API выдает о…
28 июн '18 в 07:08
0
ответов
Поток Postgres/Node to JavaScript: "обход" над строкой занимает слишком много памяти
У меня есть БД Postgres 9.6, подключенная к серверу веб-приложений Node.js 8.9, который обслуживает интерфейс JavaScript. Я почти везде имею дело с массивами объектов JSON. Теперь я хочу, чтобы большие наборы данных реализовывали потоковую передачу.…
18 дек '17 в 11:10
0
ответов
node.js - Как использовать поток JSON и сохранить исходные данные потока без изменений
Я реализую плагин kibana для проверки / авторизации полезной нагрузки запроса. Формат некоторой полезной нагрузки запроса - JSONStream, пример как ниже, { "Индекс":["logstash1*"],"ignore_unavailable": правда, "предпочтение": 1523345500966} { "Размер…
10 апр '18 в 08:08
1
ответ
Использование JSONStream для чтения больших файлов JSON
Я пытался прочитать файл с помощью JSONStream, но у меня нет особого опыта в этом, и было трудно найти информацию (учебные пособия, документацию) о нем. Я нашел где-то здесь этот кусок кода: var fs = require('fs'), JSONStream = require('JSONStream')…
14 мар '18 в 22:41
1
ответ
Разбор большого (100 МБ) JSON с PHP с использованием salsify JsonStreamerParser в PHPProBid
У меня есть файл JSON: curl https://api.mercadolibre.com/sites/MLM/categories/all > categoriesMLM.gz который содержит объект объектов (около 60000+). Я также установил https://github.com/salsify/jsonstreamingparser через composer, чтобы сохранить…
23 июл '18 в 17:03
5
ответов
Как обработать JSON Stream, выпущенный пружинным чехлом 2 в угловых 5
Spring boot 2 WebFlux генерирует поток Json в новой версии например @GetMapping(value = "stream", produces = APPLICATION_STREAM_JSON_VALUE) public Flux<Data> stream() { return Flux.interval(Duration.ofSeconds(1)).map(Data::new); } будет произв…
02 мар '18 в 08:45
0
ответов
Библиотека запросов - долгое ожидание данных
У меня есть вопрос о библиотеке запросов "Requests". Я не могу заставить это работать хорошо в этой ситуации. Код ниже работает хорошо (используя urllib3): http = urllib3.PoolManager() r = http.request( 'GET', 'https://api-live.exante.eu/md/1.0/feed…
04 июн '18 в 07:00
1
ответ
Node.js - Распределение не удалось - процесс не хватает памяти даже с использованием анализатора JSONStream
Я пытаюсь прочитать и проанализировать около 12 больших (от 100 МБ + до 500 МБ +) файлов JSON в узле. Я пытался использовать JSONStream (как предлагалось многими другими в качестве решения этой проблемы), чтобы предотвратить следующую ошибку: FATAL …
04 ноя '14 в 14:19
1
ответ
Gson: Как пропустить строки в массиве JSON при разборе с использованием потокового API
Пытаюсь разобрать огромный JSON использование массива Gson stream где для каждого прогона мне просто нужно обрабатывать 10 объектов одновременно. Так что при первом запуске он обрабатывает 10. При втором запуске он начинается с 11-го. В-третьих, это…
07 июн '18 в 09:24
2
ответа
Как разобрать бесконечный массив JSON из стандартного ввода в го?
Я пытаюсь написать небольшую замену i3status, небольшой программе, которая взаимодействует с i3bar, соответствующим этому протоколу. Они обмениваются сообщениями через stdin и stdout. Поток в обоих направлениях представляет собой бесконечный массив …
02 апр '15 в 20:01
0
ответов
Oboe JS только возвращает данные, когда поток сервера умирает
Я настроил гобой поток JS, который транслирует JSON с сервера. Когда я начинаю слушать поток, я не получаю никаких данных, но как только я убиваю сервер, я получаю все ожидаемые узлы. Я предполагаю, что Гобой кеширует, прежде чем он вернется. Вот ко…
01 авг '16 в 16:35
1
ответ
Парсинг потоков JSON с использованием JSONPath и JSONStream
У меня есть поток данных, как это: {"foo": 1} {"bar": 2} Примечание: между этими картами нет запятых. Я хочу прочитать этот поток в node.js, чтобы я мог захватить две карты, как показано выше. Я пытался сделать это с JSONStream, который хорошо идент…
28 сен '16 в 01:26
0
ответов
Передайте данные, как только они будут готовы в Node.js
У меня есть большой файл JSON, как это: [ { "id": 2000, "city": "New York", "lat": "", "lon": "", }, ... ] и я ищу лат и лон в каждом объекте. Я использую модуль JSONStream для передачи данных: var writeStream = fs.createWriteStream('data/stream.jso…
06 янв '17 в 00:29
0
ответов
Потоковая строка из ядра asp.net без квадратных скобок?
Индексная функция в моем HomeController: public IEnumerable<string> Index() { foreach (var i in Enumerable.Range(0, 10)) { yield return "Test: " + i; System.Threading.Thread.Sleep(1000); } } Идея заключается в том, что при посещении указателя …
14 авг '17 в 06:06
1
ответ
Разобрать весь объект с помощью JSONStream.parse
У меня есть входящая структура данных JSON, как это: { foo: 3, bar: [ { key:value }, { key:value } ] } Я хочу относиться к Фу с одной стороны, а с другой. Но когда я использую JSONStream.parse("*") для объекта, первый блок, который он получает, раве…
06 апр '16 в 15:50
1
ответ
Куча узлов исчерпана при передаче данных JSONStream.parsed() через es.map() и JSONStream.stringify() в файловый поток
Я пытаюсь передать поток ввода (созданный из огромного файла GeoJSON) через JSONStream.parse(), чтобы разбить поток на объекты, затем через event-stream.map(), чтобы позволить мне преобразовать объект, затем через JSONStream.stringify() для создания…
17 авг '16 в 01:17
2
ответа
Как читать поток JSON-объектов на объект
У меня есть двоичное приложение, которое генерирует непрерывный поток объектов JSON (не массив объектов JSON). Иногда объект Json может занимать несколько строк (все еще являясь допустимым объектом JSON, но предварительно проверенным). Я могу подклю…
23 апр '16 в 16:49
1
ответ
JQ Как объединить несколько объектов в один
С учетом следующего ввода (которое является уменьшенной версией вывода с 100K+ объектами другого сложного запроса): echo '{ "a": { "b":"c", "d":"e" } }{ "a": { "b":"f", "d":"g" } }' | jq '.' { "a": { "b": "c", "d": "e" } } { "a": { "b": "f", "d": "g…
24 июл '18 в 05:49
1
ответ
Создание объекта JSON PushStreamContent
У меня есть веб-API Asp.net и имеет HTTPResponseMessage и имя метода API GetPersonDataStream, который на самом деле поток каждого объекта человека как JSON. Поэтому, когда я вижу результат, фактические данные были сконструированы как два отдельных о…
27 апр '18 в 09:35
2
ответа
JSONStream обрабатывает одни данные с помощью другого парсера
Я использую JSONStream для анализа данных с сервера, данные могут быть как {"error": "SomeError"} или {"article":[{"id": 123}]}; Мой код выглядит так var request = require('request'); var JSONStream = require('JSONStream'); var articleIDParser = JSO…
08 май '14 в 15:52