Описание тега chunking

Вопросы с тегом
1. In memory management, chunking refers to strategies for improving performance by aggregating related memory-allocation requests. 2. In HTTP message transmission, it refers to a facility that allows inconveniently large messages to be broken into conveniently-sized smaller "chunks." 3. In parallel computing, it refers to the amount of data to assign to each task.
1 ответ

Pandas read_hdf: как получить имена столбцов при использовании chunksize или итератора?

Я читаю в большой (~10 ГБ) hdf5 таблице с pandas.read_hdf. Я использую iterator=True, чтобы я мог получить доступ к чанкам за раз (например, chunksize=100000 строк за раз). Как получить список всех имен столбцов или "ключей"? Кроме того, почему нет …
28 дек '17 в 00:57
0 ответов

PHP - конвертировать двоичные фрагменты в видеофайл - возможно?

Я создаю приложение, которое требует нарезки видеофайла (формат mp4) на куски. Наш сервер ограничивает upload_max_filesize на 2 МБ, но у нас есть файлы размером в сотни МБ, которые требуют загрузки. До сих пор я нарезал файл (на блоки по 1 МБ) с пом…
22 мар '16 в 20:10
3 ответа

Семантический разбор с NLTK

Я пытаюсь использовать NLTK для семантического разбора голосовых команд навигации, таких как "поехать в Сан-Франциско", "указать мне дорогу до главной улицы 123" и т. Д. Это можно сделать с помощью довольно простой грамматики CFG, такой как S -> …
08 сен '13 в 06:19
2 ответа

Обход лингвистического дерева NLTK и извлечение имен существительных (NP)

Я создал чанкер на основе пользовательского классификатора: DigDug_classifier, который кусками следующее предложение: sentence = "There is high signal intensity evident within the disc at T1." Чтобы создать эти куски: (S (NP There/EX) (VP is/VBZ) (N…
25 авг '18 в 22:55
1 ответ

Spray Chunked Request Throttle входящие данные

Я использую Spray 1.3, с incoming-auto-chunking-threshold-size установить, чтобы разрешить потоковую передачу входящих запросов. Когда от моего клиента поступает очень большой запрос, я хочу передать его через приложение и разгрузить его в резервное…
15 апр '14 в 07:30
1 ответ

Что определяет, как "максимум байты считываются и возвращаются" с помощью Python read()?

В документации по вводу / выводу Python в разделе "Чтение и запись файлов" говорится: https://docs.python.org/3.5/tutorial/inputoutput.html "Когда размер опущен или отрицателен, все содержимое файла будет прочитано и возвращено; это ваша проблема, е…
15 сен '16 в 12:56
0 ответов

Загрузить большое видео с помощью чанков через http пост

Я хочу загрузить большое видео с iPhone на веб-сервер. Я попробовал с приведенным ниже кодом. Это работает для маленьких файлов, но когда я пытаюсь загрузить большой файл, он падает. Код: NSMutableURLRequest *request = [NSMutableURLRequest requestWi…
13 май '13 в 10:11
2 ответа

Разделение массива на новые массивы, начиная с каждого слова массива

Как я могу разделить массив на новые массивы, начиная с каждого слова исходного массива? Таким образом, первое слово каждого массива должно быть вторым словом предыдущего массива. например $list(1=>we, 2=>have, 3=>a, 4=>good, 5=>day);…
04 авг '11 в 11:04
3 ответа

SQL Server: почему эта логика не работает при чанкинге по вставкам?

Товарищи Техники-- У меня здесь происходит бесконечная петля. Почему @@ rowcount никогда не возвращается в 0? Я не должен понимать, что на самом деле делает @@ rowcount, или я устанавливаю значение не в том месте. Я думаю, что значение должно уменьш…
25 авг '16 в 20:37
3 ответа

Что такое чанкер в обработке естественного языка?

Кто-нибудь знает, что такое чанкер в контексте обработки текста и для чего он используется?
21 янв '11 в 10:54
0 ответов

hdf5: фрагментация увеличивает размер данных до 100%

В настоящее время я пишу скрипт на Python, чтобы объединить множество маленьких и не фрагментированных файлов.h5 (~7 МБ каждый). Общее дисковое пространство для всех файлов составляет несколько ГБ. Каждый файл имеет два набора данных (тип uint8 и fl…
12 июн '17 в 14:51
1 ответ

Покупка оперативной памяти, чтобы избежать разбивки на файлы размером 30-50 ГБ плюс

Я использую панды для чтения очень больших CSV-файлов, которые также разархивированы. Я распаковываю в csv файлы размером примерно 30-50 ГБ. Я делю файлы на части и обрабатываю / манипулирую ими. Наконец добавьте соответствующие данные в файлы HDF5,…
15 июл '16 в 10:48
1 ответ

Я знаю о загрузке кусками, нужно ли что-то делать по окончании?

Моя функция Azure получает большие видеофайлы и изображения и сохраняет их в BLOB-объекте Azure. Клиентский API отправляет данные порциями в мою триггерную функцию Azure htttp. Нужно ли что-то делать на приемном конце, чтобы повысить производительно…
01 фев '18 в 06:35
0 ответов

C# Upload Chunking Sample Request

Может кто-нибудь объяснить, и, возможно, опубликовать образец функции загрузки, поддерживающей Chunking, пожалуйста? У меня есть параметр в методе POST, который ожидает строку Base64. Я использую это с логическими приложениями, и когда контент превы…
16 июл '18 в 13:26
1 ответ

Конвертировать "чистое" дерево NLTK в структуру NLTK Chunker

Я новичок в Python и борюсь с концепцией типов данных и их преобразованиями. У меня есть предложения в формате дерева NLTK (полученные из анализатора Стэнфорда и преобразованные в дерево NLTK). Мне нужно применить функции, написанные для NLTK Chunke…
29 дек '13 в 15:48
1 ответ

Как отправить файлы чанка в веб-API в Android?

Я отправляю файлы размером более 2 МБ. Для того, чтобы отправить этот файл, мне нужно разделить этот файл на более мелкие части размером 2 МБ на части [чанки] и отправить его по частям. Я уже разделил файлы на более мелкие порции и отправил их на ве…
27 авг '13 в 05:36
0 ответов

Как читать большой файл.XLS порциями, не загружая его сразу в оперативную память

Я пытаюсь проанализировать различные виды очень больших файлов Excel (.csv, .xlsx, .xls) Рабочие (.csv/.xlsx) потоки .csv можно разделить с помощью pandas.read_csv(file, chunksize=chunksize) .xlsx можно разбить на части, разархивировав и проанализир…
11 апр '18 в 09:13
1 ответ

Используя chunk в json, запросы на получение больших данных в python

Я пытаюсь получить большие данные в Python с помощью API. Но я не могу получить все данные. Запрос позволяет получить только первые 1000 строк. r = requests.get("https://data.cityofchicago.org/resource/6zsd-86xi.json") json=r.json() df=pd.DataFrame(…
14 мар '17 в 18:44
1 ответ

Как датафрейм хранит большое количество данных в памяти и манипулирует ими?

Предположим, у меня есть большой объем данных, которые я загружаю в фрейм данных; Например, у меня есть таблица размером более 40 ГБ, и выбор 3 столбцов может составить около 2–3 ГБ. Предположим, что записи составляют 10 миллионов (количество строк)…
26 май '17 в 15:37
0 ответов

C# chunking 2Gb файл все еще вылетает inputsream

У меня есть система загрузки файлов, и когда я загружаю что-то более 1,2 ГБ, даже если используется чанк на 20 МБ, я получаю ошибку входного потока при загрузке 75%. Я использую ниже, и они объединяют файлы после загрузки. Я предполагаю, что.net не …
15 апр '14 в 08:59