Описание тега h5py
NoneH 5py is a NumPy-compatible Python module for handling The Hierarchical Data Format (HDF5) files.
0
ответов
Как я могу выполнить только несколько чтений одного и того же файла HDF?
У меня 80 ГБ файл HDF Я использую модуль h5py при доступе к файлу HDF. Мои требования: Я хочу выполнить многократное чтение этого файла. Я не выполняю никаких операций записи. Мои вопросы: Нужно ли устанавливать какие-либо дополнительные пакеты, так…
12 фев '18 в 05:28
4
ответа
Что такое быстрый способ вывода набора данных h5py в текст?
Я использую пакет Python h5py для чтения файлов в формате HDF5. (например, somefile.h5) Я хотел бы записать содержимое набора данных в текстовый файл. Например, я хотел бы создать текстовый файл со следующим содержанием: 1,20,31,75,142,324,78,12,3,9…
11 июн '10 в 04:45
0
ответов
Сохраните и загрузите большой массив (> 100 ГБ) Python и / или уменьшите размер
Мне нужно сохранить действительно большой массив (это матрица doubleс размером 5е5 х 3е4. Контекст таков: у меня есть одномерная симуляция вязкого диска, каждая строка является снимком симуляции (поверхностная плотность). все данные актуальны (более…
01 май '17 в 14:59
1
ответ
Добавление дополнительных наборов данных в существующий файл Hdf5 без удаления других групп и наборов данных
У меня есть файл HDF5, который содержит группы и подгруппы, внутри которых есть наборы данных. Я хочу открыть файл и добавить несколько наборов данных в группы. Я выбрал следующий подход, который довольно прост в Python. import h5py f = h5py.File('f…
04 июл '16 в 14:13
1
ответ
HDF5 как обрабатывать пустые строки
Я хочу передать некоторые значения, заданные датчиком MOCAP, в файл hdf5. Итак, чтобы упростить вещи, допустим, у меня есть таблица, подобная следующей: | time | x1 | y1 | x2 | y2 | | 0 | 2.0 | 1.0 | 2.0 | 3.0 | | 1 | 2.1 | 1.0 | 2.3 | 3.1 | | 2 | 2…
11 ноя '15 в 17:15
3
ответа
Данные в файле HDF с использованием Python отсутствуют
Я пытаюсь прочитать в файле hdf, но группы не отображаются. Я пробовал несколько разных методов с использованием таблиц и h5py, но ни один из них не работает при отображении групп в файле. Я проверил, и файл "Данные иерархического формата данных (ве…
10 авг '16 в 18:50
0
ответов
h5py Параллельно читает и пишет без MPI
У меня есть файл HDF5, который содержит разные наборы данных в одной группе. Я провел эксперимент, пытаясь заставить различные процессы читать один из этих наборов данных, используя h5py. Я ожидал подобной или близкой производительности, когда проце…
23 апр '18 в 16:36
3
ответа
Проверьте, существует ли узел в h5py
Хотите знать, есть ли простой способ проверить, существует ли узел в файле HDF5, используя h5py. Я не смог ничего найти в документах, поэтому сейчас я использую исключения, что ужасно. # check if node exists # first assume it exists e = True try: h5…
01 авг '12 в 06:05
2
ответа
Хранение наборов строковых данных в hdf5 с Юникодом
Я пытаюсь сохранить переменные строковые выражения из файла, который содержит специальные символы, такие как ø, æ , and å, Вот мой код: import h5py as h5 file = h5.File('deleteme.hdf5','a') dt = h5.special_dtype(vlen=str) dset = file.create_dataset(…
20 июн '17 в 19:25
1
ответ
Можно ли передать многопроцессорную очередь Python дочернему процессу?
У меня есть большой набор данных в системе сбора данных, которую я написал на python, и для передачи очереди от дочернего процесса к родительскому процессу требуется бесконечно много времени. Я хочу сохранить данные, полученные в конце приобретения,…
22 мар '18 в 17:23
1
ответ
Загрузка файлов hdf5 в Python Xarrays
Модуль Python xarray значительно поддерживает загрузку / отображение файлов netCDF, даже лениво с dask. Источником данных, с которым мне приходится работать, являются тысячи файлов hdf5 с большим количеством групп, наборов данных, атрибутов - все он…
11 фев '19 в 11:15
1
ответ
Код для сюжета -Python
Я никогда не использовал Python, и я видел один фрагмент кода из руководства, и я хотел бы знать, что это значит. Это код из руководства: import h5py h5file = h5py.File('Output/ScottCreek250b/simulation.results.DY.hdf5') channel_flows = h5file['Chan…
17 июн '14 в 12:52
2
ответа
h5py setup.py на Mac: файл hdf5.h не найден
Я собираю h5py на Mac, следуя инструкциям "Сборка на основе параллельного HDF5" по этой ссылке: http://docs.h5py.org/en/latest/build.html $ export CC=mpicc $ python setup.py configure --mpi $ sudo python setup.py build Я получаю эту ошибку: h5py-2.5…
15 июн '15 в 05:22
0
ответов
gdal.Open завершается ошибкой после h5py.File(), но только в Linux
Я использую Python и открываю файл hdf5, используя h5py, чтобы получить некоторую информацию, которая не просматривается gdal. Затем я открываю тот же файл, используя gdal.Open(). На windows все работает. Но при развертывании в Linux (Ubuntu) происх…
03 апр '15 в 09:26
1
ответ
Размер на диске частично заполненного набора данных HDF5
Я читаю книгу Python и HDF5 (O'Reilly), в которой есть раздел о пустых наборах данных и размере, который они принимают на диске: import numpy as np import h5py f = h5py.File("testfile.hdf5") dset = f.create_dataset("big dataset", (1024**3,), dtype=n…
17 июл '17 в 13:18
0
ответов
Ошибка h5py при загрузке весов в Керасе
Я пытаюсь запустить этот скрипт: https://github.com/farizrahman4u/keras-contrib/blob/master/examples/cifar10_wide_resnet.py Тем не менее, я изменяю эту строку model = WideResidualNetwork(depth=28, width=8, dropout_rate=0.0, weights=None) в model = W…
20 дек '17 в 10:04
3
ответа
h5py: правильный способ нарезать наборы данных массива
Я немного запутался здесь: Насколько я понял, h5py's .value Метод читает весь набор данных и выгружает его в массив, что является медленным и не рекомендуется (и обычно должно быть заменено [()], Правильный способ состоит в том, чтобы использовать н…
13 фев '14 в 21:44
3
ответа
HDF5 библиотека и ошибка несоответствия заголовка
Я использую Anaconda на Ubuntu x64. Когда я запускаю простую программу на Python, я получаю это сообщение об ошибке и дамп ядра [python]. Я видел другие вопросы со схожими проблемами, но все ответы, которые я вижу, не решают мою проблему. Я попыталс…
06 дек '15 в 16:17
1
ответ
python h5py: могу ли я хранить набор данных, у которых разные столбцы имеют разные типы?
Предположим, у меня есть таблица, которая имеет много столбцов, только несколько столбцов имеют тип с плавающей запятой, другие - маленькие целые числа, например: col1, col2, col3, col4 1.31 1 2 3 2.33 3 5 4 ... Как я могу хранить это эффективно, ес…
07 авг '18 в 14:57
2
ответа
Файл XML внутри HDF5, h5py
Я использую h5py для сохранения данных (числа с плавающей запятой), в группах. В дополнение к самим данным мне нужно включить дополнительный файл (файл.xml, содержащий необходимую информацию) в hdf5. Как мне это сделать? Мой подход неверен? f = h5py…
13 дек '11 в 17:19