Описание тега hdf
Иерархический формат данных (HDF, HDF4 или HDF5) - это набор форматов файлов и библиотек, предназначенных для хранения и организации больших объемов числовых данных.
1
ответ
Ошибка с включаемыми файлами при попытке скомпилировать программу HDF4
Я пытаюсь скомпилировать программу, которая использует библиотеки HDF4. Я установил HDF4 на свой компьютер в /usr/local/ и подтвердил, что все необходимые сценарии, включающие файлы и библиотеки были установлены и все переменные среды установлены пр…
16 окт '16 в 03:31
1
ответ
Не можете хранить данные в HDF5 с Panda?
Я пытаюсь сохранить большой массив данных в формате HDF5, но у меня всегда возникают ошибки. Я не должен использовать хороший способ сделать это, но я не вижу, где я не прав. Вот мой код: import pandas as pd import numpy as np nrows=5 ncols=5 colnam…
04 мар '15 в 02:10
3
ответа
Данные в файле HDF с использованием Python отсутствуют
Я пытаюсь прочитать в файле hdf, но группы не отображаются. Я пробовал несколько разных методов с использованием таблиц и h5py, но ни один из них не работает при отображении групп в файле. Я проверил, и файл "Данные иерархического формата данных (ве…
10 авг '16 в 18:50
1
ответ
Как получить отсортированные записи из таблицы hdf
Я ищу способ извлечь отсортированные записи из hdf Таблица. Вот питон MWE: import tables import numpy as np class Measurement(tables.IsDescription): time = tables.Float64Col() value = tables.Float64Col() h5 = tables.open_file('test.hdf', 'w') h5.cre…
24 окт '16 в 07:16
0
ответов
Преобразование сотен файлов HDF в формат.tif в R
Преобразование HDF в tif с использованием get_subdatasets в gdalUtils в пакете R - очень медленный процесс, так как у меня 460 файлов HDF. Каждое преобразование занимает около 5 минут. Я хочу быструю альтернативу. Я преобразовал частичный набор данн…
23 дек '18 в 10:28
1
ответ
Панды преобразуют CSV в файл H5, избегая ошибки памяти
У меня есть этот простой код data = pd.read_csv(file_path + 'PSI_TS_clean.csv', nrows=None, names=None, usecols=None) data.to_hdf(file_path + 'PSI_TS_clean.h5', 'table') но мои данные слишком велики, и у меня возникают проблемы с памятью. Что такое …
15 май '15 в 10:08
0
ответов
Чтение указанной долготы / широты
Я работаю над данными MERRA в Matlab, Я заинтересован в нанесении данных для указанных координат для продукта MERRA300.prod.assim.tavg1_2d_rad_Nx. Мне нужна ваша помощь относительно того, как извлечь данные о конкретном местоположении (на основе шир…
02 июл '15 в 22:20
1
ответ
Символ H5dread_f отсутствует в библиотеках hdf5 (fortran)
Я столкнулся с проблемой при компиляции кода WRF-DA (код здесь) Строка компиляции, которая терпит неудачу - ftn -c -ip -O3 -w -ftz -fno-alias -align all -FR -convert big_endian -r8 -real-size `expr 8 \* 8` -i4 -I../external/crtm_2.2.3/libsrc -I/opt/…
11 май '18 в 19:02
1
ответ
Использование HDF5 Thread Safe Library
У меня есть вопрос, касающийся использования библиотеки HDF5 Thread Safe.В настоящее время я работаю с экземпляром библиотеки HDF5 C++ (статической), который был скомпилирован моим коллегой с использованием "HDF5_ENABLE_PARALLEL" ни "HDF5_ENABLE_THR…
30 мар '16 в 11:58
1
ответ
Распараллеливание кода Python с использованием многопроцессорной обработки
Я действительно новичок в мулти-обработке Python и пытаюсь распараллелить мой код, потому что его запуск занимает слишком много времени. У меня есть код, который проходит через большой кусок данных, чтобы найти, если какой-либо из файлов поврежден и…
23 июн '17 в 14:57
1
ответ
Matlab Batch Processing для данных HDF - не удалось открыть файл Ошибка
Пакетная обработка Matlab для данных HDF дает ошибку. Если я использую одну операцию, она отлично работает. Но не работает в пакетном режиме. Мой код здесь files = dir('/upload/server/php/files/*.hdf'); for k = 1:numel(files) L_865 = hdfread(files(k…
12 ноя '14 в 05:47
1
ответ
Почему использование памяти Series составляет около 1,5x DataFrame с теми же данными?
Вот код: In [1]: import pandas as pd In [2]: import numpy as np In [3]: from itertools import product In [4]: index = list(map(''.join, product(*['ABCDEFGH']*4))) In [5]: columns = list(map(''.join, product(*['xyzuvw']*3))) In [6]: df = pd.DataFrame…
06 июл '17 в 09:12
1
ответ
Построение ежедневных данных OMI с использованием пакета Basemap
OMI (прибор для мониторинга озона) измеряет ключевые компоненты качества воздуха, такие как диоксид азота (NO2), озон (O3). Ежедневный файл columnO3, который я скачал здесь, представляет глобальное распределение концентрации столбов озона в тропосфе…
15 июн '16 в 12:53
1
ответ
HDF5 - Создание атрибутов для групп с помощью кода
В настоящее время я изучаю HDF5 и мне нужно выяснить, как добавить атрибуты в пустую группу с помощью C++. Я знаю, как сделать это через HDFView, но я не могу найти документацию о добавлении атрибутов в простую группу, только наборы данных (это вооб…
09 фев '16 в 00:21
3
ответа
C/C++ HDF5 Чтение строкового атрибута
Мой коллега использовал labview для записи строки ASCII в качестве атрибута в файле HDF5. Я вижу, что атрибут существует, и читаю его, но не могу его распечатать. Атрибут, как показано в HDF Viewer: Дата = 2015\07\09 Так что "Дата" - это его имя. Я …
10 июл '15 в 15:28
2
ответа
Python: чтение сжатого (.gz) файла HDF без записи и сохранения несжатого файла
У меня есть большое количество сжатых файлов HDF, которые мне нужно прочитать. file1.HDF.gz file2.HDF.gz file3.HDF.gz ... Я могу читать в несжатых файлах HDF следующим способом from pyhdf.SD import SD, SDC import os os.system('gunzip < file1.HDF.…
28 авг '17 в 20:33
2
ответа
Чтение и запись массивов в и из файлов HDF5
Я создаю программное обеспечение для моделирования, и мне нужно записать (тысячи) двумерных числовых массивов в таблицы в файле HDF5, где одно измерение массива является переменным. Входящий array имеет тип float32; для экономии места на диске кажды…
26 апр '17 в 13:15
0
ответов
HDF5 с Python, Pandas: повреждение данных и ошибки чтения
Поэтому я пытаюсь хранить Pandas DataFrames в HDF5 и получаю странные ошибки, довольно непоследовательно. По крайней мере, половину времени некоторая часть цикла чтения-процесса-перемещения-записи завершается неудачно, часто без более четкого объясн…
06 авг '16 в 20:07
0
ответов
Метод пакета объектов HDF недоступен
Работает над созданием парсера.h5 для проекта. Попытка реализовать этот учебный код здесь. Я сталкиваюсь с проблемой Group root = (Group) ((javax.swing.tree.DefaultMutableTreeNode) testFile.getRootNode()).getUserObject(); где метод getRootNode не ра…
25 сен '17 в 01:28
1
ответ
В Kafka невозможно создать нового потребителя, используя kafka-consumer-groups.sh
Я установил для kafka автономный узел (HDF ver 3.1.1, Kafka ver 1.0.0) Чтобы загрузить данные из кафки, она создает группу потребителей, которая использует kafka-consumer-groups.sh Команда такая kafka-consumer-groups.sh --bootstrap-server ip-xxx-xxx…
14 май '18 в 12:08