Описание тега feather

Вопросы с тегом
Feather - это формат файла для хранения фреймов данных. Это позволяет быстро обмениваться данными между Python и R.
2 ответа

Сохранить тиббл со столбцами списка на диск

Я хотел бы сохранить на диск tibble у которого есть столбцы списка (для дальнейшего использования только внутри R). В идеале я хотел бы быстрый двоичный формат, как featherоднако, кажется, что он не поддерживает списочные столбцы: test <- tibble(…
10 фев '17 в 14:15
1 ответ

Ошибка: неверно: файл слишком мал, чтобы быть правильно сформированным файлом - ошибка при использовании перо в R

Я пытаюсь использовать перо (v. 0.0.1) в R, чтобы прочитать довольно большой (3,5 ГБ) CSV- файл с 21178665 строками и 16 столбцами. Я использую следующие строки для загрузки файла: library(feather) path <- "pp-complete.csv" df <- read_feather(…
25 май '16 в 15:11
0 ответов

Медленное чтение по сетевому диску

У меня есть data.frame среднего размера, и я протестировал хранение и извлечение его на сетевой диск, используя оба rds (без сжатия) и feather формат. Но результат показывает, что пока write_feather намного быстрее чем saveRDS, read_feather намного …
19 апр '17 в 06:56
0 ответов

Столбец Tibble with Date не идентичен самому себе после написания и чтения пером

Давайте рассмотрим тибл x <- tibble::tibble(start_date = lubridate::ymd(NA, NA, "2016-01-01", "2018-04-01", NA)) Очевидно, он идентичен самому себе testthat::expect_identical(x, x) Но если я записываю файл на диск и затем читаю его, я получаю оши…
21 авг '17 в 15:23
0 ответов

Конвертируйте Pandas DataFrame в перо в памяти

Используя инструменты IO в пандах, можно преобразовать DataFrame в перовой буфер в памяти: import pandas as pd from io import BytesIO df = pd.DataFrame({'a': [1,2], 'b': [3.0,4.0]}) buf = BytesIO() df.to_feather(buf) Тем не менее, используя тот же б…
08 июн '18 в 13:31
1 ответ

Как читать бинарные сжатые файлы SAS порциями, используя panda.read_sas, и сохранять как перо

Я пытаюсь использовать pandas.read_sas() читать двоичные сжатые файлы SAS по частям и сохранять каждый кусок как отдельный файл пера. Это мой код import feather as fr import pandas as pd pdi = pd.read_sas("C:/data/test.sas7bdat", chunksize = 100000,…
12 окт '17 в 23:49
1 ответ

R: Ошибка компиляции "ISO C++ запрещает инициализацию в классе неконстантного статического члена" при установке пакета пера

Я использую R версии 3.1.2 и хочу установить пакет "перо" в RStudio: install.packages("feather", type="source") Использование исходной версии, потому что, кажется, нет двоичной версии.Он извлекает файл и правильно проверяет суммы MD5, но выдает ошиб…
25 янв '19 в 10:23
4 ответа

ArrowNotImplementedError: ошибка halffloat при применении pandas.to_feather к кадру данных

У меня есть датафрейм со столбцами разных типов данных, включая даты. Нет, после внесения некоторых изменений, я хочу сохранить файл пера, чтобы получить к нему доступ позже. Но я получаю ошибку на следующем шаге historical_transactions.to_feather('…
11 янв '19 в 16:52
1 ответ

ImportError с пером / пиарроу

Я получаю сообщение об ошибке при запуске import feather: ---> 28 from pyarrow.lib import cpu_count, set_cpu_count 29 from pyarrow.lib import (null, bool_, 30 int8, int16, int32, int64, ImportError: cannot import name 'cpu_count' Кто-нибудь знает…
03 июл '17 в 17:37
2 ответа

CSV перо в пандах с нарезкой строк

Я обрабатываю огромный набор данных (50 миллионов строк) в CSV. Я пытаюсь нарезать его и сохранить как формат пера, чтобы сэкономить память при последующей загрузке формата пера. В качестве обходного пути я загрузил данные порциями в виде файла CSV,…
06 сен '18 в 19:03
1 ответ

Можно ли импортировать подмножество больших файлов.rds или.feather в R?

Я нашел хорошие советы о быстрых способах импорта файлов в R, но мне интересно, возможно ли импортировать в переменную только подмножество данного файла. В моем случае у меня есть файл с 16 миллионами строк, сохраненный как.rds (а также как.feather,…
23 окт '18 в 18:51
2 ответа

Можете ли вы добавить в формат.feather?

Есть ли способ добавить файл формата.feather с помощью pd.to_feather? Мне также любопытно, если кто-нибудь знает некоторые ограничения с точки зрения максимального размера файла, и можно ли запрашивать некоторые конкретные данные, когда вы читаете ф…
17 июн '17 в 18:33
1 ответ

Ошибка при запуске 'перьев генерирует аутентификацию` для `RethinkDB`

У меня проблемы при запуске feathers generate authentication с выбором rethinkdb в качестве базы данных. Среда: Mac OS X Sierra перья 2.2.3 нпм 5.1.0 переосмыслить 2.3.5 Действия по воспроизведению: У меня есть и работает https://github.com/tenzan/f…
11 июл '17 в 01:59
1 ответ

Получать неправильные даты из пера файла с помощью панд

Файл пера, сгенерированный R, имеет столбец start_time, который содержит дату и время. Дата с 2016 года. Я читаю тот же файл в пандах, используя приведенный ниже код df = feather.read_dataframe(file) Когда я отображаю df, он показывает дату 1970 год…
09 май '17 в 10:50
1 ответ

Установка перо-формата понижает несколько пакетов

Я запустил метод df.to_feather в pandas 0.20.3 и получил сообщение об ошибке, предлагающее мне выполнить: Конда установить перо-формат -c Конда-Forge Запуск, который предупреждает, что он изменит многие пакеты Python, а некоторые выглядят как (мален…
16 ноя '17 в 23:23
1 ответ

Ошибка компиляции R-пакета (g++) во FreeBSD

Я пытаюсь установить feather пакет на машине с FreeBSD, и он падает из-за следующей ошибки: error: 'snprintf' was not declared in this scope, g++ используется для компиляции. Любой намек на то, как справиться с этой проблемой, будет высоко ценится. …
16 сен '17 в 01:43
0 ответов

Ошибка типа: невозможно преобразовать pyarrow.lib.ChunkedArray в pyarrow.lib.Array

Я конвертирую csv подать в feather введите код, как показано ниже, import pandas as pd import feather df = pd.read_csv('myfile.csv') feather.write_dataframe(df, 'myfile.feather') myfile.csv кончено 2G и когда я запускаю код, я получаю сообщение об о…
24 дек '17 в 18:39
0 ответов

Перо Bluefruit BLE соединяется с другим Перо Bluefruit BLE

Я хотел бы передать данные датчика между двумя Adafruit Feather MO с модулем BLE nRF51822. Любые подсказки, как подключиться и общаться между устройствами?
12 мар '18 в 17:14
0 ответов

Параметры / параметры связи Feather M0 и Waspmote LoRa

Я пытаюсь соединить эти два устройства с помощью LoRa P2P. Я могу прошить оба устройства и контролировать их через последовательные мониторы. В перьевом устройстве я использую этот пример https://learn.adafruit.com/adafruit-feather-32u4-radio-with-l…
22 ноя '17 в 04:55
2 ответа

pandas.read_feather получил неожиданный аргумент

Я попытался сохранить датафрейм в формате перо, но при загрузке получил ошибку os.makedirs('tmp', exist_ok=True) df_hist.to_feather('tmp/historical-raw') Вот загрузка обратно в набор данных df_hist= pd.read_feather('tmp/historical-raw') что дает сле…
01 янв '19 в 13:41