Декомпрессия "SNAPPY" не доступна с fastparquet

Question

Я пытаюсь использовать fastparquet, чтобы открыть файл, но я получаю сообщение об ошибке:

RuntimeError: Decompression 'SNAPPY' not available.  Options: ['GZIP', 'UNCOMPRESSED']

Я установил следующее и перезагрузил мой переводчик:

python                    3.6.5                hc3d631a_2  
python-snappy             0.5.2                    py36_0    conda-forge
snappy                    1.1.7                hbae5bb6_3  
fastparquet               0.1.5                    py36_0    conda-forge

Все загружается гладко. Я не знал, нужен ли мне snappy или python-snappy, поэтому я получил одно без исправления, а другое получил, но безуспешно. Все связанные с этим проблемы, которые я обнаружил, исправлены при загрузке snappy, но я все еще получаю эту ошибку с двумя snappys! Любая помощь будет оценена.

Answer 1

Бежать:

pip install python-snappy
pip install pyarrow 

Это должно сделать свое дело.

Я думаю, что вам не хватает pyarrow пакет.

Если у вас есть ошибка с pipиспользовать conda вместо этого (т.е. conda install python-snappy).

Answer 2

Вам необходимо установить python-snappyкак говорится в ответе Catbuilts. Однако на вашем компьютере должна быть установлена только оболочка для реализации snappy в c, эта проблема была рассмотрена в этом ответе об установке snappy-c.

Предполагая, что у вас есть система на основе DEB, такая как ubuntu, вы можете получить ее с помощью:

sudo apt-get install libsnappy-dev
python3 -m pip install --user python-snappy

Чтобы проверить это, вы можете попробовать следующий скрипт:

import pandas as pd
import snappy  # Not required but snappy (python-snappy) module should be reachable
from fastparquet import write, ParquetFile
df = pd.DataFrame({"col1": [1,2,3,4], "col2": ["a","b","c","d"]})
# df.head() # Test your initial value
write("/tmp/deleteme", df, compression="SNAPPY")
df_parquet = ParquetFile("/tmp/deleteme").to_pandas()
df_parquet.head()

Answer 3

Следующие установки очень полезны

      pip install fastparquet

pip install python-snappy

pip install pyarrow