AssertionError: несколько каталогов.dist-info на Data Science Experience

Question

В ноутбуке Python 3.5, поддерживаемом службой Apache Spark, я установил BigDL 0.2, используя pip, При удалении этой установки и попытке установить версию 0.3 BigDL я получаю эту ошибку: (добавлены разрывы строк для удобства чтения)

AssertionError: Multiple .dist-info directories:
/gpfs/fs01/user/scbc-4dbab79416a6ec-4cf890276e2b/.local/lib/python3.5/site-packages/BigDL-0.3.0.dist-info,
/gpfs/fs01/user/scbc-4dbab79416a6ec-4cf890276e2b/.local/lib/python3.5/site-packages/BigDL-0.2.0.dist-info

Однако ни один из этих каталогов не существует:

!ls -al /gpfs/fs01/user/scbc-4dbab79416a6ec-4cf890276e2b/.local/lib/python3.5/site-packages/
total 0
drwx------ 2 scbc-4dbab79416a6ec-4cf890276e2b users 4096 Nov  8 06:12 .
drwx------ 3 scbc-4dbab79416a6ec-4cf890276e2b users 4096 Nov  8 06:12 ..

В чем дело? Как я могу установить новую версию пакета после удаления старой?

Answer 1

Путь к каталогу в сообщении об ошибке неверен. Ядро Python 3.5 в DSX определяет каталог сборки для pip установив переменную окружения PIP_BUILD. Есть несколько каталогов dist-info:

!printenv PIP_BUILD ; ls -l $PIP_BUILD/*
/tmp/scbc-4dbab79416a6ec-4cf890276e2b/pip-build
total 0
drwx------ 8 scbc-4dbab79416a6ec-4cf890276e2b users 117 Nov  7 02:02 bigdl
drwx------ 2 scbc-4dbab79416a6ec-4cf890276e2b users 135 Nov  7 02:02 BigDL-0.2.0.dist-info
drwx------ 2 scbc-4dbab79416a6ec-4cf890276e2b users 135 Nov  8 06:12 BigDL-0.3.0.dist-info

Чтобы устранить проблему, удалите каталог сборки:

!rm -rf $PIP_BUILD

После этого, pip Можно установить пакет без проблем:

!pip install --no-dependencies bigdl==0.3
Collecting bigdl==0.3
  Using cached BigDL-0.3.0-py2.py3-none-manylinux1_x86_64.whl
Installing collected packages: bigdl
Successfully installed bigdl