Установите библиотеку RAPIDS на блокнот Googe Colab

Question

Мне было интересно, смогу ли я установить библиотеку RAPIDS (выполняя задачи машинного обучения полностью на GPU) в записной книжке Google Colab Laboratory?

Я провел некоторые исследования, но я не смог найти способ сделать это...

Answer 1

Похоже, что различные части еще не устанавливаются в pip, поэтому единственный способ получить их на colab - это построить их на colab, что может потребовать больше усилий, чем вы заинтересованы в этом вкладывать:) https://github.com/rapidsai/cudf/issues/285 является проблемой, чтобы следить за Rapidsai / CUDF (предположительно, другие Rapidsai / LIBS последуют их примеру).

Answer 2

RAPIDS сейчас имеет pip-установку, но RAPIDS требует Pascal или более позднюю версию GPU, а Google Colab использует Kepler, который не поддерживается. Таким образом, вы не можете использовать RAPIDS в Google Colab

Answer 3

Обновление за декабрь 2019 г.

Новый процесс для RAPIDS v0.11+

Так как

• RAPIDS v0.11 имеет зависимости (pyarrow), которые не были охвачены предыдущим сценарием установки,
• репозиторий notebooks-contrib, содержащий демонстрационные записные книжки RAPIDS (например, colab_notebooks) и скрипт установки Colab, теперь следует стандартной структуре ветвей RAPIDS *
• и некоторым пользователям Colab по-прежнему нравится версия 0.10,

наш достопочтенный блокнот-contrib overlord taureandyernv обновил скрипт, который теперь:

Если вы используете версию v0.11 или выше, обновляет библиотеку pyarrow до версии 0.15.x.

Вот ячейка кода для запуска в Colab для v0.11:

# Install RAPIDS
!wget -nc https://raw.githubusercontent.com/rapidsai/notebooks-contrib/890b04ed8687da6e3a100c81f449ff6f7b559956/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

dist_package_index = sys.path.index("/usr/local/lib/python3.6/dist-packages")
sys.path = sys.path[:dist_package_index] + ["/usr/local/lib/python3.6/site-packages"] + sys.path[dist_package_index:]
sys.path
if os.path.exists('update_pyarrow.py'): ## This file only exists if you're using RAPIDS version 0.11 or higher
  exec(open("update_pyarrow.py").read(), globals())

Чтобы узнать, как настроить Colab и реализовать этот скрипт, см. Как установить RAPIDS в Google Colab.

-* например, branch-0.11 для v0.11 и branch-0.12 для v0.12 со значением по умолчанию для текущей версии

Answer 4

Последнее решение;

!wget -nc https://github.com/rapidsai/notebooks-extended/raw/master/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

sys.path.append('/usr/local/lib/python3.6/site-packages/')
os.environ['NUMBAPRO_NVVM'] = '/usr/local/cuda/nvvm/lib64/libnvvm.so'
os.environ['NUMBAPRO_LIBDEVICE'] = '/usr/local/cuda/nvvm/libdevice/'

был перенесен несколько дней назад, см. проблемы №104 или №110 или полный текстrapids-colab.sh скрипт для получения дополнительной информации.

Примечание: для инстилляции в настоящее время требуется экземпляр Tesla T4, проверить это можно с помощью;

# check gpu type
!nvidia-smi

import pynvml

pynvml.nvmlInit()
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
device_name = pynvml.nvmlDeviceGetName(handle)

# your dolphin is broken, please reset & try again
if device_name != b'Tesla T4':
  raise Exception("""Unfortunately this instance does not have a T4 GPU.

    Please make sure you've configured Colab to request a GPU instance type.

    Sometimes Colab allocates a Tesla K80 instead of a T4. Resetting the instance.

    If you get a K80 GPU, try Runtime -> Reset all runtimes...""")

# got a T4, good to go 
else:
  print('Woo! You got the right kind of GPU!')