TensorFlow на Nvidia TX1

Question

Кто-нибудь получил тензор потока, работающего на Nvidia Tegra X1?

Я нашел несколько источников, указывающих, что это возможно на TK1 или со значительными взломами / ошибками на TX1, но точного рецепта пока нет.

• http://cudamusing.blogspot.de/2015/11/building-tensorflow-for-jetson-tk1.html
• https://github.com/tensorflow/tensorflow/issues/851

Я использую установку Jetson 2.3, но пока не получил ее - любые советы наиболее ценны.

Answer 1

Получил TensorFlow R0.9, работающий на TX1 с установкой Bazel 0.2.1, CUDA 8.0, CUDNN5.1, L4T24.2 и свежим JetPack 2.3. Я протестировал его с базовыми сетями MLP, Conv и LSTM, используя BN, Sigmoid, ReLU и т. Д., Но без ошибок. Я удалил sparse_matmul_op, хотя в противном случае считаю, что компиляция должна быть полностью работоспособной. Многие из этих шагов взяты из отличного блога MaxCuda, так что огромное спасибо им за предоставленную информацию.

Запланируйте продолжить работу над R0.10/R0.11 (бинарный код gRPC прямо сейчас не позволяет использовать Bazel 0.3.0), но до этого момента я решил опубликовать формулу R0.9. Как показано ниже:

Сначала получите Java

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer

Установите некоторые другие deps

sudo apt-get install git zip unzip autoconf automake libtool curl zlib1g-dev maven swig

Нужно собрать протобуф 3.0.0-бета-2 jar самостоятельно

git clone https://github.com/google/protobuf.git
cd protobuf
# autogen.sh downloads broken gmock.zip in d5fb408d
git checkout master
./autogen.sh
git checkout d5fb408d
./configure --prefix=/usr
make -j 4
sudo make install
cd java
mvn package

Получить Базель. Мы хотим версию 0.2.1, она не требует бинарного gRPC в отличие от 0.3.0, который я пока не могу собрать (возможно, скоро!)

git clone https://github.com/bazelbuild/bazel.git
cd bazel
git checkout 0.2.1
cp /usr/bin/protoc third_party/protobuf/protoc-linux-arm32.exe
cp ../protobuf/java/target/protobuf-java-3.0.0-beta-2.jar third_party/protobuf/protobuf-java-3.0.0-beta-1.jar

Нужно отредактировать файл bazel, чтобы распознать aarch64 как ARM

--- a/src/main/java/com/google/devtools/build/lib/util/CPU.java
+++ b/src/main/java/com/google/devtools/build/lib/util/CPU.java
@@ -25,7 +25,7 @@ import java.util.Set;
 public enum CPU {
   X86_32("x86_32", ImmutableSet.of("i386", "i486", "i586", "i686", "i786", "x86")),
   X86_64("x86_64", ImmutableSet.of("amd64", "x86_64", "x64")),
-  ARM("arm", ImmutableSet.of("arm", "armv7l")),
+  ARM("arm", ImmutableSet.of("arm", "armv7l", "aarch64")),
   UNKNOWN("unknown", ImmutableSet.<String>of());

Сейчас компилируем

./compile.sh

И установить

sudo cp output/bazel /usr/local/bin

Получите тензор потока R0.9. Для R0.9 выше Bazel 0.3.0, который я пока не понял, как построить из-за проблем с gRPC.

git clone -b r0.9 https://github.com/tensorflow/tensorflow.git

Построить один раз. Это не удастся, но теперь у вас есть директория Bazel .cache, где вы можете разместить обновленные файлы config.guess & config.sub, которые будут определять, какую архитектуру вы используете.

./configure
bazel build -c opt --config=cuda //tensorflow/tools/pip_package:build_pip_package

cd ~
wget -O config.guess 'http://git.savannah.gnu.org/gitweb/?p=config.git;a=blob_plain;f=config.guess;hb=HEAD'
wget -O config.sub 'http://git.savannah.gnu.org/gitweb/?p=config.git;a=blob_plain;f=config.sub;hb=HEAD'

# below are commands I ran, yours will vary depending on .cache details. `find` is your friend
cp config.guess ./.cache/bazel/_bazel_socialh/742c01ff0765b098544431b60b1eed9f/external/farmhash_archive/farmhash-34c13ddfab0e35422f4c3979f360635a8c050260/config.guess
cp config.sub ./.cache/bazel/_bazel_socialh/742c01ff0765b098544431b60b1eed9f/external/farmhash_archive/farmhash-34c13ddfab0e35422f4c3979f360635a8c050260/config.sub

У sparse_matmul_op была пара ошибок, я выбрал трусливый маршрут и удалил из сборки

--- a/tensorflow/core/kernels/BUILD
+++ b/tensorflow/core/kernels/BUILD
@@ -985,7 +985,7 @@ tf_kernel_libraries(
         "reduction_ops",
         "segment_reduction_ops",
         "sequence_ops",
-        "sparse_matmul_op",
+        #DC "sparse_matmul_op",
     ],
     deps = [
         ":bounds_check",

--- a/tensorflow/python/BUILD
+++ b/tensorflow/python/BUILD
@@ -1110,7 +1110,7 @@ medium_kernel_test_list = glob([
     "kernel_tests/seq2seq_test.py",
     "kernel_tests/slice_op_test.py",
     "kernel_tests/sparse_ops_test.py",
-    "kernel_tests/sparse_matmul_op_test.py",
+    #DC "kernel_tests/sparse_matmul_op_test.py",
     "kernel_tests/sparse_tensor_dense_matmul_op_test.py",
 ])

TX1 не может создавать модные конструкторы в cwise_op_gpu_select.cu.cc

--- a/tensorflow/core/kernels/cwise_op_gpu_select.cu.cc
+++ b/tensorflow/core/kernels/cwise_op_gpu_select.cu.cc
@@ -43,8 +43,14 @@ struct BatchSelectFunctor<GPUDevice, T> {
     const int all_but_batch = then_flat_outer_dims.dimension(1);

 #if !defined(EIGEN_HAS_INDEX_LIST)
-    Eigen::array<int, 2> broadcast_dims{{ 1, all_but_batch }};
-    Eigen::Tensor<int, 2>::Dimensions reshape_dims{{ batch, 1 }};
+    //DC Eigen::array<int, 2> broadcast_dims{{ 1, all_but_batch }};
+    Eigen::array<int, 2> broadcast_dims;
+    broadcast_dims[0] = 1;
+    broadcast_dims[1] = all_but_batch;
+    //DC Eigen::Tensor<int, 2>::Dimensions reshape_dims{{ batch, 1 }};
+    Eigen::Tensor<int, 2>::Dimensions reshape_dims;
+    reshape_dims[0] = batch;
+    reshape_dims[1] = 1;
 #else
     Eigen::IndexList<Eigen::type2index<1>, int> broadcast_dims;
     broadcast_dims.set(1, all_but_batch);

То же самое в sparse_tensor_dense_matmul_op_gpu.cu.cc

--- a/tensorflow/core/kernels/sparse_tensor_dense_matmul_op_gpu.cu.cc
+++ b/tensorflow/core/kernels/sparse_tensor_dense_matmul_op_gpu.cu.cc
@@ -104,9 +104,17 @@ struct SparseTensorDenseMatMulFunctor<GPUDevice, T, ADJ_A, ADJ_B> {
     int n = (ADJ_B) ? b.dimension(0) : b.dimension(1);

 #if !defined(EIGEN_HAS_INDEX_LIST)
-    Eigen::Tensor<int, 2>::Dimensions matrix_1_by_nnz{{ 1, nnz }};
-    Eigen::array<int, 2> n_by_1{{ n, 1 }};
-    Eigen::array<int, 1> reduce_on_rows{{ 0 }};
+    //DC Eigen::Tensor<int, 2>::Dimensions matrix_1_by_nnz{{ 1, nnz }};
+    Eigen::Tensor<int, 2>::Dimensions matrix_1_by_nnz;
+    matrix_1_by_nnz[0] = 1;
+    matrix_1_by_nnz[1] = nnz;
+    //DC Eigen::array<int, 2> n_by_1{{ n, 1 }};
+    Eigen::array<int, 2> n_by_1;
+    n_by_1[0] = n;
+    n_by_1[1] = 1;
+    //DC Eigen::array<int, 1> reduce_on_rows{{ 0 }};
+    Eigen::array<int, 1> reduce_on_rows;
+    reduce_on_rows[0] = 0;
 #else
     Eigen::IndexList<Eigen::type2index<1>, int> matrix_1_by_nnz;
     matrix_1_by_nnz.set(1, nnz);

Для работы с CUDA 8.0 требуются новые макросы для FP16. Большое спасибо Кашифу /Mrry за указание на исправление!

--- a/tensorflow/stream_executor/cuda/cuda_blas.cc
+++ b/tensorflow/stream_executor/cuda/cuda_blas.cc
@@ -25,6 +25,12 @@ limitations under the License.
 #define EIGEN_HAS_CUDA_FP16
 #endif

+#if CUDA_VERSION >= 8000
+#define SE_CUDA_DATA_HALF CUDA_R_16F
+#else
+#define SE_CUDA_DATA_HALF CUBLAS_DATA_HALF
+#endif
+
 #include "tensorflow/stream_executor/cuda/cuda_blas.h"

 #include <dlfcn.h>
@@ -1680,10 +1686,10 @@ bool CUDABlas::DoBlasGemm(
   return DoBlasInternal(
       dynload::cublasSgemmEx, stream, true /* = pointer_mode_host */,
       CUDABlasTranspose(transa), CUDABlasTranspose(transb), m, n, k, &alpha,
-      CUDAMemory(a), CUBLAS_DATA_HALF, lda,
-      CUDAMemory(b), CUBLAS_DATA_HALF, ldb,
+      CUDAMemory(a), SE_CUDA_DATA_HALF, lda,
+      CUDAMemory(b), SE_CUDA_DATA_HALF, ldb,
       &beta,
-      CUDAMemoryMutable(c), CUBLAS_DATA_HALF, ldc);
+      CUDAMemoryMutable(c), SE_CUDA_DATA_HALF, ldc);
 #else
   LOG(ERROR) << "fp16 sgemm is not implemented in this cuBLAS version "
              << "(need at least CUDA 7.5)";

И, наконец, ARM не имеет узлов NUMA, так что это нужно добавить, иначе вы сразу же получите сбой при запуске tf.Session()

--- a/tensorflow/stream_executor/cuda/cuda_gpu_executor.cc
+++ b/tensorflow/stream_executor/cuda/cuda_gpu_executor.cc
@@ -888,6 +888,9 @@ CudaContext* CUDAExecutor::cuda_context() { return context_; }
 // For anything more complicated/prod-focused than this, you'll likely want to
 // turn to gsys' topology modeling.
 static int TryToReadNumaNode(const string &pci_bus_id, int device_ordinal) {
+  // DC - make this clever later. ARM has no NUMA node, just return 0
+  LOG(INFO) << "ARM has no NUMA node, hardcoding to return zero";
+  return 0;
 #if defined(__APPLE__)
   LOG(INFO) << "OS X does not support NUMA - returning NUMA node zero";
   return 0;

После этих изменений соберите и установите! Надеюсь, что это полезно для некоторых людей.

Answer 2

Следуйте ответу Дуайта, но также создайте файл подкачки размером не менее 6 ГБ

Следуя ответу Дуайта Кроу, но с файлом подкачки 8 ГБ и с помощью следующей команды, мы успешно скомпилировали TensorFlow 0.9 на Jetson TX1 из новой установки JetPack 2.3:

bazel build -c opt --local_resources 3072,4.0,1.0 --verbose_failures --config=cuda //tensorflow/tools/pip_package:build_pip_package

Я использовал настройки по умолчанию для TensorFlow's ./configure Сценарий кроме включения поддержки графического процессора.

Моя сборка заняла не менее 6 часов. Это будет быстрее, если вы используете SSD вместо USB-накопителя.

Создание файла подкачки

# Create a swapfile for Ubuntu at the current directory location
fallocate -l *G swapfile
# List out the file
ls -lh swapfile
# Change permissions so that only root can use it
chmod 600 swapfile
# List out the file
ls -lh swapfile
# Set up the Linux swap area
mkswap swapfile
# Now start using the swapfile
sudo swapon swapfile
# Show that it's now being used
swapon -s

Я использовал этот USB-накопитель для хранения файла подкачки.

Максимальное использование памяти, которое я видел в моей системе, составляло 7,7 ГБ (3,8 ГБ для Mem и 3,9 ГБ для Swap). Максимально используемая память подкачки была 4,4 ГБ. я использовал free -h для просмотра использования памяти.

Создание пакета pip и установка

Адаптировано из документов TensorFlow:

$ bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

# The name of the .whl file will depend on your platform.
$ pip install /tmp/tensorflow_pkg/tensorflow-0.9.0-py2-none-any.whl

Подтверждения

Спасибо Dwight Crow (руководство), elirex (значения опций bazel и free -h), tylerfox (идея файла подкачки и опция local_resources), всем, кто им помог, и всем в ветке Github.

Скрипт файла подкачки был адаптирован из сущности JetsonHack.

Ошибки, которые я получил, когда не использовал файл подкачки

Чтобы помочь поисковым системам найти этот ответ.

Error: unexpected EOF from Bazel server.

gcc: internal compiler error: Killed (program cc1plus)