OpenNI2 с OpenCV 3

Question

Я на OSX 10.11.5

Я пытался собрать OpenCV3 с поддержкой OpenNI. У меня есть скрипт Python, который должен работать с XBox 360 Kinect, но OpenCV не обнаруживает Kinect. У меня установлен libfreenect, и я могу запустить freenect-glview, который отображает глубину.

Я провел довольно обширные поиски в Google, но все руководства, похоже, для Windows или Linux. Может кто-нибудь мне помочь? Руководства для OpenNI 1 тоже будут работать.

Заранее спасибо!

Answer 1

Я успешно использую Kinect для Xbox 360 на macOS. Шаги следующие:

1) Установите OpenNI2

$ brew tap homebrew/science

$ brew install openni2

2) Установите libfreenect

Замечания:
libfreenect для Kinect Xbox 360
libfreenect2 для Kinect Xbox One

Из-за этой проблемы: Используя Microsoft Kinect с Opencv 3.0.0, мы должны построить его сами.

2.1) Скачать

$ curl -O -L https://github.com/OpenKinect/libfreenect/archive/v0.5.5.tar.gz
$ tar zxf v0.5.5.tar.gz
$ cd libfreenect-0.5.5/

2.2) Исправить проблему

# jump to line 173
$ vi OpenNI2-FreenectDriver/src/DepthStream.hpp

        case XN_STREAM_PROPERTY_ZERO_PLANE_DISTANCE:    // unsigned long long or unsigned int (for OpenNI2/OpenCV)
          if (*pDataSize != sizeof(unsigned long long) && *pDataSize != sizeof(unsigned int))
          {
            LogError("Unexpected size for XN_STREAM_PROPERTY_ZERO_PLANE_DISTANCE");
            return ONI_STATUS_ERROR;
          } else {
            if (*pDataSize != sizeof(unsigned long long)) {
              *(static_cast<unsigned long long*>(data)) = ZERO_PLANE_DISTANCE_VAL;
            } else {
              *(static_cast<unsigned int*>(data)) = (unsigned int) ZERO_PLANE_DISTANCE_VAL;
            }
          }
          return ONI_STATUS_OK;

2.3) Сборка

$ mkdir build
$ cd build
$ cmake .. -DBUILD_OPENNI2_DRIVER=ON
$ make

2.4) Установить

$ export OPENNI2_DIR=$(python -c 'import subprocess, glob; \
prefix = subprocess.check_output("brew --prefix", shell=True); \
print(glob.glob("%s/Cellar/openni2/*" % prefix[:-1])[0])')
$ cd lib/OpenNI2-FreenectDriver/
$ export FREENECT_DRIVER_LIB=libFreenectDriver.dylib
$ export FREENECT_DRIVER_LIB=$(python - <<'EOF'
import os
lib = os.environ['FREENECT_DRIVER_LIB']
while os.path.islink(lib):
    lib = os.readlink(lib)
print(lib)
EOF
)
$ ln -sf `pwd`/$FREENECT_DRIVER_LIB $OPENNI2_DIR/lib/ni2/OpenNI2/Drivers/libFreenectDriver.dylib
$ ln -sf `pwd`/$FREENECT_DRIVER_LIB $OPENNI2_DIR/share/openni2/tools/OpenNI2/Drivers/

2.5) Предварительный просмотр

$ cd `brew --prefix`/share/openni2/tools
$ ./NiViewer

3) Сборка OpenCV

3.1) Python

$ brew install python
$ python --version
Python 2.7.13

$ pip install numpy

3.2) Источник

$ git clone https://github.com/opencv/opencv.git
$ cd opencv/
$ git checkout 3.2.0

# if use extra modules
$ git clone https://github.com/opencv/opencv_contrib.git
$ cd opencv_contrib/
$ git checkout 3.2.0

3.3) Сборка

$ cd opencv/
$ mkdir build
$ cd build/

$ export PY_HOME=/usr/local/Cellar/python/2.7.13/Frameworks/Python.framework/Versions/2.7
$ export PY_NUMPY_DIR=$(python -c 'import os.path, numpy.core; print(os.path.dirname(numpy.core.__file__))')

$ export OPENNI2_INCLUDE=/usr/local/include/ni2
$ export OPENNI2_REDIST=/usr/local/lib/ni2

$ cmake -DCMAKE_BUILD_TYPE=RELEASE \
-DCMAKE_INSTALL_PREFIX=/usr/local \
\
-DBUILD_opencv_python2=ON \
-DPYTHON2_EXECUTABLE=$PY_HOME/bin/python \
-DPYTHON2_INCLUDE_DIR=$PY_HOME/Headers \
-DPYTHON2_LIBRARY=$PY_HOME/lib \
-DPYTHON2_PACKAGES_PATH=/usr/local/lib/python2.7/site-packages \
-DPYTHON2_NUMPY_INCLUDE_DIRS=$PY_NUMPY_DIR/include/ \
\
-DWITH_OPENNI2=ON \
\
-DBUILD_DOCS=OFF \
-DBUILD_EXAMPLES=OFF \
-DBUILD_TESTS=OFF \
-DBUILD_PERF_TESTS=OFF \
\
-DOPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules \
..

$ make -j$(python -c 'import multiprocessing as mp; print(mp.cpu_count())')
$ make install

4) Наконец

Я разместил детали к этой сути. Примеры здесь: C++, Python.

ПРИМЕЧАНИЕ. Невозможно получить правильное изображение, используя код Python. Пожалуйста, посмотрите эту проблему.