Доступ к байту данных изображения в ARCore

Question

Я создал сеанс ARCore и прикрепил идентификатор текстуры OpenGL через метод Session#setCameraTextureName для отображения данных моей камеры. Я хотел бы иметь доступ к байтам данных изображения камеры, отображаемым на текстуре.

ARKit и Tango предоставляют доступ к байтам изображения для каждого кадра, но, кажется, нет ничего, что могло бы легко обеспечить это в API ARCore.

Есть ли другой способ получить доступ к байту изображения при использовании ARCore?

Answer 1

Начиная с ARCore v1.1.0, есть API для доступа к байтам изображения для текущего кадра:

https://developers.google.com/ar/reference/java/com/google/ar/core/Frame.html

Answer 2

Возможно, это могло бы помочь вам. Я хотел получить изображение с камеры в виде растрового изображения. Я тестировал на Samsung S8.

    int w=1080;
    int h = 2220;
    int b[]=new int[w*(0+h)];
    int bt[]=new int[w*h];
    IntBuffer ib = IntBuffer.wrap(b);
    ib.position(0);
    GLES20.glReadPixels(0, 0, w, h, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, ib);

    for(int i=0, k=0; i<h; i++, k++)
    {//remember, that OpenGL bitmap is incompatible with Android bitmap
        //and so, some correction need.
        for(int j=0; j<w; j++)
        {
            int pix=b[i*w+j];
            int pb=(pix>>16)&0xff;
            int pr=(pix<<16)&0x00ff0000;
            int pix1=(pix&0xff00ff00) | pr | pb;
            bt[(h-k-1)*w+j]=pix1;
        }
    }

    sb=Bitmap.createBitmap(bt, w, h, Bitmap.Config.ARGB_8888);

Answer 3

В настоящее время лучшим вариантом для доступа к данным изображения, вероятно, является отрисовка текстуры в буфер рендеринга и использование glReadPixels в постоянном отображаемом пиксельном буфере распаковки. Используйте заборную синхронизацию, чтобы определить, когда glReadPixels завершен.

Другим вариантом является использование вычислительного шейдера и запись непосредственно в постоянное отображение SSBO. (Не обращайте внимания на постоянное сопоставленное предложение. Я думал, EXT_buffer_storage была более широкая поддержка)

В последнем случае возможно меньше копий (пиксели рендеринга в буфере могут по-прежнему попадать в DRAM, даже если вы аннулируете его после glReadPixels), но это также менее распространенный путь кода и влечет за собой изменения рендеринга / вычисления, поэтому у меня нет интуиции о том, какой подход будет быть более эффективным.