OpenGL ES2 скелетная анимация

Question

"Я пытаюсь изучить скелетную анимацию, поэтому у меня много недоразумений". У меня есть очень простой файл формата JSON, экспортированный из Blender, который имеет один куб и одну кость, повернутые только для 4 кадров, поэтому я загружаю VBO, у которого есть 4 атрибута, положение vec4, нормальный vec4, вес vec2 и индекс кости vec2, который отображается правильно, у кости есть pos, rotq и scale, поэтому я использовал следующую функцию для создания матрицы преобразования кости

public static float[] createMat4(float[] t, float[] r, float[] s) {
    float[] mat4 = new float[16];
    float[] T = new float[16];
    float[] R = new float[16];
    float[] S = new float[16];
    setIdentityM(T, 0);
    setIdentityM(R, 0);
    setIdentityM(S, 0);
    translateM(T, 0, t[0], t[1], t[2]);
    rotateM(R, 0, r[3], r[0], r[1], r[2]);
    scaleM(S, 0, s[0], s[1], s[2]);
    float[] temp = new float[16];
    multiplyMM(temp, 0, T, 0, R, 0);
    multiplyMM(mat4, 0, temp, 0, S, 0);
    return mat4;
}

поэтому я вычисляю конечную матрицу кости с умножением связывания на его обратное "как я понимаю", для каждого кадра я умножаю эту матрицу на матрицу ключевых кадров, которую я также генерирую предыдущим методом из pos, rotq и scl, наконец, загружаю эти матрицы для GPU по mat4[] равномерно, это вершинный шейдер

uniform mat4 modelview;
uniform mat4 projection;
uniform mat4 bones[BONES];  
uniform int animated;

attribute vec4 vertexPosition;
attribute vec4 vertexNormal;
attribute vec2 textureCoords;
attribute vec2 skinweight;
attribute vec2 skinindex;

varying vec2 vTextureCoords;
varying vec4 viewDir;
varying vec4 modelviewNormal;
varying mat4 mv;

void main() {
    mv=modelview;
    vec4 newVertex;
    vec4 newNormal;
    if(animated==1){
       int index;
       index=int(skinindex.x);
       newVertex += (bones[index] * vertexPosition  * skinweight.x) ;
       newNormal += (bones[index] * vertexPosition * skinweight.x) ;

       index=int(skinindex.y);
       newVertex += (bones[index] * vertexPosition * skinweight.y);
       newNormal += (bones[index]  * vertexNormal* skinweight.y);
   }
   else{
       newVertex=vertexPosition;
       newNormal=vertexNormal;
   }
   vec4 modelviewVertex=(modelview * newNormal);
   modelviewNormal = normalize(modelviewVertex);
   viewDir = normalize(-modelview*newVertex);  
   vTextureCoords = textureCoords;
   gl_Position = (projection * modelview )* vec4(newVertex.xyz, 1.0);
}

при рендеринге результат неожиданный, некоторые грани исчезают и движется случайная вершина.

Answer 1

Проблема была в вращении кватерниона, я использовал эту функцию для преобразования кватерниона в матрицу вращения

private static float[] quaternionToMatrix(float[] q) {
    float[] m = new float[16];
    final float xx = q[0] * q[0];
    final float xy = q[0] * q[1];
    final float xz = q[0] * q[2];
    final float xw = q[0] * q[3];
    final float yy = q[1] * q[1];
    final float yz = q[1] * q[2];
    final float yw = q[1] * q[3];
    final float zz = q[2] * q[2];
    final float zw = q[2] * q[3];
    m[0] = 1 - 2 * (yy + zz);
    m[1] = 2 * (xy - zw);
    m[2] = 2 * (xz + yw);
    m[3] = 0;
    m[4] = 2 * (xy + zw);
    m[5] = 1 - 2 * (xx + zz);
    m[6] = 2 * (yz - xw);
    m[7] = 0;
    m[8] = 2 * (xz - yw);
    m[9] = 2 * (yz + xw);
    m[10] = 1 - 2 * (xx + yy);
    m[11] = 0;
    m[12] = 0;
    m[13] = 0;
    m[14] = 0;
    m[15] = 1;
    return m;
}

наконец я получаю работу скелетной анимации.

Answer 2

newVertex += (bones[index] * vertexPosition  * skinweight.x) ;
newNormal += (bones[index] * vertexPosition * skinweight.x) ;

я вижу += оператор предположения на двух неинициализированных значениях.