Рендеринг независимых костей

Question

Я пытаюсь визуализировать модель руки в трехмерном пространстве на основе позиций, заданных XrHandJointLocationEXTмассив из расширения XR_EXT_hand_tracking . Я использую обе модели рук GTLF от Valve, которые имеют правильное количество костей, чтобы соответствовать суставам, определенным спецификацией перечислении OpenXR вXrHandJointEXT .

Я делаю свой рендеринг следующим образом:

Каждый кадр я обновляю каждое соединение независимо, умножая его текущее преобразование на матрицу обратного связывания, полученную из модели GLTF. В XrPosefотносительно центра трехмерного пространства. Я использую cglm для обработки всех вычислений матрицы.

      for (size_t i = 0; i < XR_HAND_JOINT_COUNT_EXT; ++i) {
    const XrHandJointLocationEXT *joint = &locations->jointLocations[i];
    const XrPosef *pose = &joint->pose;

    glm_mat4_identity(model->bones[i]);

    vec3 position;
    wxrc_xr_vector3f_to_cglm(&pose->position, position);
    glm_translate(model->bones[i], position);

    versor orientation;
    wxrc_xr_quaternion_to_cglm(&pose->orientation, orientation);
    glm_quat_rotate(model->bones[i], orientation, model->bones[i]);

    glm_mat4_mul(model->bones[i], model->inv_bind[i], model->bones[i]);
}

Тогда bones массив загружается в вершинный шейдер вместе с view-proj матрица, вычисляемая для каждого eye HMD.

      #version 320 es"

uniform mat4 vp;
uniform mat4 bones[26];

layout (location = 0) in vec3 pos;
layout (location = 1) in vec2 tex_coord;
layout (location = 2) in uvec4 joint;
layout (location = 3) in vec4 weight;

out vec2 vert_tex_coord;

void main() {
    mat4 skin =
        bones[joint.x] * weight.x +
        bones[joint.y] * weight.y +
        bones[joint.z] * weight.z +
        bones[joint.w] * weight.w;
    gl_Position = vp * skin * vec4(pos, 1.0);
    vert_tex_coord = tex_coord;
}

Правильный ли метод расчета? Я получаю приличные, но «глючные» результаты. Как вы можете видеть на следующем снимке экрана, я визуализировал оба независимых сустава поверх модели руки, и вы можете увидеть сбой на большом пальце.

Должен ли я учитывать родительскую кость при вычислении преобразования кости?

Answer 1

Наконец-то нашел ответ на свою проблему: порядок соединения из модели GTLF не соответствует порядку XrHandJointEXT, что приводит к правильному преобразованию, применяемому к неправильному соединению.

В моем случае моя модель определила Wristузел как первый и Palmкак последний, где OpenXR определяет XR_HAND_JOINT_PALM_EXTкак первый сустав, и XR_HAND_JOINT_WRIST_EXTкак второй.

Вот код функции обновления

      bool
wxrc_hand_model_update(struct wxrc_hand_model *model,
                const XrHandJointLocationEXT *locations)
{
        /*
         * OpenXR defines joint 0 as XR_HAND_JOINT_PALM_EXT, but the valve hand
         * model defines Palm as the last joint
         * TODO: handle this dynamically for other models
         */
        static const size_t convert[26] = {
                1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 0
        };

        for (size_t i = 0; i < XR_HAND_JOINT_COUNT_EXT; ++i) {
                const XrHandJointLocationEXT *joint = &locations[convert[i]];
                const XrPosef *pose = &joint->pose;

                mat4 transform = GLM_MAT4_IDENTITY_INIT;

                vec3 position;
                wxrc_xr_vector3f_to_cglm(&pose->position, position);
                glm_translate(transform, position);

                versor orientation;
                wxrc_xr_quaternion_to_cglm(&pose->orientation, orientation);
                glm_quat_rotate(transform, orientation, transform);

                glm_mat4_mul(transform, model->inv_bind[i], model->bones[i]);
        }
        return true;
}