3d Math: экранное пространство в мировое пространство

Question

В течение последних 6 часов я пытался реализовать клики в своем приложении webgl, и я не могу найти ничего достаточно ясного по этому вопросу.

Что я придумал, так это псевдокод:

screenSpace = mousePosition;
normalizedScreenSpace = (screenSpace.x/screen.width, screenSpace.y/screen.height);

camSpace = invertProjectionMatrix * normalizedScreenSpace;

worldSpace = invertViewMatrix * camSpace;

Распечатка координат worldSpace, и она не соответствует другим объектам в сцене. Что я делаю неправильно?

Answer 1

Матрица viewProjection переносит вектор vec3 из мирового пространства в пространство отсечения, и, таким образом, его обратное делает обратное, пространство отсечения переходит в пространство мира. Чего не хватает, так это разрыва перспективы, который GPU обрабатывает для вас за капотом, так что вы должны учитывать это. Добавьте ширину и высоту экрана, и вы получите свой экран в мире:

screenToWorld: function(invViewProjection, screenWidth, screenHeight){
    // expects this[2] (z value) to be -1 if want position at zNear and +1 at zFar

    var x = 2*this[0]/screenWidth - 1.0;
    var y = 1.0 - (2*this[1]/screenHeight); // note: Y axis oriented top -> down in screen space
    var z = this[2];
    this.setXYZ(x,y,z);
    this.applyMat4(invViewProjection);
    var m = invViewProjection;
    var w = m[3] * x + m[7] * y + m[11] * z + m[15]; // required for perspective divide
    if (w !== 0){
        var invW = 1.0/w;
        this[0] *= invW;
        this[1] *= invW;
        this[2] *= invW;
    }

    return this;
},

И обратный расчет:

worldToScreen: function(viewProjectionMatrix, screenWidth, screenHeight){
    var m = viewProjectionMatrix;
    var w = m[3] * this[0] + m[7] * this[1] + m[11] * this[2] + m[15]; // required for perspective divide
    this.applyMat4(viewProjectionMatrix);
    if (w!==0){ // do perspective divide and NDC -> screen conversion
        var invW = 1.0/w;
        this[0] = (this[0]*invW + 1) / 2 * screenWidth;
        this[1] = (1-this[1]*invW) / 2 * screenHeight; // screen space Y goes from top to bottom
        this[2] *= invW;
    } 
    return this;
},