База курсора CoreLocation на задней камере (дополненная реальность)

Question

Я хотел бы создать представление дополненной реальности, которое будет указывать объект в направлении. Тем не менее, заголовок CoreLocation не работает должным образом, когда вы обращаете камеру вверх (например, на вершину 20-этажного здания, когда вы находитесь на первом этаже).

Это дает противоположное направление (вероятно, направление, которое указывает на верхнюю часть телефона).

Я попробовал несколько методов, чтобы заставить его работать в направлении, указанном камерой, например:

1, +180 градусов, когда ориентация устройства> 45 градусов (не достаточно точно, внезапно направление отклоняется на 10~20 градусов)

2, попытался рассчитать с помощью CMMotionManager с формулой из учебника ниже. http://www.loveelectronics.co.uk/Tutorials/13/tilt-compensated-compass-arduino-tutorial.

3, попытался смоделировать логику с Android, используя ios deviceMotion.magnField и deviceMotion.gravity.

4, использовать матрицу вращения (какой-то другой пост в переполнении стека, но не точный)

    double heading = M_PI + atan2(self.altitudeData.rotationMatrix.m22, self.altitudeData.rotationMatrix.m12);
    heading = heading*180/M_PI;

У меня заканчиваются идеи, что еще я могу попытаться сделать правильно. Я знаю, что есть некоторые приложения (некоторые, которые могут видеть солнце и звезду), которые делают это правильно.

Answer 1

После долгих исследований и испытаний. Я закончил тем, что использовал GLKit для расчета, поскольку это также спасло меня от многих проблем. Просто оставьте это здесь для любого, кто случайно получит этот вопрос.

Сначала я запустил обновления движения устройства CMMotionManager с помощью CMAttitudeReferenceFrameXTrueNorthZVertical.

self.hasMotion = NO;
CMMotionManager *cmmotionManager = [[CMMotionManager alloc] init];
[cmmotionManager startDeviceMotionUpdatesUsingReferenceFrame:CMAttitudeReferenceFrameXTrueNorthZVertical
                                                     toQueue:[[NSOperationQueue alloc] init]
                                                 withHandler:^ (CMDeviceMotion *motion, NSError *error) {
                                                     self.hasMotion = YES;


                                                 }];
self.motionManager = cmmotionManager;

Из некоторых кодов, которые я нашел в Интернете, чтобы нарисовать мир openGL, используя вращение CoreMotion, и смешать его с получением точки с экрана в трехмерный мир:

float aspect = fabsf(self.view.bounds.size.width / self.view.bounds.size.height);
GLKMatrix4 projectionMatrix = GLKMatrix4MakePerspective(GLKMathDegreesToRadians(45.0f), aspect, 0.1f, 100.0f);

CMRotationMatrix r = self.motionManager.deviceMotion.attitude.rotationMatrix;
GLKMatrix4 camFromIMU = GLKMatrix4Make(r.m11, r.m12, r.m13, 0,
                                       r.m21, r.m22, r.m23, 0,
                                       r.m31, r.m32, r.m33, 0,
                                       0,     0,     0,     1);

GLKMatrix4 viewFromCam = GLKMatrix4Translate(GLKMatrix4Identity, 0, 0, 0);
GLKMatrix4 imuFromModel = GLKMatrix4Identity;
GLKMatrix4 viewModel = GLKMatrix4Multiply(imuFromModel, GLKMatrix4Multiply(camFromIMU, viewFromCam));
bool isInvertible;
GLKMatrix4 modelView = GLKMatrix4Invert(viewModel, &isInvertible);

int viewport[4];
viewport[0] = 0.0f;
viewport[1] = 0.0f;
viewport[2] = self.view.frame.size.width;
viewport[3] = self.view.frame.size.height;

bool success;
//assume center of the view
GLKVector3 vector3 = GLKVector3Make(self.view.frame.size.width/2, self.view.frame.size.height/2, 1.0);     
GLKVector3 calculatedPoint = GLKMathUnproject(vector3, modelView, projectionMatrix, viewport, &success);
if(success)
{
    //CMAttitudeReferenceFrameXTrueNorthZVertical always point x to true north
    //with that, -y become east in 3D world
    float angleInRadian = atan2f(-calculatedPoint.y, calculatedPoint.x);
    return angleInRadian;
}

Answer 2

Чтобы сэкономить чужое время, вот ответ Чи в Swift:

import GLKit    

func headingCorrectedForTilt() -> Float?{
        guard let motion = self.motionManager.deviceMotion else{
            return nil
        }

        let aspect = fabsf(Float(self.view.bounds.width / self.view.bounds.height))
        let projectionMatrix = GLKMatrix4MakePerspective(GLKMathDegreesToRadians(45.0), aspect, 0.1, 100)


        let r = motion.attitude.rotationMatrix
        let camFromIMU = GLKMatrix4Make(Float(r.m11), Float(r.m12), Float(r.m13), 0,
                           Float(r.m21), Float(r.m22), Float(r.m23), 0,
                           Float(r.m31), Float(r.m32), Float(r.m33), 0,
                           0,     0,     0,     1)

        let viewFromCam = GLKMatrix4Translate(GLKMatrix4Identity, 0, 0, 0);
        let imuFromModel = GLKMatrix4Identity
        let viewModel = GLKMatrix4Multiply(imuFromModel, GLKMatrix4Multiply(camFromIMU, viewFromCam))
        var isInvertible : Bool = false
        let modelView = GLKMatrix4Invert(viewModel, &isInvertible);
        var viewport = [Int32](count:4,repeatedValue: 0)

        viewport[0] = 0;
        viewport[1] = 0;
        viewport[2] = Int32(self.view.frame.size.width);
        viewport[3] = Int32(self.view.frame.size.height);

        var success: Bool = false
        let vector3 = GLKVector3Make(Float(self.view.frame.size.width)/2, Float(self.view.frame.size.height)/2, 1.0)
        let calculatedPoint = GLKMathUnproject(vector3, modelView, projectionMatrix, &viewport, &success)

        return success ? atan2f(-calculatedPoint.y, calculatedPoint.x) : nil
    }