Адаптируйте AR видео к фону

Question

У меня есть видео, которое начинает воспроизводиться, когда его первый кадр обнаружен на сцене AR. Кажется, что картина оживает. Видео и картинка нарисованы в одинаковых цветах. Как динамически адаптировать видео к сцене с разным освещением?

Что у меня сейчас - цвет видео сильно отличается от цвета фона
Чего я хочу добиться. Пример 1
Чего я хочу добиться. Пример 2 в другом освещении
,
Я использую SceneKit
Я добавил SKVideoNode на SKScene
Я написал свой код в методе

func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor)

Answer 1

В ARKit 2 вы можете использовать ARWorldTrackingConfiguration"s environmentTexturing свойство, чтобы добавить реалистичное освещение к вашей сцене. Вы можете установить его на .automatic если вам не нужно, чтобы это было супер конкретным или .manual если вы хотите полный контроль над текстурами окружающей среды

https://developer.apple.com/documentation/arkit/adding_realistic_reflections_to_an_ar_experience Эта страница объясняет текстурирование среды немного лучше

Для ARImageTrackingConfiguration Вы можете добавить свет к видео сцене и обновить ее освещение, используя свойства из ARLightingEstimate, Получить ARLightingEstimate либо из curentFrame собственностью ARSession или установив ваш контроллер представления делегату и используя session didUpdate frame метод