Ключевые точки ARKit в координатах изображения (2D)

Question

Описание проблемы":

Я хочу использовать ключевые точки (также называемые связующими точками) между двумя последовательными изображениями со смартфона Apple, использующего ARKit, но я не могу их найти.

Я могу найти 3D-значения в мировой системе отсчета из ARPointCloud или rawFeaturePoints, но я не могу найти 2D-значения (т.е. в системе отсчета изображений) для каждого изображения пары, где они были фактически обнаружены (возможно, с использованием какого-либо модифицированного детектора SIFT или любого другого алгоритма)... на самом деле я хотел бы знать, какой алгоритм используется также).

Вопрос:

Знаете ли вы, в каком объекте они хранятся или как я могу их получить?
Я хотел бы перепроектировать их на изображения, снятые камерой в другом программном обеспечении ( python, https://scikit-image.org/ или даже opencv), чтобы выполнить некоторую обработку.

Answer 1

Какой бы алгоритм ARKit ни использовал для генерации характерных точек, он является внутренним и закрытым для ARKit. Таким образом, любые промежуточные результаты в равной степени скрыты от общедоступного API, и как алгоритм, так и результаты могут изменяться между выпусками iOS или на разных устройствах.