Как работают глубокие гауссовские процессы? (Разумная реализация)
Я понимаю, что основными строительными блоками глубокого GP являются (вариационные) разреженные GP и GPLVM. Попробовав (попытаться) прочитать соответствующие статьи (см. Ссылки) и получить некоторое представление об этом *, я все еще не уверен, насколько я понимаю его реализацию (в коде), что на самом деле происходит.
* Это означает, что это, по сути, стек (разреженных) слоев GP ?.
Что меня особенно смущает, так это перенос одного слоя на другой и процесс выбора модели. То есть, скажем, у меня 3 слоя. Моя проблема заключается в контролируемой регрессии, поэтому мои выходные данные Y являются одномерными (т.е. 1 столбец выходных данных). Мои вопросы:
- Как инициализируются слои? Поскольку один слой является разреженным GP, то все ли слои имеют одинаковые побуждающие точки?
- Что означает «Ввод GP - это другой (предыдущий) GP» (реализация в коде)?
- Выбор модели происходит последовательно?
т.е. оптимизировать уровень 1 -> выполнить прогнозы (X) из уровня 1 -> подать (X, y_pred_layer1) в уровень 2 -> оптимизировать уровень 2 -> и т. д. 4. Если выбор модели происходит последовательно, тогда не будет просто сделать это ( очень) дорогой процесс ?.
Основные ссылки:
- http://proceedings.mlr.press/v31/damianou13a.pdf (Основной документ DGP)
- https://www.researchgate.net/publication/220320048_Variational_Learning_of_Inducing_Variables_in_Sparse_Gaussian_Processes (Как работают / учатся редкие терапевты)
- https://arxiv.org/abs/1705.08933 (Двойной стохастический вариационный вывод для глубоких гауссовских процессов, новый способ обучения между слоями?)
- http://etheses.whiterose.ac.uk/9968/1/Damianou_Thesis.pdf (О.Г., диссертация Дамиану)
Ссылки на код: Я старался держаться подальше от реализаций tensorflow / pytorch, так как хотел увидеть, что происходит под капотом, поэтому основной ссылкой была реализация GPy. https://github.com/SheffieldML/PyDeepGP Тем не менее, отладка PyDeepGP все еще сложна, lmao.
* Примечание: я работал с моделями Кригинга, т.е. со стандартным георадаром (исходя из инженерного фона)