GWmodel в R, данные gw.dist слишком велики
В пакете gwmodel в R для большинства функций требуется параметр dMat, который можно предварительно рассчитать с помощью функции gw.dist. У меня есть набор данных размером 3 Мб около 20 тыс. Строк, после обработки информационный кадр dMat приближается почти к 3 ГБ!
Это приводит к двум проблемам, на моей машине с Windows функция gwr.basic не может даже запуститься из-за ограничения памяти "не может выделить вектор размером 2,9 Гб"(решается с помощью memory.limit(64000))
Тем не менее, матричные сингулярные ошибки сообщаются все время, что очень сложно выяснить, что не так (нет значения n вообще), особенно если я выберу адаптивную полосу пропускания, у меня всегда будут такие ошибки.
Error in gw_reg(x, y, W.i, hatmatrix, i) : inv(): matrix seems singular
3.
stop(structure(list(message = "inv(): matrix seems singular", call = gw_reg(x, y, W.i, hatmatrix, i), cppstack = NULL), class = c("std::runtime_error", "C++Error", "error", "condition")))
2.
gw_reg(x, y, W.i, hatmatrix, i)
1.
gwr.basic(formula, df, kernel = "gaussian", bw = bw, adaptive = T, dMat = dist.m1)
моя формула выглядит так:
формула<-df $ unencumbered_price ~ df $ built_year_coded + df $ room_count + df $ condition_code + df $ maintenance_fee_sqm + df $ living_area_sqm + df $ lot_ownership + df $ sauna + df $ elevator + df $ terminal_walk мои данные выглядят так:
столбец данных:
built_year, unencumbered_price, lot_area_sqm, maintenance_fee_sqm, room_count, floor_count, этаж,living_area_sqm, состояние, сауна, балкон, лифт, lot_ownership, широта, долгота, терминал_walk, цена_sqm, price_sqm, condition_test, 68_0,00,00,00,00,00,00,00,03,000, указана,0.12500,0.37911,condition_good,True,True,False,True, долгота (ххх), широта (ххх),0.00000,3250.00000,3,0.60000,0.10169
Кстати, помогает ли масштабирование данных между (0:1) для всех столбцов с производительностью (скоростью вычисления), как понять показатель cv в зависимости от различной пропускной способности, чем больше, тем лучше?