Как я могу исправить ошибку MemoryError при выполнении оценки силуэта scikit-learns?

Question

Я запускаю алгоритм кластеризации и хочу оценить результат, используя силуэтную оценку в scikit-learn. Но в scikit-learn необходимо вычислить матрицу расстояний: расстояния = pairwise_distances(X, metric=metric, **kwds)

Из-за того, что у меня данные порядка 300К, а у меня память 2ГБ, а результат не хватает памяти. И я не могу оценить результат кластеризации.

Кто-нибудь знает, как преодолеть эту проблему?

Answer 1

Установить sample_size параметр в вызове silhouette_score до некоторого значения меньше, чем 300K. При использовании этого параметра будут выбираться точки данных из X и рассчитать silhouette_score на тех, а не весь массив.