Сколько столбцов может обрабатывать реализация Spark в PCA?

Question

Можно ли, например, вычислить основные компоненты из 1 000 000 столбцов?

Answer 1

Максимальное количество столбцов составляет 65 535.

Это ограничение применяется в RowMatrix, где мы видим этот комментарий:

This cannot be computed on matrices with more than 65535 columns

https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/linalg/distributed/RowMatrix.scala