Cassandra/Spark Read Performance
У нас есть рабочий процесс, в котором мы читаем данные из Cassandra и отправляем их в Oracle с помощью Spark(JDBC). У меня есть проблема, когда все данные за определенный день собирались в один раздел Cassandra. Раньше я считывал данные из одного раздела, а затем делал перераспределение для достижения параллелизма. Поэтому, читая все данные из таблицы с помощью Spark, мы использовали, чтобы производительность записи в Oracle составляла 4 миллиона в час.
Чтобы решить эту проблему, я разделил данные на более мелкие разделы, используя счетчики Cassandra. Даже тогда с небольшими разделами и без перераспределения мы все еще получаем производительность около 3 миллионов в час.
Можете ли вы, ребята, помочь мне в этом.