Описание тега spark-cassandra-connector
Подключает Apache Spark и Cassandra для кластеризованных запросов
1
ответ
Запрос данных Cassandra с использованием Spark SQL в Java
Для запроса данных Cassandra с использованием Spark SQL в Java я натолкнулся на 2 документации из datastax с версиями 4.6 и 5.0 Документация для 5.0 рекомендует HiveContext, в то время как 4.6 docs рекомендует CassandraSQLContext. Какой из них я дол…
27 мар '17 в 08:40
1
ответ
Ошибка в интеграции Spark Cassandra с разъемом Spark-Cassandra
Я пытаюсь сохранить данные в Кассандре в автономном режиме от искры. Запустив следующую команду: bin/spark-submit --packages datastax:spark-cassandra-connector:1.6.0-s_2.10 --class "pl.japila.spark.SparkMeApp" --master local /home/hduser2/code14/tar…
06 сен '16 в 09:12
1
ответ
Разъем искры-Кассандра в локальной дает Spark кластер смотрит вниз
Я очень новичок в искре и кассандре. Я пробую простую Java-программу, в которой я пытаюсь добавить новые строки в таблицу cassandra, используя spark-cassandra-connector, предоставленный datastax. Я использую DSE на своем ноутбуке. Используя Java, я …
26 мар '16 в 15:38
2
ответа
Проблемы с производительностью Cassandra MaterializedViews
Мы создали кластер кассандры с 9 узлами. Каждый из них оснащен 4 ядрами и 16G RAM. Мы пишем 15-25 миллионов записей с 28 столбцами. Разработанная нами модель данных выглядит следующим образом (я просто переименовал столбцы и сократил фактическую схе…
08 дек '16 в 09:20
1
ответ
Невозможно импортировать org.apache.spark.sql.cassandra.CassandraSQLContext
У меня на пути есть spark-cassandra-connector_2.11-2.0.0-M3.jar, но я все еще не могу импортировать org.apache.spark.sql.cassandra.CassandraSQLContext. Это в каком-то другом пакете - вся документация указывает на этот пакет (или устарела). Спасибо
03 янв '17 в 20:46
1
ответ
DSE Analytics в конфигурации кластера
Ранее у нас был кластер из трех узлов с двумя центрами обработки данных узлов Cassandra в одном DC и одним узлом с поддержкой искры в другом DC. В этих конфигурациях Spark работал без сбоев. Затем мы попытались добавить еще один узел в аналитике пос…
09 авг '18 в 06:17
0
ответов
java.text.ParseException: не разбираемая дата: "[timecol: отметка времени]" в java.text.DateFormat.parse(DateFormat.java:366)
Я пытаюсь проанализировать дату, которая хранится в базе данных cassandra, но, когда я анализирую дату, я получаю сообщение об ошибке java.text.ParseException: Unparseable date: "[timecol: timestamp]". В базе данных моя дата в формате "2015-08-21 04…
08 авг '16 в 13:04
0
ответов
Кассандра с Spark, логирование ошибок
Есть ли способ узнать / распечатать запись, вызвавшую исключение? и поймать это исключение и пропустить его? Теперь это вызвало ошибку, и я не могу увидеть полную запись, даже если в СДР много записей (что нормально, я бы не знал, какая из них была …
09 май '18 в 10:57
2
ответа
Производительность вставки Cassandra с использованием коннектора spark-cassandra
Я новичок в искре и Кассандре. Я пытаюсь вставить в таблицу cassandra, используя разъем свечи-кассандры, как показано ниже: import java.util.UUID import org.apache.spark.{SparkContext, SparkConf} import org.joda.time.DateTime import com.datastax.spa…
11 авг '15 в 12:16
0
ответов
Cassandra/Spark Read Performance
У нас есть рабочий процесс, в котором мы читаем данные из Cassandra и отправляем их в Oracle с помощью Spark(JDBC). У меня есть проблема, когда все данные за определенный день собирались в один раздел Cassandra. Раньше я считывал данные из одного ра…
01 июн '18 в 07:02
1
ответ
Приложение искры Кассандры не удается с ПОЛУЧЕННЫМ СИГНАЛОМ 15: SIGTERM
Я запускаю искровое приложение, использующее спарк-кассандра-коннектор. Ниже приведены мои варианты отправки искры --class com.mobi.vserv.driver.Query5kPids1 --num-исполнителей 4 --executor-memory 4g --executor-cores 2 - драйвер памяти 4g Но я продо…
30 мар '16 в 12:36
0
ответов
Почему при подключении к Cassandra с использованием Scala возникает ошибка ниже?
Мой код: object fileOpts { def main(args: Array[String]) { val conf = new SparkConf() .setMaster("local[*]") .setAppName("SparkCassandra") .set("spark.cassandra.connection.host", "x.x.x.x") val sc = new SparkContext(conf) val rdd = sc.cassandraTable…
02 окт '18 в 08:43
0
ответов
Работает ли эта утилита для миграции данных на Кассандре?
Я пишу утилиту для переноса существующих данных Oracle Prod в cassandra для конкретного модуля проекта. Для этого я использую spark-sql, соединитель dasastax cassandra, apache cassandra. Я следую нижеуказанной процедуре: чтение таблицы из оракула и …
24 окт '18 в 13:35
0
ответов
Проблема с подключением к Cassandra с помощью искры в Java
У меня есть сервер с докером и я создаю 3 узла Cassandra, 2 рабочих спарк-узла и один главный спарк-узел. Теперь я хочу подключиться к свече с моего ноутбука с помощью Java-приложения. мой код Java: public SparkTestPanel(String id, User user) { supe…
17 авг '17 в 07:52
3
ответа
Объединить spark dStream с переменной в saveToCassandra()
У меня есть DStream[String, Int] с количеством пар слов, например ("hello" -> 10), Я хочу записать эти подсчеты Кассандре с индексом шага. Индекс инициализируется как var step = 1 и увеличивается с каждой обработанной микробатикой. Таблица Кассан…
02 ноя '16 в 23:04
1
ответ
Сохранить в Кассандре в искре, метод распараллеливания не доступен в Java
Я пытаюсь сохранить только одну строку в таблицу cassandra, используя spark в java (это происходит в результате длительной обработки в spark), я использую новый метод для подключения к cassandra, используя сеанс spark, следующим образом: SparkSessio…
20 ноя '16 в 22:19
1
ответ
Какие версии следует использовать для подключения Spark Cassandra с использованием языка Java?
Я пытаюсь соединить базу данных spark и cassandra, используя язык Java. Для подключения свечей и кассандры я использую последнюю версию Spark-cassandra-Connector, т.е. 2.4.0. В настоящее время я могу подключить свечи и кассандру с помощью разъема. Я…
15 фев '19 в 09:35
0
ответов
Можно ли передать имя кластера Cassandra (определено в конфиге) для сохранения () с помощью коннектора свечи Cassandra?
Таким образом, чтение отлично работает в соответствии с документацией: val cql = new org.apache.spark.sql.cassandra.CassandraSQLContext(sc) cql.setConf("cluster-src/spark.cassandra.connection.host", "1.1.1.1") cql.setConf("cluster-dst/spark.cassandr…
11 мар '16 в 20:02
0
ответов
Производительно ли обновлять подмножество столбцов в таблицу Cassandra от Spark?
Я обновляю существующие таблицы Cassandra от Spark с помощью коннектора spark-cassandra. Я использую SaveMode.Append и мой DataFrame содержит только подмножество столбцов для обновления. Есть ли какие-либо потери производительности для обновления то…
30 окт '17 в 16:23
2
ответа
Извлечение строк таблицы Кассандры с помощью Spark
Я сталкиваюсь с проблемой при подключении к Кассандре с использованием Spark Repla.. Версия 2.11 Scala, VESRION SPARCAR 1.6 1.6, Cassandra версии 3.0. При входе в искровую оболочку я использую: spark-shell --jars spark-cassandra-connector-1.6.0-s_2.…
18 дек '16 в 06:16