Описание тега spark-thriftserver

Вопросы с тегом
0 ответов

Отключить push-фильтры в Spark SQL с PostgreSQL

Можно ли (и как) отключить push-фильтры в SparkSQL при чтении из PostgreSQL?
17 май '18 в 15:27
0 ответов

Spark SQL DataSource API для записи таблицы на Spark Thrift Server

Я пытаюсь записать спарк-фрейм на сервер Thrift. Я могу читать таблицы, но хочу программно обновлять их по мере поступления данных. Я пытался способами: 1) df.write.mode("append").format("jdbc").option("url","jdbc:hive2://192.168.2.187:10000/mytest"…
06 мар '18 в 16:06
1 ответ

Конфигурация ODBC для подключения к Spark Thrift Server

Этот вопрос может показаться повторным, на самом деле я видел пару вопросов, связанных с этим, но не совсем с той же ошибкой, поэтому я спрашиваю, есть ли у кого-нибудь подсказка. Я настроил Spark Thrift Server, работающий с настройками по умолчанию…
15 сен '17 в 17:40
0 ответов

Блокируйте запросы на Spark Thrift Server на определенное время (например, 10 минут), так как кэшированные фрагменты реплицируются (>100%)

Я кеширую таблицу кустов (кеш-таблицу) на сервере Spark Thrift после перезапуска сервера и одновременно выполняю параллельные операции чтения по этой же таблице, на вкладке хранилища реплицируемые кэшированные фрагменты реплицируются и достигают>100…
06 ноя '18 в 06:01
1 ответ

Сервер Spark Thrift не может запуститься

Я использую Spri-сервер Spark 1.5.2 с Hive-1.2.1 на защищенной пряже-2.7.2 в Windows, используя команду ниже spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --master yarn-client "C:\Spark\lib\spark-hive-thriftserver_2.1…
11 апр '16 в 07:08
0 ответов

hbase скрипт сторожевого сервера

Помогите, пожалуйста, у нас более старая версия hadoop (2.0.0-cdh4.3.0), и наш экономный сервер довольно часто умирает с OOM. Я также читал об этом здесь: возможные проблемы с hbase thrift сервером и задавался вопросом, видел ли кто-нибудь сценарий …
16 янв '19 в 23:07
0 ответов

Подключение к комиссионному серверу Kerberos HBase с помощью R - rhbase

Я пытаюсь подключиться к HBase с помощью пакета R rhbase, Следуя инструкциям на https://github.com/RevolutionAnalytics/RHadoop/wiki/user-rhbase-Home, у меня все установлено, включая HBase Thrift Server. Я могу подтвердить связь с hb.init(): [1] "hb.…
14 дек '18 в 17:39
0 ответов

Запустите Spark Thrift Server в Windows 10

Я пытаюсь запустить Spark Thrift Server с помощью D:\spark\spark-2.3.2-bin-hadoop2.7\bin>spark-класс org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 spark-internal в cmd. Тем не менее, после того,…
01 дек '18 в 15:20
0 ответов

Невозможно направить запрос диспетчера ресурсов DSE. Ни один из известных в настоящее время узлов в DC Analytics не выполняет рабочую нагрузку Analytics.

У меня так много проблем с кластером DSE. Есть 8 узлов. В узле, на котором я работаю, я пытаюсь запустить комиссионный сервер, но появляются следующие ошибки: Ошибка изображения Информация об узле Я думал, что, возможно, благотворительный сервер дум…
29 дек '17 в 21:12
0 ответов

Как получить доступ к моей Spark UDF через Билайн

Это вариант этой публикации. Что я хочу сделать, это зарегистрировать Spark UDF при запуске HiveThriftServer2 и разрешить всем пользователям использовать эти UDF. Я не могу использовать решение в этой публикации, потому что пользовательский UDF-файл…
09 сен '17 в 00:14
2 ответа

Spark Thrift Server - Невозможно запустить (ошибка Hive)

Я пытаюсь запустить сервер Spark Thrift (Spark 1.2) на HDP 2.2.0 с Hive 0.14 (последний дистрибутив HortonWorks), но, к сожалению, я получаю эту ошибку, которая довольно загадочна для меня: Exception in thread "main" java.lang.RuntimeException: java…
02 фев '15 в 09:46
1 ответ

Интеграция Cassandra и Spark Thrift Server

Я пытаюсь интегрировать сервер Cassandra и Spark Thrift. Я следовал за шагами отсюда При регистрации таблиц cassandara в консоли beeline я получаю следующую ошибку. Error: Error while compiling statement: FAILED: ParseException line 1:23 cannot reco…
10 июл '18 в 06:56
1 ответ

Spark Thriftserver останавливается или зависает из-за запросов таблицы

Искровой кластер (искра 2.2) используют около 30 человек с помощью спарк-оболочки и таблицы (10.4). Один раз в день сберегательный сервер замирает или зависает, потому что JVM нужно собрать много мусора. Это сообщения об ошибках, которые я могу найт…
27 окт '17 в 16:42
1 ответ

Подключение к свече и доступ к таблице улья без комиссионного сервера

Я пишу приложение Java Spark, которое должно подключиться к кусту и получить некоторую базовую информацию о таблице и запросить эту таблицу для данных. Я создаю сеанс зажигания и получаю информацию, как показано ниже. Но это использует бережливый се…
10 май '18 в 20:40
0 ответов

Комиссионный сервер Spark 2.0 не запущен в режиме пряжи

Я запустил Thrift-сервер spark-2.0 в локальной среде, и он работает нормально, когда попробую с кластерной средой выдать следующее исключение. 16/06/02 10:21:06 INFO spark.SparkContext: Successfully stopped SparkContext Exception in thread "main" or…
02 июн '16 в 07:31
1 ответ

Сборка Spark в улье Метасторское хранилище MySQL не используется

Я использую Apache Spark 2.1.1 и поставил следующий файл hive-site.xml на $SPARK_HOME/conf папка: <?xml version="1.0"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://my…
19 июл '17 в 15:21
1 ответ

Почему ядра spark executor не равны активным задачам в веб-интерфейсе spark spark

Я использую экономичный сервер Spark 2.3 для Ad-hoc Sql запросов. Мои параметры искры установлены как показано ниже в файле spark-defaults.conf: spark.executor.memory 24G spark.executor.cores 40 spark.executor.instances 3 Однако, когда я проверял ин…
02 май '18 в 12:21
0 ответов

Невозможно создать таблицу на Apache Spark ThriftServer через Spark Java API

У меня есть простая Java-программа Spark API, описанная следующим образом: SparkSession spark = SparkSession .builder() .appName("spark") .master("local") .getOrCreate(); ArrayList<TagClass> tagClass = new ArrayList<>(); TagClass tagClas…
22 мар '18 в 20:42
0 ответов

Очень медленное соединение между Power Bi и Spark Thrift Server с использованием Spark Connector

Я использую разъем "искры" в настольном приложении Power Bi для подключения к серверу Spark Thrift, используя режим подключения "HTTP" с включенным "SSL" и опцией "Прямой запрос". Однако соединение прошло успешно, слишком большая задержка составляет…
27 фев '19 в 02:56
4 ответа

Как использовать Hive Metastore с MySQL (для Thrift Server или spark-shell)?

Я использую Apache Spark 2.1.1, и я хотел бы настроить его с помощью внешнего метастафа Hive (особенно для Spark Thrift Server). я добавил hive-site.xml в $SPARK_HOME/conf папка, которая выглядит следующим образом: <?xml version="1.0"?> <co…
14 июл '17 в 09:00