Описание тега stocator
Stocator - это высокопроизводительный соединитель для хранилища объектов для Apache Spark, обеспечивающий производительность за счет использования семантики хранилища объектов.
1
ответ
Как настроить Stocator на Amazon EMR
Я пытаюсь настроить Stocator в кластере Amazon EMR для доступа к данным на Amazon s3. Я нашел ресурсы, которые указывают, что это должно быть возможно, но очень мало деталей о том, как заставить это работать. Когда я запускаю свой кластер EMR, я исп…
16 фев '18 в 09:56
1
ответ
java.io.FileNotFoundException: не найдено, потому что://mybucket.myservicename/checkpoint/offsets
Я пытаюсь использовать Spark Structured Streaming 2.3 для чтения данных из Kafka (IBM Message Hub) и сохранения их в IBM Cloud Object Storage в 1.1 IBM Analytics Engine Cluster. После создания кластера вставьте в него ssh: $ ssh clsadmin@myclusterid…
22 авг '18 в 15:46
3
ответа
Нет файловой системы для схемы: потому что
Я пытаюсь подключиться к IBM Cloud Object Storage из IBM Data Science Experience: access_key = 'XXX' secret_key = 'XXX' bucket = 'mybucket' host = 'lon.ibmselect.objstor.com' service = 'mycos' sqlCxt = SQLContext(sc) hconf = sc._jsc.hadoopConfigurat…
02 сен '17 в 07:54
1
ответ
Какая конфигурация необходима для получения данных из хранилища объектов SWIFT в Spark
Я просматриваю документ, но все же очень сложно понять, как получить данные из swift. Я настроил swift в моей машине с одним linux. Используя приведенную ниже команду, я могу получить список контейнеров, swift -A https://acc.objectstorage.softlayer.…
22 дек '16 в 11:37
4
ответа
java.lang.AbstractMethodError: com/ibm/stocator/fs/common/IStoreClient.setStocatorPath(Lcom/ibm/stocator/fs/common/StocatorPath;)V
Я пытаюсь получить доступ к данным в IBM COS из Data Science Experience, основываясь на этом сообщении в блоге. Сначала я выбираю версию Stocator 1.0.8... !pip install --user --upgrade pixiedust import pixiedust pixiedust.installPackage("com.ibm.sto…
03 сен '17 в 03:20
2
ответа
Ошибка записи потока в хранилище объектов IBM Cloud с сообщением "Access KEY пуст. Пожалуйста, предоставьте действительный ключ доступа"
В настоящее время я использую Apache Spark 2.3.2 и создаю конвейер для чтения потоковых csv-файлов из файловой системы и последующей записи их в хранилище объектов IBM Cloud. Я использую разъем Stocator для этого. Регулярное чтение и запись в IBM CO…
17 дек '18 в 16:29
2
ответа
Как использовать стокатор от ноутбука IBM Jupyter под управлением pyspark?
Я хочу использовать stocator для доступа к облачному хранилищу IBM с ноутбука Jupyter (в IBM Watson Studio), на котором работает pyspark. Кто-нибудь может сказать мне, как это сделать? Я понимаю, что стокатор предустановлен, но нужно ли сначала ввес…
15 ноя '19 в 00:33
0
ответов
Как написать паркет в минио из искры?
У нас есть код, который создает и использует локальную искру и записывает паркетные файлы в S3. Он работает как с Amazon S3, так и с IBM Cloud Object Storage. Но когда я поднимаю контейнер minIO и указываю туда код, он выходит из строя с такой ошибк…
30 июл '20 в 16:39
0
ответов
Проблемы при развертывании коннектора стокатора Java-приложения Spark в качестве контейнера Docker
Я использую коннектор Stocator 1.1.0 в своем приложении JAVA Spark 2.0.1 для чтения / записи данных из IBM COS. Мое приложение работает без сбоев при локальном развертывании. Однако он не может работать в режиме контейнера докеров за исключением: Ex…
05 май '20 в 18:55
0
ответов
403 Ошибка при подключении к COS с помощью Stocator со Spark Scala
Я борюсь с конфигурацией spark (spark 2.3.2, hadoop 3.1.1) scala (2.11.8) stocator (версия 1.1.4), каждый раз получая ошибку 403 (в комментарии), даже если моя корзина cos является общедоступной и имеет политика писателя: spark.sparkContext.hadoopCo…
21 дек '21 в 14:09
1
ответ
Spark-submit со Stocator завершается с ошибкой Class com.ibm.stocator.fs.ObjectStoreFileSystem not found
Я пытаюсь запустить spark-submit wordcount Python в кластере Kubernetes, извлекая текстовый файл, хранящийся в COS. Для конфигурации я следовал Stocator README.md ./bin/spark-submit \ --master k8s://https://c111.us-south.containers.cloud.ibm.com:322…
12 янв '21 в 12:01
0
ответов
Безопасно ли читать данные с помощью boto3 из S3, если эти данные были записаны с помощью Stocator в pyspark?
У меня есть приложение, которое использует Stocator в качестве коннектора для Spark. Это приложение записывает данные в корзину S3 cos. Сейчас я работаю над сервисом, который должен читать эти данные с S3. Согласно этой ветке здесь , вы не можете ук…
10 янв '23 в 00:00