Описание тега streamsets
Используйте тег streamsets для вопросов, касающихся продуктов StreamSets, таких как StreamSets Data Collector, StreamSets Transformer и StreamSets Control Hub.
1
ответ
Доступ к веб-интерфейсу потоковых наборов на другом узле кластера, кроме установленного, в какую файловую систему он "смотрит"?
У меня кластер машин хостинг hadoop (MapR) и установить наборы потоков на одном из узлов (скажем, node002), следуя документации RPM. Тем не менее, я получаю доступ к веб-интерфейсу для data collector с другого узла, узла001. Мой вопрос: когда я указ…
02 янв '18 в 20:48
0
ответов
Подключение к Google Analytics с помощью Streamsets
Я пытаюсь подключить Streamsets к Google Analytics. Однако у меня возникли проблемы с его настройкой. С обычным запросом CURL я бы сделал следующее: Шаг 1) Перейдите по следующей ссылке, чтобы получить код авторизации: https://accounts.google.com/o/…
03 май '18 в 08:55
2
ответа
Ошибка Streamsets - неверный дескриптор файла
Я пытался использовать Streamsets для запроса базы данных Oracle и публикации данных в Kafka. Я скачал tarball Streamsets на свой Mac и распаковал его в свой домашний каталог. Бег $HOME/streamsets-datacollector-2.1.0.2/bin/streamsets dc загрузился с…
10 ноя '16 в 22:20
0
ответов
Streamsets и проблема интеграции Active Directory
Я пытаюсь интегрировать пользователей Active Directory с Streamsets, часть интеграции выполнена успешно. Но, когда я вхожу в систему с пользователем AD, я получаю следующую ошибку: Доступ запрещен - Вы не авторизованы для доступа к этой странице. В …
15 ноя '18 в 15:37
0
ответов
Конвейер потоковых наборов для заполнения данных из SQL Server в большой запрос
Я строю конвейер потоковых наборов для заполнения табличных данных из SQL Server в Big Query. Я создал набор данных, таблицу, схему в большом запросе в области "США" . Набор данных и имя таблицы доступны в пользовательском интерфейсе GCP. Запуск кон…
22 окт '18 в 20:49
1
ответ
Невозможно установить Streamsets в Mac
Я пытаюсь установить Streamsets в моем Mac. пока я пытаюсь запустить streamsets этой командой: streamsets-datacollector-3.4.3/bin/streamsets dc получить следующее исключение: Abnormal exit: java.lang.RuntimeException: The permissions of the realm fi…
19 сен '18 в 04:46
1
ответ
Импорт модуля Python в Jython StreamSets - ImportError: Модуль не указан
Я запускаю StreamSets в докере на CentOS. Пытаясь импортировать пакет Python в Jython, он возвращает следующую ошибку: SCRIPTING_05 - Script error while processing record: javax.script.ScriptException: ImportError: No module named pandas in <scri…
19 май '17 в 21:50
0
ответов
Получение исключения при перемещении данных из MS SQL Server в Hive
Я пытаюсь создать конвейер от MS SQL Server к Hive. При перемещении данных я получаю исключение: Record1-Error HIVE_23 - TBL Properties 'com.streamsets.pipeline.stage.lib.hive.exceptions.HiveStageCheckedException: HIVE_20 - Error executing SQL: DESC…
23 май '18 в 10:56
1
ответ
Учетные данные в Streamsets
В моем текущем проекте я работаю с StreamSets и хотел бы использовать Hashicorp Vault в качестве хранилища учетных данных, однако я не могу использовать credential:get() функционировать, где я хочу. Например, в ключе общего доступа в блоке Azure IoT…
29 июн '18 в 08:13
1
ответ
Проблемы с доступом к экземплярам одного класса в другом классе
Я пытаюсь получить доступ к экземплярам в методе одного класса в другом классе и попытался изменить их. Но это вызывает у меня ошибку: "Невозможно сослаться на не окончательную локальную переменную nextSourceOffset, определенную в прилагаемой област…
22 авг '17 в 15:27
1
ответ
Streamsets solrcloud на CDH 5.7 не может подключиться к Solr
Я использую наборы потоков на CDH версии 5.7.0 Пример рабочего процесса для загрузки файла из HDFS(источник) и создания записей в Solr (место назначения). Ошибка при проверке - SOLR_03 - Не удалось подключиться к экземпляру Solr: org.apache.solr.com…
06 июн '16 в 17:29
1
ответ
Специальные символы (акцент, апостроф, трема) работают в пользовательских тестах Source, но больше не применяются при развертывании в докеризованных наборах потоков
Я написал собственный источник Streamsets. Некоторые записи содержат такие символы, как é или ë. При выполнении моих автоматических тестов я могу проверить, что данные отправляются в виде списка записей SDC, как и предполагалось. Однако когда я испо…
22 янв '19 в 12:36
1
ответ
Соединитель Logstash Origin для StreamSets
Можно ли построить трубопровод напрямую, используя Logstash в качестве источника и Cassandra в качестве пункта назначения. Если нет, как может быть лучший способ сделать это?
11 авг '16 в 14:10
1
ответ
Ошибка при попытке заставить службу Azure Kubernetes использовать балансировщик нагрузки кластера из службы
Я работаю над тем, чтобы Streamsets Data Collector работал в Azure Kubernetes Service (AKS) и когда я запускаю kubectl .... служба, кажется, работает, однако она дает эту ошибку. Это кластер RBAC AKS, поэтому я думаю, что мне нужно дать полномочия с…
14 дек '18 в 16:04
0
ответов
Источник HTTP-клиента в режиме опроса снова и снова извлекает одни и те же данные
Я извлекаю данные из REST API используя происхождение клиента HTTP в Polling Mode, Ожидалось, что он остановится после чтения последнего бита данных и снова запросит новые данные через заданный интервал. Но он снова и снова извлекает те же данные и …
18 фев '19 в 05:20
2
ответа
Оптимизация запросов SQl
* может кто-нибудь помочь мне оптимизировать запрос. Я использую этот запрос в ETL, называемом streamsets, и он дает 70 записей в течение 6 минут, когда я запускаю очень медленный конвейер потоковых наборов. Мы берем этот запрос из пакета служб SSIS…
22 сен '17 в 14:28
1
ответ
Не удается получить доступ к непубличным каталогам на локальной FS в создателе конвейера потоковых наборов
Новое в streamsets. После учебника документации, получал FileNotFound: ... HADOOPFS_14 ... (permission denied) ошибка при попытке установить место назначения как local FS каталог и предварительный просмотр конвейера (в основном говоря, либо файл не …
02 янв '18 в 21:21
1
ответ
Regex в Streamsets
Привет, я хочу сломать файл журнала, используя Streamsets. журнал как, Deny tcp src dmz:77.77.77.7/61112 dst dmz:55.55.56.57/139 by access-group "outside_access_in" [0x8b3ecfdc, 0x0] В журнале также может быть более 2 IP-адресов, и я пытаюсь получит…
05 окт '18 в 11:29
2
ответа
StreamSets HTTP-клиент
Я работаю с StreamSets на дистрибутиве Cloudera, пытаюсь получить некоторые данные с этого сайта http://files.data.gouv.fr/sirene/ Я столкнулся с некоторыми проблемами при выборе параметров как HTTP-клиента, так и Hadoop FS Destination. https://imag…
31 окт '17 в 13:53
1
ответ
Как вы добавляете маршрутизацию для destinationsearch destination в 2.5
Я использую StreamSets (2.5.1.1) для передачи данных в Elasticsearch (5.4.1). Мой индекс требует маршрутизации, но я не вижу, как добавить маршрутизацию к месту назначения Elasticsearch в моем конвейере. Я подумал, что мог бы просто добавить парамет…
29 июн '17 в 21:23