Описание тега ingest
1
ответ
Конвейер для анализа логов Cloudfront
Проблема с разбором даты и времени в узле захвата Pipeline. проблема с анализом временных меток в журналах Cloudfront: Пример журнала: 2019-01-23 00:47:29 FRA2 542 113.139.67.32 GET xxxxx.net /media/no_image 404 - okhttp/3.8.1 - - Error ODvvwZI_z12W…
25 янв '19 в 12:59
1
ответ
Процессор ввода документов splitsearch split для документов
asticsearch предоставляет механизм загрузки для преобразования документов во время их индексации. Процессор может преобразовывать поля, добавлять и удалять поля из проиндексированных документов. В редких случаях можно даже написать свой собственный…
04 ноя '18 в 22:05
0
ответов
Elasticsearch Получить сценарий поля к источнику
Вариант использования - подсчет количества слов в тексте. Это делается с использованием типа данных token_count с использованием опции мультиполя. "name": { "type":"text", "fields":{ "length":{ "type":"token_count", "analyzer":"standard", "store":tr…
28 фев '19 в 08:40
0
ответов
Как искать PDF-файл, используя Elasticsearch.Net и NEST
Я хотел бы разработать веб-приложение с ASP.Net и Elasticsearch, которое позволяет пользователям выполнять поиск в pdf, используя контент, предоставленный им внутри текстового поля. Я попытался выполнить его в Kibana с плагином ingest-attachment, и …
30 ноя '18 в 02:48
0
ответов
Как проиндексировать вложения, содержащиеся в MSG-файле, экспортированном из Outlook
У меня есть пользовательская DMS, которая создает сущности документов с несколькими вложениями, и она использует Elasticsearch для индексации и поиска этих документов и их вложений. Вложение может быть любого типа (PDF, Word, Excel, TXT, ...). Я мог…
21 май '19 в 12:15
1
ответ
Как я могу исправить эту ошибку и получить данные из Quandl? Спасибо
Когда я пытаюсь запустить команду в моем терминале, возникает ошибка Я использую anaconda для установки своих пакетов и python 2.7. $ zipline ingest -b quandl Traceback (most recent call last): File "/anaconda3/bin/zipline", line 6, in <module>…
09 май '19 в 11:30
1
ответ
Извлечь данные из CSV не удалось
Поэтому я попытался извлечь данные из CSV, но кажется, что мне не удалось я уже пробовал, но, кажется, я всегда ошибался это мои данные сообщения "message" : """42307;"FX2CHTPEKAFB";"PACKING CYL COP JUPITER Z FUBORU";"PCS";"";"";"";"";;""""" это мой…
14 апр '19 в 16:16
0
ответов
Elasticsearch на индексном документе добавить новое поле рядом с полями даты с датой, месяцем, годом
Я не уверен, если это возможно с asticsearch, но я хотел бы автоматически добавить новое поле в том же месте, где обнаружены поля даты. Например, это отображение индекса: "properties":{"somedatefield1":"Date","orders":{"type":"Array","properties":{"…
16 авг '19 в 11:35
1
ответ
Вставьте массив объектов или CSV-файл в таблицу Kusto
Невозможно вставить данные из массива объектов или CSV-файла в таблицу Kusto Моя цель - создать в DevOps Azure конвейер, который считывает данные с помощью PowerShell и записывает их в таблицу Kusto. Мне удалось записать данные, которые я прочитал и…
16 авг '19 в 03:35
1
ответ
Как я могу передать все атрибуты из XML в потоковый файл?
У меня есть поток nifi, который заключается во введении значений из XML в таблицу улья. Мне нужно сделать эту оценку автоматически, потому что она имеет много значений. Прямо сейчас я делаю это, вводя все элементы в xml вручную, указывая xpath каждо…
13 июн '19 в 12:41
0
ответов
Создание сопоставления в elasticsearch .x с использованием C# для вложения
Я пытаюсь создать индекс в ES с помощью С #, он должен содержать вложение. Необходимо определить, как я могу создать сопоставление для этого в C# и как данные могут быть вставлены в эластичный поиск. Мой объект, который вставляется в эластичный поис…
05 окт '19 в 21:07
1
ответ
файлы Ingest Hadoop
Я очень новичок в hadoop, прошу вашей помощи. Я занимаюсь перевариванием файлов из одного каталога в другой. Следующая команда, которую я использую: Blockquote hadoop fs -copyFromLocal./tmp/text.txt./tmp/harSourceFolder2 но результаты всегда терпят …
08 фев '20 в 11:17
0
ответов
Сценарий bash/ оболочки для ввода данных /JSON в базу данных? (остальные api)
У меня есть REST API, в который я хочу вставить некоторые данные (он использует PostgeSQL в качестве своей базы данных). Каков наиболее эффективный / стандартизированный способ сделать это? У меня есть конечные точки вроде /films/newкоторый вставил …
13 апр '20 в 05:24
1
ответ
Как загрузить данные из файла CSV, хранящегося в OneDrive, во временную таблицу Kusto?
У меня есть файл Excel, который люди используют для редактирования данных вне Azure Data Explorer (Kusto). Какой код Kusto я бы использовал для приема этих данных по мере необходимости в запрос Kusto? Пока мне кажется, что мне нужно использовать: . …
28 фев '20 в 04:23
0
ответов
Можно ли применить обработчик конвейера узла загрузки (например, обработчик полосы HTML, обработчик обрезки) ко ВСЕМ полям документа?
При создании конвейера узла Ingest я обнаружил, что Для процессоров (например, HTML Strip Processor, Trim Processor) обязательно указать некоторые field ценность. Есть ли способ указать подстановочный знак или регулярное выражение вfieldСвойство Про…
16 апр '20 в 14:18
1
ответ
поиск в регулярном выражении POSIX для соответствия всем пробелам, кроме последнего (для gsub)
... схожу с ума из-за этой простой проблемы: Я использую конвейер Ingest с процессором gsub для замены всех (белых) пробелов, кроме последнего. Например: "hello world regex is fubar " привести к "hello, world, regex, is, fubar" Как я могу преобразов…
13 янв '20 в 19:41
1
ответ
Botkit: изменение объекта BotkitMessage во всем промежуточном программном обеспечении
Пользователь отправляет Hi there ! (Хранится в message.text) из интерфейса чат-бота; Однако ConversationPlugin's ingestМутирует промежуточное ПО message.text к значению  Hello. У меня вопрос: почему это значение не сохраняется к тому времени, когд…
16 май '20 в 17:15
2
ответа
Автоматическое редактирование файла в dockerized контейнере
У меня есть dockerized контейнер для работы elasticsearch и kibana, при этом он автоматически устанавливает некоторые плагины, как только я запускаю docker-контейнер. Мне нужно отредактировать файл config/elasticsearch.yml, чтобы включить использова…
26 фев '20 в 05:57
2
ответа
Прием данных Kusto из приложения-функции Azure заканчивается ошибкой 403
Я пытаюсь загрузить данные из приложения-функции Azure в базу данных ADX. Я следовал инструкциям, приведенным в статье здесь. Разница в том, что я хочу вставить данные в таблицу. Я борюсь с ошибкой 403 "Принципал 'aadapp=;' не авторизован для доступ…
16 мар '20 в 19:04
1
ответ
Как загрузить журналы db в splunk? Мне нужны только журналы предупреждений, ошибок, критических ошибок, журналов ORA-*. приветствуются любые изменения опор
У меня есть список сведений о хосте и каталоги журналов. Ключевые слова, в которых мне нужно получить журнал, который будет загружен в splunk в следующем списке: журналы предупреждений, ошибок, критических ошибок, ORA-*
11 сен '20 в 21:44