Плагин Logstash Azure

Question

Я очень новичок в logstash, и немного застрял, как сделать эту часть.

Я скопировал журналы из контейнера Azure BLOB-объектов и смог проанализировать через logstash и поместить записи в эластичный поиск на моем локальном компьютере. Теперь я хочу изменить ввод так, чтобы вместо файла он получал журналы напрямую из хранилища BLOB-объектов Azure. Я искал плагины, но ничего не нашел для лазури.

Я надеюсь, что смогу сделать что-то подобное на входе. Есть идеи как это получить?

input {
  azureblob {
    storage_name => "abcd"
    storage_key => "key"
    container => "logLocation"
  }
}

Answer 1

После того, как я поиграл и прочитал кучу вещей, я заставил его работать на моей локальной машине с Windows.

Установите рубин. Установите Джруби. командная строка -> gem install bundle.

Выше необходимо построить драгоценные камни

Тогда я получил эти файлы. https://github.com/juliusl/logstash-input-azurewadtable/tree/0.9.2

Замененный lib / logstash / input /azurewadtable.rb заменен на https://github.com/mspnp/semantic-logging/blob/elk/ELK/logstash-extension/inputs/azureblob.rb

Заменены все места на azurewadtable с azureblob во всех файлах.

В командной строке gem установите "localtion_Of_gemSpec". Это даст вам файл gem.

Logstash \ bin \ plugin install "location_of_gem_file" Logstash \ bin \ plugin install --no-verify

Проверьте пару вещей: Logstash\gemfile содержит эту запись, а Logstash\vendor\local_gems содержит файлы

Настройка конфигурации:

input {
  azureblob {
    storage_account_name => "STORAGE ACCOUNT NAME"
    storage_access_key => "STORAGE ACCESS KEY"
    container => "CONTAINER NAME"
  }

}

Logstash / bin / logstash -f "location_of_conf_File"

И это работает:)

Answer 2

У меня возникла проблема при использовании плагина lostash-input-azureblob для получения журналов Azure и отправки их в нужное место. На github все еще есть открытая проблема: https://github.com/Azure/azure-diagnostics-tools/issues/170
Я нашел обходной путь, в последней версии 0.9.13 отсутствуют некоторые файлы, которые можно загрузить с версии 0.9.12. Для получения подробных инструкций перейдите по ссылке ниже:
https://github.com/Azure/azure-diagnostics-tools/issues/170