Описание тега logfile-analysis
Акт анализа файлов журнала с использованием таких методов, как, помимо прочего, анализ и дешифрование и т. Д.
1
ответ
Извлечь вхождение текста в скобках из текстового файла Python
Журнальный файл: INFO:werkzeug:127.0.0.1 - - [20/Sep/2018 19:40:00] "GET /socket.io/?polling HTTP/1.1" 200 - INFO:engineio: Received packet MESSAGE, ["key",{"data":{"tag1":12,"tag2":13,"tag3": 14"...}}] Я заинтересован в извлечении только текста из …
21 сен '18 в 16:30
4
ответа
Прочитайте файл журнала и вытащите строки с определенным текстом
У меня есть журнал, который постоянно добавляется (например, 1-5 строк в секунду или более), и файлы могут получить довольно большие 20 МБ + Пример файла журнала: [Wed Aug 26 00:01:48 2015] You try to kick a snake, but miss! [Wed Aug 26 00:01:50 201…
21 сен '15 в 16:27
1
ответ
Файл журнала запросов базы данных mySQL для анализа
У нас есть файлы журналов базы данных MySQL, и мы хотим использовать эти файлы журналов для анализа (интеллектуальный анализ данных, машинное обучение,...), и я очень новичок в этом. Можете ли вы дать мне инструкцию, как это сделать?
05 май '16 в 05:06
1
ответ
Как прочитать файл непрерывного журнала из последней прочитанной строки | Linux Shell
Платформа : RHEL7 Ситуация : Файл отчета JMeter добавляется с новыми результатами каждые 5 минут скриптом crontab Другой скрипт awk ищет время ответа более 500 мс и отправляет оповещения по электронной почте Постановка проблемы : Требуется сканирова…
25 ноя '16 в 06:25
1
ответ
Задание Hadoop MapReduce успешно завершено, но ничего не записывается в БД
Я пишу работу MR в журналы моего веб-сервера. Входные данные для задания - из текстовых файлов, выходные данные отправляются в базу данных MySQL. Проблема в том, что задание успешно завершено, но ничего не записывается в БД. Я не занимался программи…
28 фев '15 в 17:09
3
ответа
Инструмент для подсчета стековых трасс в лог-файле
Существует ли инструмент для сбора и подсчета (Java) стековых трасс в большом лог-файле, чтобы вы могли получить представление о том, какие ошибки возникают чаще всего?
27 янв '12 в 18:49
2
ответа
Разбор gzipped файла журнала построчно внутри файла tar gzipped
У меня есть следующая структура для файлов журнала: /var/log/2013-12-24.tar.gz Этот файл имеет: 2013-12-24/{00,01,02...23}.log.gz файлы Мне нужно проанализировать эти файлы, используя Python, без извлечения каких-либо файлов на диске ИЛИ памяти Каки…
05 июн '13 в 10:21
1
ответ
Смотреть / отслеживать лог-файл для изменений и по электронной почте для результатов
Я пытаюсь написать скрипт на python для просмотра лог-файла и поиска определенных ключевых слов в новых строках, если найдена электронная почта на определенный адрес, иначе игнорируете, есть ли какой-нибудь модуль python, который может помочь? С ува…
24 апр '17 в 09:12
1
ответ
Как прочитать файл журнала DNS-запросов
Я получил файл журнала внутренних запросов DNS и хотел бы проанализировать его, поэтому запись onw выглядит следующим образом: 18-Jun-2017 04: 00: 10.139 клиент @XXXXXXXXXXXX ip-адрес # номер (ip-адрес): просмотр внутреннего: запрос: ip-адрес в AAAA…
20 июн '17 в 14:22
1
ответ
Что означают квадратные скобки в журналах LaTeX?
В настоящее время я работаю над парсером, который читает полные журналы LaTeX. Большая часть формата журнала, хотя и странная, ее легко понять, но эти квадратные скобки меня озадачивают. Вот пример из конца одного из моих журналов: Overfull \hbox (1…
06 май '10 в 19:11
3
ответа
Разбор пользовательских файлов журнала
У меня есть файл журнала (*.log), который я хочу проанализировать и запросить, как показано ниже: Строка 33043: 17.07.2016;13:26:45;GetMasterOrderNo; Номер основного заказа: 1117103907 для SoSupplierOrderNo, 1117103907 Строка 33048: 17.07.2016;13:26…
11 авг '16 в 08:52
1
ответ
Как я могу определить, когда мой набор данных в R будет слишком большим?
Я собираюсь провести некоторый анализ файла журнала в R (если я не могу сделать это в R), и я понимаю, что мои данные должны помещаться в ОЗУ (если я не использую какое-то исправление, такое как интерфейс для хранилища ключей, может быть?). Поэтому …
07 окт '12 в 08:57
1
ответ
Формат журнала Apache: что означает "%{c}a"?
Мне было поручено разбирать файлы веб-журналов Apache для извлечения данных в другой формат. Клиент предоставил мне строку формата, которая включает директиву "%{c}a". Хотя я могу найти определение для "%a" (удаленный IP-адрес), я не могу найти ника…
11 фев '14 в 19:34
3
ответа
Инструмент для помещения файла журнала HTTP в базу данных (с определенной схемой)?
Итак, я хочу поместить год назад или около того файлы Tomcat Combined Format в базу данных. Есть миллионы и миллионы хитов. (План состоит в том, чтобы выполнять индивидуальные и специальные запросы к ним и сопоставлять их с некоторыми другими данным…
12 май '09 в 09:47
0
ответов
Могу ли я сделать индивидуальные входные данные для моего картографа в работе mapreduce?
Если вы хотите обработать текстовый файл или файл журнала с помощью mapreduce по умолчанию, входное значение преобразователя будет соответствовать строке новой строки, но я хочу обработать файл журнала A (18:18:43,703 [ERROR] AccStmtGeneratorImpl - …
24 май '14 в 06:15
5
ответов
Петля внутри петли питона
У меня есть файл журнала с несколькими сотнями тысяч строк. Я перебираю эти строки, чтобы найти любую строку с каким-то конкретным текстом, например: !!event!!,Затем, однажды !!event!! линия найдена, мне нужно продолжить цикл после этого !!event!! с…
14 мар '13 в 15:24
1
ответ
Инструмент для работы с файлом журнала, созданным параллельными рабочими (например, системой сборки)
У нас есть система сборки, которая записывает логи параллельных рабочих в один и тот же файл. Я ищу инструмент, чтобы упростить жизнь с этим типом бревен. Каждая строка в этом файле журнала представляет собой произвольную текстовую строку, начинающу…
28 ноя '13 в 08:19
0
ответов
Расширение временных рядов событий с помощью Pandas
проблема Я ищу предложения о том, как сделать это более питоническим и повысить эффективность. У меня есть датафрейм с событиями, каждое из которых имеет как минимум начальную и конечную метки времени. Я расширяю количество записей, чтобы в новой та…
21 авг '17 в 12:49
1
ответ
SQL проверяет, кто удалил строки и восстанавливает их
У меня есть первичные ключи для таблицы моей базы данных для удаленных записей, я хочу проверить, кто удалил эти записи. Мое приложение использует членство asp.net для аутентификации пользователя. никто не входит на сервер SQL, кроме меня. Я не адми…
10 фев '14 в 07:32
3
ответа
Есть ли какой-нибудь "общий анализатор / редактор файлов журнала"?
Я спрашиваю, потому что мне надоело смотреть журналы, разделенные табуляцией, каждый день, как это: 164.56.95.119:18260 24986 2011-03-13 16:10:02.532 -5 JobQueueReceiver JSM 6019 4 Audit.RTUsage.JSM removed com.cognos.jsmcommon.tse.TaskRecord$IDDate…
14 мар '11 в 23:15