Как добавить настраиваемое поле в строку формата журнала Python?

Question

Как добавить настраиваемое поле в строку формата журнала Python?

Моя текущая строка формата:

formatter = logging.Formatter('%(asctime)s : %(message)s')

и я хочу добавить новое поле с именем app_name, которое будет иметь разные значения в каждом сценарии, который содержит этот форматтер.

import logging
formatter = logging.Formatter('%(asctime)s %(app_name)s : %(message)s')
syslog.setFormatter(formatter)
logger.addHandler(syslog)

Но я не уверен, как пройти это app_name значение для регистратора для интерполяции в строку формата. Я, очевидно, могу заставить его появляться в журнале, но каждый раз передаю его, но это грязно.

Я пробовал:

logging.info('Log message', app_name='myapp')
logging.info('Log message', {'app_name', 'myapp'})
logging.info('Log message', 'myapp')

но никто не работает.

159

python logging

Источник

user1185242 09 июл '13 в 21:26

9 ответов

Решение

Python3

Начиная с Python3.2 теперь вы можете использовать LogRecordFactory

>>> import logging
>>> logging.basicConfig(format="%(custom_attribute)s - %(message)s")
>>> old_factory = logging.getLogRecordFactory()
>>> def record_factory(*args, **kwargs):
        record = old_factory(*args, **kwargs)
        record.custom_attribute = "my-attr"
        return record

>>> logging.setLogRecordFactory(record_factory)
>>> logging.info("hello")
my-attr - hello

Конечно record_factory можно настроить на любой вызываемый, а значение custom_attribute может быть обновлен, если вы сохраните ссылку на вызываемый factory.

Почему это лучше, чем использовать адаптеры / фильтры?

Вам не нужно передавать регистратор по приложению
На самом деле он работает со сторонними библиотеками, которые используют собственный регистратор (просто вызывая logger = logging.getLogger(..)) теперь будет иметь тот же формат журнала. (это не относится к фильтрам / адаптерам, где вам нужно использовать один и тот же объект регистратора)
Вы можете складывать / объединять несколько фабрик

85

Источник

user707647 06 сен '19 в 13:39

Вам нужно передать dict как параметр к extra, чтобы сделать это таким образом.

logging.info('Log message', extra={'app_name': 'myapp'})

Доказательство:

>>> import logging
>>> logging.basicConfig(format="%(foo)s - %(message)s")
>>> logging.warning('test', extra={'foo': 'bar'})
bar - test

Также, как примечание, если вы попытаетесь зарегистрировать сообщение, не передавая dict, то оно потерпит неудачу.

>>> logging.warning('test')
Traceback (most recent call last):
  File "/usr/lib/python2.7/logging/__init__.py", line 846, in emit
    msg = self.format(record)
  File "/usr/lib/python2.7/logging/__init__.py", line 723, in format
    return fmt.format(record)
  File "/usr/lib/python2.7/logging/__init__.py", line 467, in format
    s = self._fmt % record.__dict__
KeyError: 'foo'
Logged from file <stdin>, line 1

68

Источник

user2336149 09 июл '13 в 21:40

Другой способ - создать собственный LoggerAdapter. Это особенно полезно, когда вы не можете изменить формат ИЛИ, если ваш формат используется совместно с кодом, который не отправляет уникальный ключ (в вашем случае app_name):

class LoggerAdapter(logging.LoggerAdapter):
    def __init__(self, logger, prefix):
        super(LoggerAdapter, self).__init__(logger, {})
        self.prefix = prefix

    def process(self, msg, kwargs):
        return '[%s] %s' % (self.prefix, msg), kwargs

И в вашем коде вы должны создать и инициализировать свой регистратор как обычно:

    logger = logging.getLogger(__name__)
    # Add any custom handlers, formatters for this logger
    myHandler = logging.StreamHandler()
    myFormatter = logging.Formatter('%(asctime)s %(message)s')
    myHandler.setFormatter(myFormatter)
    logger.addHandler(myHandler)
    logger.setLevel(logging.INFO)

Наконец, вы должны создать адаптер оболочки, чтобы добавить префикс по мере необходимости:

    logger = LoggerAdapter(logger, 'myapp')
    logger.info('The world bores you when you are cool.')

Вывод будет выглядеть примерно так:

2013-07-09 17:39:33,596 [myapp] The world bores you when you are cool.

17

Источник

user215120 30 май '18 в 21:53

Я нашел этот ТАК вопрос после того, как сам его реализовал. Надеюсь, это кому-то поможет. В приведенном ниже коде я вызываю дополнительный ключ под названиемclaim_idв формате логгера. Он будет регистрировать заявку_id всякий раз, когда естьclaim_idключ присутствует в окружающей среде. В моем случае использования мне нужно было регистрировать эту информацию для функции AWS Lambda.

import logging
import os

LOG_FORMAT = '%(asctime)s %(name)s %(levelname)s %(funcName)s %(lineno)s ClaimID: %(claim_id)s: %(message)s'


class AppLogger(logging.Logger):

    # Override all levels similarly - only info overriden here

    def info(self, msg, *args, **kwargs):
        return super(AppLogger, self).info(msg, extra={"claim_id": os.getenv("claim_id", "")})


def get_logger(name):
    """ This function sets log level and log format and then returns the instance of logger"""
    logging.setLoggerClass(AppLogger)
    logging.basicConfig(level=logging.INFO, format=LOG_FORMAT)
    logger = logging.getLogger(name)
    logger.setLevel(logging.INFO)
    return logger


LOGGER = get_logger(__name__)

LOGGER.info("Hey")
os.environ["claim_id"] = "12334"
LOGGER.info("Hey")

Суть: https://gist.github.com/ramanujam/306f2e4e1506f302504fb67abef50652

7

Источник

user3082461 14 апр '20 в 01:36

Принятый ответ не записал формат в файл журнала, тогда как формат был отражен в выводе sys. В качестве альтернативы я использовал более простой подход и работал как;

5

Источник

user6002275 24 дек '20 в 09:44

Если вам нужно сопоставление по умолчанию и вы хотите настроить его для специальных сообщений журнала, это работает в Python 2.7+, создавая LoggerAdapter который объединяет словарь по умолчанию с любым extra из данного сообщения.

      import logging
import os
import sys

logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s %(levelname)-8s Py%(python)-4s pid:%(pid)-5s %(message)s',
)
_logger = logging.getLogger("my-logger")
_logger.setLevel(logging.DEBUG)


class DefaultExtrasAdapter(logging.LoggerAdapter):
    def __init__(self, logger, extra):
        super(DefaultExtrasAdapter, self).__init__(logger, extra)

    def process(self, msg, kwargs):
        # Speed gain if no extras are present
        if "extra" in kwargs:
            copy = dict(self.extra).copy()
            copy.update(kwargs["extra"])
            kwargs["extra"] = copy
        else:
            kwargs["extra"] = self.extra
        return msg, kwargs


LOG = DefaultExtrasAdapter(_logger, {"python": sys.version_info[0], "pid": os.getpid()})

if __name__ == "__main__":
    LOG.info("<-- With defaults")
    LOG.info("<-- With my version", extra={"python": 3.10})
    LOG.info("<-- With my pid", extra={"pid": 0})
    LOG.info("<-- With both", extra={"python": 2.7, "pid": -1})

Результаты:

      2021-08-05 18:58:27,308 INFO     Py2    pid:8435  <-- With defaults
2021-08-05 18:58:27,309 INFO     Py3.1  pid:8435  <-- With my version
2021-08-05 18:58:27,309 INFO     Py2    pid:0     <-- With my pid
2021-08-05 18:58:27,309 INFO     Py2.7  pid:-1    <-- With both

3

Источник

user1938889 05 авг '21 в 22:07

Используя ответ mr2ert, я пришел к этому удобному решению (хотя я полагаю, что это не рекомендуется) - переопределить встроенные методы ведения журнала, чтобы принять пользовательский аргумент и создать extra словарь внутри методов:

import logging

class CustomLogger(logging.Logger):

   def debug(self, msg, foo, *args, **kwargs):
       extra = {'foo': foo}

       if self.isEnabledFor(logging.DEBUG):
            self._log(logging.DEBUG, msg, args, extra=extra, **kwargs)

   *repeat for info, warning, etc*

logger = CustomLogger('CustomLogger', logging.DEBUG)
formatter = logging.Formatter('%(asctime)s [%(foo)s] %(message)s') 
handler = logging.StreamHandler()
handler.setFormatter(formatter) 
logger.addHandler(handler)

logger.debug('test', 'bar')

Выход:

2019-03-02 20:06:51,998 [bar] test

Это встроенная функция для справки:

def debug(self, msg, *args, **kwargs):
    """
    Log 'msg % args' with severity 'DEBUG'.

    To pass exception information, use the keyword argument exc_info with
    a true value, e.g.

    logger.debug("Houston, we have a %s", "thorny problem", exc_info=1)
    """
    if self.isEnabledFor(DEBUG):
        self._log(DEBUG, msg, args, **kwargs)

0

Источник

user10318564 02 мар '19 в 18:11

Ведение журнала импорта;

класс LogFilter(logging.Filter):

def __init__(self, code):
    self.code = code

def filter(self, record):
    record.app_code = self.code
    return True

logging.basicConfig (format ='[% (asctime) s:%(levelname)s]::[%(module)s ->% (name) s] - APP_CODE:% (app_code) s - MSG:% (message) s ');

класс Logger:

def __init__(self, className):
    self.logger = logging.getLogger(className)
    self.logger.setLevel(logging.ERROR)

@staticmethod
def getLogger(className):
    return Logger(className)

def logMessage(self, level, code, msg):
    self.logger.addFilter(LogFilter(code))

    if level == 'WARN':        
        self.logger.warning(msg)
    elif level == 'ERROR':
        self.logger.error(msg)
    else:
        self.logger.info(msg)

class Test: logger = Logger.getLogger ('Тест')

if __name__=='__main__':
    logger.logMessage('ERROR','123','This is an error')

0

Источник

user3672617 01 мар '20 в 13:07

Другие вопросы по тегам python logging

user190597 09 июл '13 в 21:40 2013-07-09 21:40 · Accepted Answer · 2013-07-09 21:40

Вы можете использовать LoggerAdapter, чтобы вам не приходилось передавать дополнительную информацию при каждом вызове регистрации:

import logging
extra = {'app_name':'Super App'}

logger = logging.getLogger(__name__)
syslog = logging.StreamHandler()
formatter = logging.Formatter('%(asctime)s %(app_name)s : %(message)s')
syslog.setFormatter(formatter)
logger.setLevel(logging.INFO)
logger.addHandler(syslog)

logger = logging.LoggerAdapter(logger, extra)
logger.info('The sky is so blue')

журналы (что-то вроде)

2013-07-09 17:39:33,596 Super App : The sky is so blue

Фильтры также могут быть использованы для добавления контекстной информации.

import logging

class AppFilter(logging.Filter):
    def filter(self, record):
        record.app_name = 'Super App'
        return True

logger = logging.getLogger(__name__)
logger.addFilter(AppFilter())
syslog = logging.StreamHandler()
formatter = logging.Formatter('%(asctime)s %(app_name)s : %(message)s')
syslog.setFormatter(formatter)
logger.setLevel(logging.INFO)
logger.addHandler(syslog)

logger.info('The sky is so blue')

производит аналогичную запись в журнале.