Перенаправить stderr и stdout в Bash
Я хочу перенаправить как stdout, так и stderr процесса в один файл. Как мне это сделать в Bash?
14 ответов
Посмотрите здесь. Должно быть:
yourcommand &>filename
(перенаправляет оба stdout а также stderr к имени файла).
do_something 2>&1 | tee -a some_file
Это будет перенаправлять stderr на стандартный вывод и стандартный вывод на some_file и распечатать его на стандартный вывод.
Вы можете перенаправить stderr в stdout, а stdout в файл:
some_command >file.log 2>&1
См. http://tldp.org/LDP/abs/html/io-redirection.html
Этот формат предпочтительнее, чем самый популярный формат &>, который работает только в bash. В оболочке Bourne это можно интерпретировать как запуск команды в фоновом режиме. Кроме того, формат более читабелен 2 (STDERR) перенаправлен на 1 (STDOUT).
РЕДАКТИРОВАТЬ: изменил порядок, как указано в комментариях
# Close STDOUT file descriptor
exec 1<&-
# Close STDERR FD
exec 2<&-
# Open STDOUT as $LOG_FILE file for read and write.
exec 1<>$LOG_FILE
# Redirect STDERR to STDOUT
exec 2>&1
echo "This line will appear in $LOG_FILE, not 'on screen'"
Теперь простое эхо запишет в $LOG_FILE. Полезно для демонизации.
Автору оригинального поста,
Это зависит от того, что вам нужно достичь. Если вам просто нужно перенаправить вход / выход из команды, которую вы вызываете из скрипта, ответы уже даны. Мой рассказ о перенаправлении в текущем скрипте, который влияет на все команды / встроенные модули (включая вилки) после упомянутого фрагмента кода.
Другое крутое решение - это перенаправление одновременно на std-err / out и на logger или log-файл, что подразумевает разделение "потока" на две части. Эта функциональность обеспечивается командой 'tee', которая может записывать / добавлять сразу несколько файловых дескрипторов (файлов, сокетов, каналов и т. Д.): Tee FILE1 FILE2 ... >(cmd1) >(cmd2) ...
exec 3>&1 4>&2 1> >(tee >(logger -i -t 'my_script_tag') >&3) 2> >(tee >(logger -i -t 'my_script_tag') >&4)
trap 'cleanup' INT QUIT TERM EXIT
get_pids_of_ppid() {
local ppid="$1"
RETVAL=''
local pids=`ps x -o pid,ppid | awk "\\$2 == \\"$ppid\\" { print \\$1 }"`
RETVAL="$pids"
}
# Needed to kill processes running in background
cleanup() {
local current_pid element
local pids=( "$$" )
running_pids=("${pids[@]}")
while :; do
current_pid="${running_pids[0]}"
[ -z "$current_pid" ] && break
running_pids=("${running_pids[@]:1}")
get_pids_of_ppid $current_pid
local new_pids="$RETVAL"
[ -z "$new_pids" ] && continue
for element in $new_pids; do
running_pids+=("$element")
pids=("$element" "${pids[@]}")
done
done
kill ${pids[@]} 2>/dev/null
}
Итак, с самого начала. Предположим, у нас есть терминал, подключенный к /dev/stdout(FD #1) и /dev/stderr(FD #2). На практике это может быть труба, розетка или что-то еще.
- Создайте FD #3 и #4 и укажите на то же "местоположение", что и # 1 и # 2 соответственно. Смена FD # 1 с сегодняшнего дня не влияет на FD #3. Теперь FDs #3 и #4 указывают на STDOUT и STDERR соответственно. Они будут использоваться в качестве реального терминала STDOUT и STDERR.
- 1>> (...) перенаправляет STDOUT для команды в паренсе
- parens(sub-shell) выполняет чтение 'tee' из STDOUT(pipe) exec и перенаправляет на команду 'logger' через другой канал в sub-shell в parens. В то же время он копирует тот же вход в FD #3(терминал)
- вторая часть, очень похожая, о том же трюке для STDERR и FD № 2 и № 4.
Результат выполнения скрипта, имеющий указанную выше строку и дополнительно этот:
echo "Will end up in STDOUT(terminal) and /var/log/messages"
...как следует:
$ ./my_script
Will end up in STDOUT(terminal) and /var/log/messages
$ tail -n1 /var/log/messages
Sep 23 15:54:03 wks056 my_script_tag[11644]: Will end up in STDOUT(terminal) and /var/log/messages
Если вы хотите увидеть более четкую картинку, добавьте эти 2 строки в скрипт:
ls -l /proc/self/fd/
ps xf
bash your_script.sh 1>file.log 2>&1
1>file.log указывает оболочке отправить STDOUT в файл file.log, а также 2>&1 говорит ему перенаправить STDERR (дескриптор файла 2) в STDOUT (дескриптор файла 1).
Примечание: порядок имеет значение, как указано в liw.fi, 2>&1 1>file.log не работает
Любопытно, что это работает:
yourcommand &> filename
Но это дает синтаксическую ошибку:
yourcommand &>> filename
syntax error near unexpected token `>'
Вы должны использовать:
yourcommand 1>> filename 2>&1
Короткий ответ: Command >filename 2>&1 или же Command &>filename
Объяснение:
Рассмотрим следующий код, который печатает слово "stdout" в stdout, а слово "stderror" - в stderror.
$ (echo "stdout"; echo "stderror" >&2)
stdout
stderror
Обратите внимание, что оператор '&' сообщает bash, что 2 является дескриптором файла (который указывает на stderr), а не именем файла. Если мы пропустим '&', эта команда выведет stdout в стандартный вывод, создайте файл с именем "2" и напишите stderror там.
Экспериментируя с приведенным выше кодом, вы можете сами убедиться, как работают операторы перенаправления. Например, изменив какой файл какой из двух дескрипторов 1,2, перенаправлен на /dev/null следующие две строки кода удаляют все из stdout и все из stderror соответственно (выводит то, что осталось).
$ (echo "stdout"; echo "stderror" >&2) 1>/dev/null
stderror
$ (echo "stdout"; echo "stderror" >&2) 2>/dev/null
stdout
Теперь мы можем объяснить, почему решение, почему следующий код не производит вывод:
(echo "stdout"; echo "stderror" >&2) >/dev/null 2>&1
Чтобы действительно понять это, я настоятельно рекомендую вам прочитать эту веб-страницу в таблицах дескрипторов файлов. Предполагая, что вы сделали это чтение, мы можем продолжить. Обратите внимание, что Bash обрабатывает слева направо; таким образом Баш видит >/dev/null первый (который такой же, как 1>/dev/null) и устанавливает дескриптор файла 1, указывающий на /dev/null вместо стандартного вывода. Сделав это, Bash затем движется вправо и видит 2>&1, Это устанавливает файловый дескриптор 2 так, чтобы он указывал на тот же файл, что и файловый дескриптор 1 (а не на сам файловый дескриптор 1!!!! (см. Этот ресурс по указателям для получения дополнительной информации)) . Поскольку файловый дескриптор 1 указывает на /dev/null, а файловый дескриптор 2 указывает на тот же файл, что и файловый дескриптор 1, файловый дескриптор 2 теперь также указывает на /dev/null. Таким образом, оба файловых дескриптора указывают на /dev/null, и поэтому вывод не производится.
Чтобы проверить, действительно ли вы понимаете концепцию, попробуйте угадать вывод, когда мы переключаем порядок перенаправления:
(echo "stdout"; echo "stderror" >&2) 2>&1 >/dev/null
stderror
Причиной здесь является то, что при оценке слева направо Bash видит 2>&1 и, таким образом, устанавливает дескриптор файла 2 так, чтобы он указывал на то же место, что и дескриптор файла 1, то есть stdout. Затем он устанавливает файловый дескриптор 1 (помните, что>/dev/null = 1>/dev/null), чтобы он указывал на>/dev/null, удаляя, таким образом, все, что обычно отправляется стандарту. Таким образом, все, что нам осталось, это то, что не было отправлено в stdout в подоболочке (код в скобках)- то есть "stderror". Интересно отметить, что хотя 1 является просто указателем на стандартный вывод, перенаправляя указатель 2 на 1 через 2>&1 НЕ формирует цепочку указателей 2 -> 1 -> stdout. Если это произошло, в результате перенаправления 1 в /dev/null, код 2>&1 >/dev/null даст цепочку указателей 2 -> 1 -> /dev/null, и, таким образом, код ничего не сгенерирует, в отличие от того, что мы видели выше.
Наконец, я хотел бы отметить, что есть более простой способ сделать это:
Из раздела 3.6.4 здесь мы видим, что мы можем использовать оператор &> перенаправить как stdout, так и stderr. Таким образом, чтобы перенаправить вывод stderr и stdout любой команды на \dev\null (который удаляет вывод), мы просто набираем $ command &> /dev/null или в случае моего примера:
$ (echo "stdout"; echo "stderror" >&2) &>/dev/null
Ключевые выносы:
- Файловые дескрипторы ведут себя как указатели (хотя файловые дескрипторы не совпадают с файловыми указателями)
- Перенаправление файлового дескриптора "a" на файловый дескриптор "b", который указывает на файл "f", приводит к тому, что файловый дескриптор "a" указывает на то же место, что и файловый дескриптор b - файл "f". НЕ образует цепочку указателей a -> b -> f
- Из-за вышеизложенного порядок имеет значение,
2>&1 >/dev/nullесть!=>/dev/null 2>&1, Один генерирует вывод, а другой нет!
Наконец, взгляните на эти замечательные ресурсы:
Документация Bash по перенаправлению, объяснение таблиц дескрипторов файлов, введение в указатели
LOG_FACILITY="local7.notice"
LOG_TOPIC="my-prog-name"
LOG_TOPIC_OUT="$LOG_TOPIC-out[$$]"
LOG_TOPIC_ERR="$LOG_TOPIC-err[$$]"
exec 3>&1 > >(tee -a /dev/fd/3 | logger -p "$LOG_FACILITY" -t "$LOG_TOPIC_OUT" )
exec 2> >(logger -p "$LOG_FACILITY" -t "$LOG_TOPIC_ERR" )
Это связано: Запись stdOut & stderr в системный журнал.
Это почти работа, но не из xinted;(
Я хотел, чтобы решение получило вывод из stdout плюс stderr в файл журнала, а stderr все еще находился на консоли. Поэтому мне нужно было продублировать вывод stderr через тройник.
Это решение, которое я нашел:
command 3>&1 1>&2 2>&3 1>>logfile | tee -a logfile
- Первый обмен stderr и stdout
- затем добавьте стандартный вывод в файл журнала
- труба stderr, чтобы тройник и добавить его также в файл журнала
Для ситуации, когда необходим "трубопровод", вы можете использовать:
| &
Например:
echo -ne "15\n100\n"|sort -c |& tee >sort_result.txt
или же
TIMEFORMAT=%R;for i in `seq 1 20` ; do time kubectl get pods |grep node >>js.log ; done |& sort -h
Эти решения на основе bash могут передавать STDOUT и STDERR по отдельности (из STDERR из "sort -c" или из STDERR в "sort -h").
В ситуациях, когда вы рассматриваете возможность использования таких вещей, как exec 2>&1 Мне легче читать, если это возможно, переписывая код, используя такие функции bash:
function myfunc(){
[...]
}
myfunc &>mylog.log
@ Фернанду-fabreti
Добавив к тому, что вы сделали, я немного изменил функции и удалил закрывающее окно &- и это сработало
function saveStandardOutputs {
if [ "$OUTPUTS_REDIRECTED" == "false" ]; then
exec 3>&1
exec 4>&2
trap restoreStandardOutputs EXIT
else
echo "[ERROR]: ${FUNCNAME[0]}: Cannot save standard outputs because they have been redirected before"
exit 1;
fi
}
# Params: $1 => logfile to write to
function redirectOutputsToLogfile {
if [ "$OUTPUTS_REDIRECTED" == "false" ]; then
LOGFILE=$1
if [ -z "$LOGFILE" ]; then
echo "[ERROR]: ${FUNCNAME[0]}: logfile empty [$LOGFILE]"
fi
if [ ! -f $LOGFILE ]; then
touch $LOGFILE
fi
if [ ! -f $LOGFILE ]; then
echo "[ERROR]: ${FUNCNAME[0]}: creating logfile [$LOGFILE]"
exit 1
fi
saveStandardOutputs
exec 1>>${LOGFILE}
exec 2>&1
OUTPUTS_REDIRECTED="true"
else
echo "[ERROR]: ${FUNCNAME[0]}: Cannot redirect standard outputs because they have been redirected before"
exit 1;
fi
}
function restoreStandardOutputs {
if [ "$OUTPUTS_REDIRECTED" == "true" ]; then
exec 1>&3 #restore stdout
exec 2>&4 #restore stderr
OUTPUTS_REDIRECTED="false"
fi
}
LOGFILE_NAME="tmp/one.log"
OUTPUTS_REDIRECTED="false"
echo "this goes to stdout"
redirectOutputsToLogfile $LOGFILE_NAME
echo "this goes to logfile"
echo "${LOGFILE_NAME}"
restoreStandardOutputs
echo "After restore this goes to stdout"
Следующие функции могут быть использованы для автоматизации процесса переключения выходов между stdout/stderr и файлом журнала.
#!/bin/bash
#set -x
# global vars
OUTPUTS_REDIRECTED="false"
LOGFILE=/dev/stdout
# "private" function used by redirect_outputs_to_logfile()
function save_standard_outputs {
if [ "$OUTPUTS_REDIRECTED" == "true" ]; then
echo "[ERROR]: ${FUNCNAME[0]}: Cannot save standard outputs because they have been redirected before"
exit 1;
fi
exec 3>&1
exec 4>&2
trap restore_standard_outputs EXIT
}
# Params: $1 => logfile to write to
function redirect_outputs_to_logfile {
if [ "$OUTPUTS_REDIRECTED" == "true" ]; then
echo "[ERROR]: ${FUNCNAME[0]}: Cannot redirect standard outputs because they have been redirected before"
exit 1;
fi
LOGFILE=$1
if [ -z "$LOGFILE" ]; then
echo "[ERROR]: ${FUNCNAME[0]}: logfile empty [$LOGFILE]"
fi
if [ ! -f $LOGFILE ]; then
touch $LOGFILE
fi
if [ ! -f $LOGFILE ]; then
echo "[ERROR]: ${FUNCNAME[0]}: creating logfile [$LOGFILE]"
exit 1
fi
save_standard_outputs
exec 1>>${LOGFILE%.log}.log
exec 2>&1
OUTPUTS_REDIRECTED="true"
}
# "private" function used by save_standard_outputs()
function restore_standard_outputs {
if [ "$OUTPUTS_REDIRECTED" == "false" ]; then
echo "[ERROR]: ${FUNCNAME[0]}: Cannot restore standard outputs because they have NOT been redirected"
exit 1;
fi
exec 1>&- #closes FD 1 (logfile)
exec 2>&- #closes FD 2 (logfile)
exec 2>&4 #restore stderr
exec 1>&3 #restore stdout
OUTPUTS_REDIRECTED="false"
}
Пример использования внутри скрипта:
echo "this goes to stdout"
redirect_outputs_to_logfile /tmp/one.log
echo "this goes to logfile"
restore_standard_outputs
echo "this goes to stdout"
Для tcsh я должен использовать следующую команду:
command >& file
Если использовать command &> file, это выдаст ошибку "Invalid null command".