Как сделать рекурсивный поиск / замену строки с помощью awk или sed?

Question

Как сделать рекурсивный поиск / замену строки с помощью awk или sed?

Как мне найти и заменить каждое вхождение:

subdomainA.example.com

с

subdomainB.example.com

в каждом текстовом файле под /home/www/ дерево каталогов рекурсивно?

920

bash awk sed replace

Источник

user191814 17 окт '09 в 21:10

37 ответов

Другие вопросы по тегам bash awk sed replace

user74089 17 окт '09 в 21:32 2009-10-17 21:32 · Answer 1 · 2009-10-17 21:32

Примечание. Не запускайте эту команду в папке, включающей git-репо - изменения в.git могут повредить ваш индекс git.

find /home/www -type f -print0 | xargs -0 sed -i 's/subdomainA\.example\.com/subdomainB.example.com/g'

От man find:

-print0 (только для GNU-поиска) указывает find использовать нулевой символ (\0) вместо пробела в качестве выходного разделителя между найденными путями. Это более безопасный вариант, если ваши файлы могут содержать пробелы или другие специальные символы. Рекомендуется использовать аргумент -print0, чтобы узнать, используете ли вы команду -exec или xargs (аргумент -0 необходим в xargs.).

user930371 13 мар '14 в 17:05 2014-03-13 17:05 · Answer 2 · 2014-03-13 17:05

Самый простой способ для меня это

grep -rl oldtext . | xargs sed -i 's/oldtext/newtext/g'

519

Источник

user930371 13 мар '14 в 17:05

user4323 18 окт '09 в 19:34 2009-10-18 19:34 · Answer 3 · 2009-10-18 19:34

Примечание. Не запускайте эту команду в папке, включающей git-репо - изменения в.git могут повредить ваш индекс git.

find /home/www/ -type f -exec \
    sed -i 's/subdomainA\.example\.com/subdomainB.example.com/g' {} +

По сравнению с другими ответами здесь, это проще, чем большинство и использует sed вместо perl, что и было задано в оригинальном вопросе.

user629685 31 янв '14 в 12:00 2014-01-31 12:00 · Answer 4 · 2014-01-31 12:00

Все трюки почти одинаковы, но мне нравится этот:

find <mydir> -type f -exec sed -i 's/<string1>/<string2>/g' {} +

find <mydir>Посмотрите в каталоге.
-type f:
Тип файла: обычный файл
-exec command {} +:
Этот вариант действия -exec запускает указанную команду для выбранных файлов, но командная строка создается путем добавления каждого выбранного имени файла в конце; общее количество вызовов команды будет намного меньше, чем количество совпавших файлов. Командная строка создается так же, как xargs создает свои командные строки. В команде допускается только один экземпляр `{}'. Команда выполняется в начальном каталоге.

user565525 03 сен '13 в 10:00 2013-09-03 10:00 · Answer 5 · 2013-09-03 10:00

Для меня самое простое решение запомнить это /questions/5680828/kak-ya-mogu-najti-i-zamenit-rekursivno-v-kataloge-v-vim/5680839#5680839, то есть:

sed -i '' -e 's/subdomainA/subdomainB/g' $(find /home/www/ -type f)

ПРИМЕЧАНИЕ: -i '' решает проблему OSX sed: 1: "...": invalid command code .

ПРИМЕЧАНИЕ. Если файлов слишком много для обработки, вы получите Argument list too long, Обходной путь - использование find -exec или же xargs Решение описано выше.

user50617 17 окт '09 в 21:13 2009-10-17 21:13 · Answer 6 · 2009-10-17 21:13

cd /home/www && find . -type f -print0 |
  xargs -0 perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g'

42

Источник

user50617 17 окт '09 в 21:13

user2036669 02 сен '16 в 05:19 2016-09-02 05:19 · Answer 7 · 2016-09-02 05:19

Для тех, кто использует серебряный искатель (ag)

ag SearchString -l0 | xargs -0 sed -i 's/SearchString/Replacement/g'

Так как ag по умолчанию игнорирует файл / папки git/hg/svn, запуск в хранилище безопасен.

37

Источник

user2036669 02 сен '16 в 05:19

user1005499 24 июн '16 в 08:26 2016-06-24 08:26 · Answer 8 · 2016-06-24 08:26

Это совместимо с git-репозиториями и немного проще:

Linux:

git grep -l 'original_text' | xargs sed -i 's/original_text/new_text/g'

Mac:

git grep -l 'original_text' | xargs sed -i '' -e 's/original_text/new_text/g'

(Спасибо http://blog.jasonmeridth.com/posts/use-git-grep-to-replace-strings-in-files-in-your-git-repository/)

26

Источник

user1005499 24 июн '16 в 08:26

user2828611 31 окт '18 в 08:43 2018-10-31 08:43 · Answer 9 · 2018-10-31 08:43

Прямой метод, если вам нужно исключить каталоги (--exclude-dir=.svn) и также могут иметь имена файлов с пробелами (используя 0Byte с grep -Z а также xargs -0

grep -rlZ oldtext . --exclude-dir=.svn | xargs -0 sed -i 's/oldtext/newtext/g'

19

Источник

user2828611 31 окт '18 в 08:43

user3404054 22 авг '17 в 20:28 2017-08-22 20:28 · Answer 10 · 2017-08-22 20:28

Вырубать файлы рекурсивно sed через, вы могли бы grep для вашего экземпляра строки:

grep -rl <oldstring> /path/to/folder | xargs sed -i s^<oldstring>^<newstring>^g

Если вы бежите man grep вы заметите, что вы также можете определить --exlude-dir="*.git" флаг, если вы хотите пропустить поиск по каталогам.git, избегая проблем с индексами git, как вежливо указали другие.

Ведущий к вам:

grep -rl --exclude-dir="*.git" <oldstring> /path/to/folder | xargs sed -i s^<oldstring>^<newstring>^g

user1857292 10 фев '14 в 19:07 2014-02-10 19:07 · Answer 11 · 2014-02-10 19:07

Один хороший приятель в качестве дополнительного. Используя git grep.

git grep -lz 'subdomainA.example.com' | xargs -0 perl -i'' -pE "s/subdomainA.example.com/subdomainB.example.com/g"

18

Источник

user1857292 10 фев '14 в 19:07

user1084174 09 окт '19 в 06:27 2019-10-09 06:27 · Answer 12 · 2019-10-09 06:27

Самый простой способ заменить (все файлы, каталог, рекурсивно)

find . -type f -not -path '*/\.*' -exec sed -i 's/foo/bar/g' {} +

Примечание: иногда вам может потребоваться игнорировать некоторые скрытые файлы, например.git, вы можете использовать указанную выше команду.

Если вы хотите включить использование скрытых файлов,

find . -type f  -exec sed -i 's/foo/bar/g' {} +

В обоих случаях строка foo будет заменен новой строкой bar

user190597 18 окт '09 в 16:40 2009-10-18 16:40 · Answer 13 · 2009-10-18 16:40

find /home/www/ -type f -exec perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g' {} +

find /home/www/ -type f перечислит все файлы в /home/www/ (и его подкаталогах). Флаг "-exec" указывает find выполнять следующую команду для каждого найденного файла.

perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g' {} +

команда запускается для файлов (много за раз). {} заменяется именами файлов. + в конце команды говорит find построить одну команду для многих имен файлов.

В соответствии с find Страница man: "Командная строка создается так же, как xargs создает свои командные строки".

Таким образом, можно достичь своей цели (и обрабатывать имена файлов, содержащие пробелы) без использования xargs -0, или же -print0,

user685395 25 май '20 в 13:06 2020-05-25 13:06 · Answer 14 · 2020-05-25 13:06

Или используйте невероятно быстрый GNU Parallel:

grep -rl oldtext . | parallel sed -i 's/oldtext/newtext/g' {}

13

Источник

user685395 25 май '20 в 13:06

user584750 10 апр '11 в 00:25 2011-04-10 00:25 · Answer 15 · 2011-04-10 00:25

Я просто нуждался в этом и не был доволен скоростью доступных примеров. Итак, я придумал свое:

cd /var/www && ack-grep -l --print0 subdomainA.example.com | xargs -0 perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g'

Ack-grep очень эффективен при поиске соответствующих файлов. Эта команда заменила ~145 000 файлов на ветер, в то время как другие заняли так много времени, что я не мог дождаться их окончания.

user4735076 29 май '15 в 05:34 2015-05-29 05:34 · Answer 16 · 2015-05-29 05:34

grep -lr 'subdomainA.example.com' | while read file; do sed -i "s/subdomainA.example.com/subdomainB.example.com/g" "$file"; done

Я предполагаю, что большинство людей не знают, что они могут что-то перенаправить в "время чтения файла", и это избегает этих неприятных аргументов -print0, сохраняя пробелы в именах файлов.

Дальнейшее добавление echo прежде чем Sed позволяет вам увидеть, какие файлы будут изменены, прежде чем делать это.

user378001 28 июн '10 в 12:09 2010-06-28 12:09 · Answer 17 · 2010-06-28 12:09

Попробуй это:

sed -i 's/subdomainA/subdomainB/g' `grep -ril 'subdomainA' *`

7

Источник

user378001 28 июн '10 в 12:09

user4969485 03 фев '18 в 10:06 2018-02-03 10:06 · Answer 18 · 2018-02-03 10:06

Согласно этому сообщению в блоге:

find . -type f | xargs perl -pi -e 's/oldtext/newtext/g;'

7

Источник

user4969485 03 фев '18 в 10:06

user2953345 05 ноя '13 в 17:06 2013-11-05 17:06 · Answer 19 · 2013-11-05 17:06

#!/usr/local/bin/bash -x

find * /home/www -type f | while read files
do

sedtest=$(sed -n '/^/,/$/p' "${files}" | sed -n '/subdomainA/p')

    if [ "${sedtest}" ]
    then
    sed s'/subdomainA/subdomainB/'g "${files}" > "${files}".tmp
    mv "${files}".tmp "${files}"
    fi

done

5

Источник

user2953345 05 ноя '13 в 17:06

user5804618 04 июл '16 в 11:53 2016-07-04 11:53 · Answer 20 · 2016-07-04 11:53

Вы можете использовать awk, чтобы решить эту проблему, как показано ниже,

for file in `find /home/www -type f`
do
   awk '{gsub(/subdomainA.example.com/,"subdomainB.example.com"); print $0;}' $file > ./tempFile && mv ./tempFile $file;
done

Надеюсь, что это поможет вам!!!

5

Источник

user5804618 04 июл '16 в 11:53

user371137 31 мар '17 в 09:47 2017-03-31 09:47 · Answer 21 · 2017-03-31 09:47

Для замены всех вхождений в репозитории git вы можете использовать:

git ls-files -z | xargs -0 sed -i 's/subdomainA\.example\.com/subdomainB.example.com/g'

Смотрите список файлов в локальном git-репо? для других опций перечислить все файлы в хранилище. -z options указывает git разделять имена файлов нулевым байтом, что гарантирует xargs (с возможностью -0) может разделять имена файлов, даже если они содержат пробелы или еще много чего.

user4623137 02 мар '15 в 11:32 2015-03-02 11:32 · Answer 22 · 2015-03-02 11:32

Если вы не против использования vim вместе с grep или же find инструменты, вы можете следить за ответом, данным пользователем Gert в этой ссылке -> Как сделать замену текста в большой иерархии папок?,

Вот сделка:

рекурсивно grep для строки, которую вы хотите заменить в определенном пути, и взять только полный путь соответствующего файла. (это было бы $(grep 'string' 'pathname' -Rl),
(необязательно), если вы хотите сделать предварительное резервное копирование этих файлов в централизованном каталоге, возможно, вы также можете использовать это: cp -iv $(grep 'string' 'pathname' -Rl) 'centralized-directory-pathname'
после этого вы можете редактировать / заменять по желанию в vim по схеме, аналогичной той, которая указана в приведенной ссылке:
- :bufdo %s#string#replacement#gc | update

user2885763 31 мар '17 в 11:54 2017-03-31 11:54 · Answer 23 · 2017-03-31 11:54

Просто чтобы избежать также

NearlysubdomainA.example.com
subdomainA.example.comp.other

но до сих пор

subdomainA.example.com.IsIt.good

(возможно, не очень хорошо в идее корня домена)

find /home/www/ -type f -exec sed -i 's/\bsubdomainA\.example\.com\b/\1subdomainB.example.com\2/g' {} \;

3

Источник

user2885763 31 мар '17 в 11:54

user5009287 21 ноя '16 в 19:41 2016-11-21 19:41 · Answer 24 · 2016-11-21 19:41

Немного старой школы, но это работало на OS X.

Есть несколько хитростей:

• Будут редактировать только файлы с расширением .sls в текущем каталоге

• . необходимо избежать, чтобы обеспечить sed не оценивает их как "любой персонаж"

• , используется в качестве sed разделитель вместо обычного /

Также обратите внимание, что это редактировать шаблон Jinja для передачи variable на пути import (но это не по теме).

Во-первых, убедитесь, что ваша команда sed делает то, что вы хотите (это только напечатает изменения в stdout, но не изменит файлы):

for file in $(find . -name *.sls -type f); do echo -e "\n$file: "; sed 's,foo\.bar,foo/bar/\"+baz+\"/,g' $file; done

При необходимости измените команду sed, как только вы будете готовы внести изменения:

for file in $(find . -name *.sls -type f); do echo -e "\n$file: "; sed -i '' 's,foo\.bar,foo/bar/\"+baz+\"/,g' $file; done

Обратите внимание -i '' в команде sed я не хотел создавать резервную копию исходных файлов (как объяснено в Редактировании на месте с помощью sed в OS X или в комментарии Роберта Лужо на этой странице).

С днем рождения!

user3101992 30 окт '14 в 04:18 2014-10-30 04:18 · Answer 25 · 2014-10-30 04:18

Если вы хотите использовать это без полного уничтожения вашего SVN-репозитория, вы можете указать 'find' игнорировать все скрытые файлы, выполнив:

find . \( ! -regex '.*/\..*' \) -type f -print0 | xargs -0 sed -i 's/subdomainA.example.com/subdomainB.example.com/g'

3

Источник

user3101992 30 окт '14 в 04:18

user3096687 25 сен '18 в 21:33 2018-09-25 21:33 · Answer 26 · 2018-09-25 21:33

Вот версия, которая должна быть более общей, чем большинство; это не требует find (с помощью du вместо), например. Это требует xargs, которые встречаются только в некоторых версиях Plan 9 (например, 9front).

 du -a | awk -F' '  '{ print $2 }' | xargs sed -i -e 's/subdomainA\.example\.com/subdomainB.example.com/g'

Если вы хотите добавить фильтры, такие как расширения файлов, используйте grep:

 du -a | grep "\.scala$" | awk -F' '  '{ print $2 }' | xargs sed -i -e 's/subdomainA\.example\.com/subdomainB.example.com/g'

user742082 20 июл '17 в 11:57 2017-07-20 11:57 · Answer 27 · 2017-07-20 11:57

perl -p -i -e 's/oldthing/new_thingy/g' `grep -ril oldthing *`

2

Источник

user742082 20 июл '17 в 11:57

user259602 21 фев '18 в 21:37 2018-02-21 21:37 · Answer 28 · 2018-02-21 21:37

Я просто использую топы:

find . -name '*.[c|cc|cp|cpp|m|mm|h]' -print0 |  xargs -0 tops -verbose  replace "verify_noerr(<b args>)" with "__Verify_noErr(<args>)" \
replace "check(<b args>)" with "__Check(<args>)"

2

Источник

user259602 21 фев '18 в 21:37

user1702557 15 янв '15 в 11:38 2015-01-15 11:38 · Answer 29 · 2015-01-15 11:38

Используя комбинацию grep а также sed

for pp in $(grep -Rl looking_for_string)
do
    sed -i 's/looking_for_string/something_other/g' "${pp}"
done

2

Источник

user1702557 15 янв '15 в 11:38

user2478002 20 июн '13 в 13:06 2013-06-20 13:06 · Answer 30 · 2013-06-20 13:06

Изменить несколько файлов (и сохранить резервную копию как *.bak):

perl -p -i -e "s/\|/x/g" *

возьмет все файлы в каталоге и заменит | с х называется "пирог Perl" (просто как пирог)

2

Источник

user2478002 20 июн '13 в 13:06