Разделить один файл на несколько файлов на основе разделителя

Question

Разделить один файл на несколько файлов на основе разделителя

У меня есть один файл с -| в качестве разделителя после каждого раздела... необходимо создать отдельные файлы для каждого раздела, используя Unix.

пример входного файла

wertretr
ewretrtret
1212132323
000232
-|
ereteertetet
232434234
erewesdfsfsfs
0234342343
-|
jdhg3875jdfsgfd
sjdhfdbfjds
347674657435
-|

Ожидаемый результат в файле 1

wertretr
ewretrtret
1212132323
000232
-|

Ожидаемый результат в файле 2

ereteertetet
232434234
erewesdfsfsfs
0234342343
-|

Ожидаемый результат в файле 3

jdhg3875jdfsgfd
sjdhfdbfjds
347674657435
-|

108

linux unix awk command-line

Источник

user1499178 03 июл '12 в 15:07

12 ответов

Другие вопросы по тегам linux unix awk command-line

user537980 03 июл '12 в 16:07 2012-07-03 16:07 · Answer 1 · 2012-07-03 16:07

Один вкладыш, без программирования. (кроме регулярных выражений и т. д.)

csplit --digits=2  --quiet --prefix=outfile infile "/-|/+1" "{*}"

117

Источник

user537980 03 июл '12 в 16:07

user140750 03 июл '12 в 16:04 2012-07-03 16:04 · Answer 2 · 2012-07-03 16:04

awk '{print $0 " -|"> "file" NR}' RS='-\\|'  input-file

Объяснение (отредактировано):

RS является разделителем записей, и в этом решении используется расширение gnu awk, позволяющее использовать более одного символа. NR это номер записи.

Оператор print печатает запись, за которой следует " -|" в файл, который содержит номер записи в своем имени.

user1253222 03 июл '12 в 15:42 2012-07-03 15:42 · Answer 3 · 2012-07-03 15:42

Debian имеет csplit, но я не знаю, является ли это общим для всех / большинства / других дистрибутивов. Если нет, то не должно быть слишком сложно отследить исходный код и скомпилировать его...

8

Источник

user1253222 03 июл '12 в 15:42

user3681063 01 дек '12 в 00:27 2012-12-01 00:27 · Answer 4 · 2012-12-01 00:27

Я решил немного другую проблему, где файл содержит строку с именем, куда должен идти следующий текст. Этот Perl-код помогает мне:

#!/path/to/perl -w

#comment the line below for UNIX systems
use Win32::Clipboard;

# Get command line flags

#print ($#ARGV, "\n");
if($#ARGV == 0) {
    print STDERR "usage: ncsplit.pl --mff -- filename.txt [...] \n\nNote that no space is allowed between the '--' and the related parameter.\n\nThe mff is found on a line followed by a filename.  All of the contents of filename.txt are written to that file until another mff is found.\n";
    exit;
}

# this package sets the ARGV count variable to -1;

use Getopt::Long;
my $mff = "";
GetOptions('mff' => \$mff);

# set a default $mff variable
if ($mff eq "") {$mff = "-#-"};
print ("using file switch=", $mff, "\n\n");

while($_ = shift @ARGV) {
    if(-f "$_") {
    push @filelist, $_;
    } 
}

# Could be more than one file name on the command line, 
# but this version throws away the subsequent ones.

$readfile = $filelist[0];

open SOURCEFILE, "<$readfile" or die "File not found...\n\n";
#print SOURCEFILE;

while (<SOURCEFILE>) {
  /^$mff (.*$)/o;
    $outname = $1;
#   print $outname;
#   print "right is: $1 \n";

if (/^$mff /) {

    open OUTFILE, ">$outname" ;
    print "opened $outname\n";
    }
    else {print OUTFILE "$_"};
  }

user7530823 07 фев '17 в 19:40 2017-02-07 19:40 · Answer 5 · 2017-02-07 19:40

Следующая команда работает для меня. Надеюсь, поможет.

awk 'BEGIN{file = 0; filename = "output_" file ".txt"}
    /-|/ {getline; file ++; filename = "output_" file ".txt"}
    {print $0 > filename}' input

4

Источник

user7530823 07 фев '17 в 19:40

user651848 03 июл '12 в 16:00 2012-07-03 16:00 · Answer 6 · 2012-07-03 16:00

Вы также можете использовать awk. Я не очень знаком с awk, но мне показалось, что следующее действительно работает. Он сгенерировал part1.txt, part2.txt, part3.txt и part4.txt. Обратите внимание, что последний созданный файл partn.txt пуст. Я не уверен, как это исправить, но я уверен, что это можно сделать с помощью небольшой настройки. Любые предложения кто-нибудь?

файл awk_pattern:

BEGIN{ fn = "part1.txt"; n = 1 }
{
   print > fn
   if (substr($0,1,2) == "-|") {
       close (fn)
       n++
       fn = "part" n ".txt"
   }
}

команда bash:

awk -f awk_pattern input.file

user937006 19 фев '17 в 19:33 2017-02-19 19:33 · Answer 7 · 2017-02-19 19:33

Вот скрипт Python 3, который разбивает файл на несколько файлов на основе имени файла, предоставленного разделителями. Пример входного файла:

# Ignored

######## FILTER BEGIN foo.conf
This goes in foo.conf.
######## FILTER END

# Ignored

######## FILTER BEGIN bar.conf
This goes in bar.conf.
######## FILTER END

Вот сценарий:

#!/usr/bin/env python3

import os
import argparse

# global settings
start_delimiter = '######## FILTER BEGIN'
end_delimiter = '######## FILTER END'

# parse command line arguments
parser = argparse.ArgumentParser()
parser.add_argument("-i", "--input-file", required=True, help="input filename")
parser.add_argument("-o", "--output-dir", required=True, help="output directory")

args = parser.parse_args()

# read the input file
with open(args.input_file, 'r') as input_file:
    input_data = input_file.read()

# iterate through the input data by line
input_lines = input_data.splitlines()
while input_lines:
    # discard lines until the next start delimiter
    while input_lines and not input_lines[0].startswith(start_delimiter):
        input_lines.pop(0)

    # corner case: no delimiter found and no more lines left
    if not input_lines:
        break

    # extract the output filename from the start delimiter
    output_filename = input_lines.pop(0).replace(start_delimiter, "").strip()
    output_path = os.path.join(args.output_dir, output_filename)

    # open the output file
    print("extracting file: {0}".format(output_path))
    with open(output_path, 'w') as output_file:
        # while we have lines left and they don't match the end delimiter
        while input_lines and not input_lines[0].startswith(end_delimiter):
            output_file.write("{0}\n".format(input_lines.pop(0)))

        # remove end delimiter if present
        if not input_lines:
            input_lines.pop(0)

Наконец, вот как вы запускаете это:

$ python3 script.py -i input-file.txt -o ./output-folder/

user541136 24 окт '17 в 20:10 2017-10-24 20:10 · Answer 8 · 2017-10-24 20:10

Использование csplit если есть.

Если нет, но у вас есть Python... не используйте Perl.

Ленивое чтение файла

Ваш файл может быть слишком большим для одновременного хранения в памяти - чтение построчно может быть предпочтительным. Предположим, что входной файл называется "samplein":

$ python3 -c "from itertools import count
with open('samplein') as file:
    for i in count():
        firstline = next(file, None)
        if firstline is None:
            break
        with open(f'out{i}', 'w') as out:
            out.write(firstline)
            for line in file:
                out.write(line)
                if line == '-|\n':
                    break"

user752630 03 июл '12 в 15:49 2012-07-03 15:49 · Answer 9 · 2012-07-03 15:49

cat file| ( I=0; echo -n "">file0; while read line; do echo $line >> file$I; if [ "$line" == '-|' ]; then I=$[I+1]; echo -n "" > file$I; fi; done )

и форматированная версия:

#!/bin/bash
cat FILE | (
  I=0;
  echo -n"">file0;
  while read line; 
  do
    echo $line >> file$I;
    if [ "$line" == '-|' ];
    then I=$[I+1];
      echo -n "" > file$I;
    fi;
  done;
)

1

Источник

user752630 03 июл '12 в 15:49

user2202171 02 дек '22 в 15:58 2022-12-02 15:58 · Answer 10 · 2022-12-02 15:58

Попробуйте этот скрипт Python:

      import os
import argparse

delimiter = '-|'

parser = argparse.ArgumentParser()
parser.add_argument("-i", "--input-file", required=True, help="input txt")
parser.add_argument("-o", "--output-dir", required=True, help="output directory")

args = parser.parse_args()

counter = 1;
output_filename = 'part-'+str(counter)
with open(args.input_file, 'r') as input_file:
    for line in input_file.read().split('\n'):
        if delimiter in line:
            counter = counter+1
            output_filename = 'part-'+str(counter)
            print('Section '+str(counter)+' Started')
        else:
            #skips empty lines (change the condition if you want empty lines too)
            if line.strip() :
                output_path = os.path.join(args.output_dir, output_filename+'.txt')
                with open(output_path, 'a') as output_file:
                    output_file.write("{0}\n".format(line))

бывший:

Python split.py -i ./to-split.txt -o ./output-dir

user1464130 03 июл '12 в 16:00 2012-07-03 16:00 · Answer 11 · 2012-07-03 16:00

Вот Perl-код, который будет делать вещь

#!/usr/bin/perl
open(FI,"file.txt") or die "Input file not found";
$cur=0;
open(FO,">res.$cur.txt") or die "Cannot open output file $cur";
while(<FI>)
{
    print FO $_;
    if(/^-\|/)
    {
        close(FO);
        $cur++;
        open(FO,">res.$cur.txt") or die "Cannot open output file $cur"
    }
}
close(FO);

0

Источник

user1464130 03 июл '12 в 16:00

user1277476 03 июл '12 в 17:17 2012-07-03 17:17 · Answer 12 · 2012-07-03 17:17

Это проблема, для которой я написал разделение контекста: http://stromberg.dnsalias.org/~strombrg/context-split.html

$ ./context-split -h
usage:
./context-split [-s separator] [-n name] [-z length]
        -s specifies what regex should separate output files
        -n specifies how output files are named (default: numeric
        -z specifies how long numbered filenames (if any) should be
        -i include line containing separator in output files
        operations are always performed on stdin