Python: разграничить последовательные регионы

Question

У меня есть.txt, такие как (табуляция разделена):

1 2345
1 2346
1 2347
1 2348
1 2412
1 2413
1 2414

Первые четыре последовательные строки содержат последовательные целочисленные значения с 2345 по 2348. Точно так же последние три строки содержат последовательные значения с 2412 по 2414. Я хочу сгруппировать их так, чтобы минимальный и максимальный из этих наборов последовательных значений появлялись в одной строке. как показано ниже:

1 2345 2348
1 2412 2414

Любая идея?

Answer 1

Прочитайте и запишите данные с csv модуля и отслеживайте начало следующей группы:

import csv

def grouped(reader):
    start = end = next(reader)
    print start, end
    for row in reader:
        if int(row[1]) - 1 != int(end[1]):
            yield (start, end)
            start = end = row
        else:
            end = row
    yield (start, end)

with open('inputfile.csv', 'rb') as inf, open('outputfile.csv', 'wb') as outf:
    inputcsv = csv.reader(inf, delimiter='\t')
    outputcsv = csv.writer(outf, delimiter='\t')
    for start, stop in grouped(inputcsv):
        outputcsv.writerow(start + stop[1:])

Это пишет:

1   2345    2348
1   2412    2414

в outputfile.csv для вашего вклада.

Это решение никогда не хранит более 3 строк данных в памяти, поэтому вы должны иметь возможность создавать в нем любой размер файла CSV.

Answer 2

Для этого вы можете использовать слегка модифицированную версию кластерной функции Раймона Хеттингера:

def cluster(data, maxgap):
    """Arrange data into groups where successive elements
       differ by no more than *maxgap*

        >>> cluster([1, 6, 9, 100, 102, 105, 109, 134, 139], maxgap=10)
        [[1, 6, 9], [100, 102, 105, 109], [134, 139]]

        >>> cluster([1, 6, 9, 99, 100, 102, 105, 134, 139, 141], maxgap=10)
        [[1, 6, 9], [99, 100, 102, 105], [134, 139, 141]]

    https://stackru.com/a/14783998/190597 (Raymond Hettinger)
    """
    groups = [[data[0]]]
    for x in data[1:]:
        if abs(x - groups[-1][-1]) <= maxgap:
            groups[-1].append(x)
        else:
            groups.append([x])
    return groups

data = []
with open('data.txt', 'r') as f:
    for line in f:
        _, num = line.split()
        data.append(int(num))
for row in cluster(data, 1):
    print('1 {s} {e}'.format(s=row[0], e=row[-1]))

доходность

1 2345 2348
1 2412 2414

Answer 3

Numpy предоставляет некоторые инструменты, которые могут помочь:

In [90]: import numpy as np

In [91]: x = np.loadtxt('seq.dat', dtype=int)

In [92]: x
Out[92]: 
array([[   1, 2345],
       [   1, 2346],
       [   1, 2347],
       [   1, 2348],
       [   1, 2412],
       [   1, 2413],
       [   1, 2414],
       [   1, 2500],
       [   1, 2501],
       [   1, 2502],
       [   2, 3000],
       [   2, 3001],
       [   2, 3100],
       [   2, 3101],
       [   2, 3102],
       [   2, 3103]])

In [93]: skip = np.where(np.diff(x[:,1]) != 1)[0]

In [94]: istart = np.hstack((0, skip + 1))

In [95]: istop = np.hstack((skip, -1))

In [96]: groups = np.hstack((x[istart], x[istop, 1:]))

In [97]: groups
Out[97]: 
array([[   1, 2345, 2348],
       [   1, 2412, 2414],
       [   1, 2500, 2502],
       [   2, 3000, 3001],
       [   2, 3100, 3103]])

Первый столбец данных игнорируется при группировке, поэтому потребуется некоторая настройка, если первый столбец может повлиять на формирование групп.